Суть проблемы:
Каждый месяц у меня в учётной системе генерится набор данных из примерно 400 000 строк, 8 столбцов. Сейчас данные каждого месяца хранятся в отдельных .xlsx файлах. Структуры этих файлов абсолютно идентичны, отличаются только сами данные
На выходе я хочу получить сводную таблицу, в которой можно проанализировать историю за год (источник данных должен содержать почти 5млн. строк).
Решения, которые я нашел:
1) ежемесячно импортировать новый датасет в таблицу из базы данных access, и использовать её как источник для сводной таблицы.
Вариант очень понравился простотой, но не подошёл, т.к. БД после импорта данных за один месяц увеличилась в размерах до 240 мб. Базы не хватит даже на год, т.к. для .accdb файлов есть лимит в размерах - 2Гб.
2) с помощью power query собирать данные со всех файлов, собрать их в data-model и использовать ее как источник сводной
Из минусов: ежемесячно придется добавлять новый файл в запрос power query
На этом все... Я предполагаю, что есть ещё ряд простых и понятных вариантов решения проблемы, которых я не вижу.
С радостью рассмотрю все варианты, любые комментарии приветствуются.
Заранее спасибо!
Каждый месяц у меня в учётной системе генерится набор данных из примерно 400 000 строк, 8 столбцов. Сейчас данные каждого месяца хранятся в отдельных .xlsx файлах. Структуры этих файлов абсолютно идентичны, отличаются только сами данные
На выходе я хочу получить сводную таблицу, в которой можно проанализировать историю за год (источник данных должен содержать почти 5млн. строк).
Решения, которые я нашел:
1) ежемесячно импортировать новый датасет в таблицу из базы данных access, и использовать её как источник для сводной таблицы.
Вариант очень понравился простотой, но не подошёл, т.к. БД после импорта данных за один месяц увеличилась в размерах до 240 мб. Базы не хватит даже на год, т.к. для .accdb файлов есть лимит в размерах - 2Гб.
2) с помощью power query собирать данные со всех файлов, собрать их в data-model и использовать ее как источник сводной
Из минусов: ежемесячно придется добавлять новый файл в запрос power query
На этом все... Я предполагаю, что есть ещё ряд простых и понятных вариантов решения проблемы, которых я не вижу.
С радостью рассмотрю все варианты, любые комментарии приветствуются.
Заранее спасибо!