Страницы: 1
RSS
Как организовать хранение и обновление собранных данных (концептуально)?
 
Три недели собирал данные из различных источников и перерабатывал их в массивы данных, которые хранятся в Excel. Теперь начинаю наводить порядок и понимаю что основная проблема у меня это организовать хранение и дополнение массивов новыми данными, так некоторые файлы содержат в себе более миллиона строк и таких файлов не один и не два, и чтоб их оживить и передать данные в BI мне приходится делать промежуточные файлы где я начинаю предварительно склеивать плановые с фактическими, или выполнять какие то расчеты. Так как bi жутко тормозит.

Нужен совет - в чем хранить данные переработанные в Power Query? Также в Excel? Или есть средства которые можно использовать (с моим уровнем подготовки))))

То что мне нужно переделать 90% обработок данных чтоб ускорить запросы я и так понимаю.
 
Если вы тащите в PBI то можно сделать таблицу с архивными данными и таблицу с дополняемыми регулярно кусочками, соотвественно архив можно дополнять скажем раз в квартал, а маленькую табличку хоть каждый день. Режим обновления таблиц можно настроить. Через справочники и календарь их связываете и все меры пишите с учетом что у вас 2 таблицы. И обновляться будет быстро и отчеты строить будет не сильно сложно.
Вот горшок пустой, он предмет простой...
 
Я бы поставил MySQL или SQLite. И заливал бы все туда.
«Бритва Оккама» или «Принцип Калашникова»?
 
PooHkrd, Так и было. Упростил - перетащил обработку данных из BI в эксель. Но не помогло - BI тормозит, а ноут слабоват.
bedvit, Спасибо. Видимо придется изучать с нуля SQLite. Хотя бы будет порядок в хранении данных.

upd я просто хотел сделать отчёт в феврале...
Изменено: mitox - 14.04.2020 19:26:42
 
Цитата
mitox написал:
upd я просто хотел сделать отчёт в феврале...
так еще 10 месяцев, успеете  :D
По вопросам из тем форума, личку не читаю.
Страницы: 1
Наверх