Страницы: 1
RSS
Эффективное обновление таблицы PowerQvery
 
Добрый день, уважаемые эксперты!
Моя модель состоит из 3 файлов: Книга с моделью PowerPivot и PowerQwery, книга с данными и книга со справочками(там 10 листов, больше 30 тыс. значений)
У меня такая проблема при обновлении модели Excel каждый раз автоматически обновляет книгу со справочниками,  и так как он довольно большой он очень долго обновляется. Сам механизм обновления не учитывает дату и время изменения файла. Возникла идея чтобы в PowerQwery автоматически формировался таблица с имением файла и датой и временем его изменения, и при обновлении в запросах производилась проверка: если датам изм. файла справочника  больше чем в таблице, она обновляется и обновляется запись в этой контрольной таблице.
Справочники у нас не часто изменяются, поэтому хотелось бы чтобы обновление производилось более эффективно. Также у меня довольно слабый комп.
Подскажите пожалуйста возможно ли это сделать и какие функции использовать.
Заранее спасибо!

Ps    Думаю у многих подобная проблема и многим может помочь.  
 
Присоединяюсь к вопросу. Есть файлы с начала года, где один файл соответствует каждому месяцу и при обновлении запроса каждый раз пересчитываются все месяцы с января по сентябрь, хотя нужен только последний месяц, т. к. по предыдущим данные уже рассчитаны и не изменяются.
Изменено: Murderface_ - 10.09.2019 12:50:39
 
Коллеги, каких именно знаний вам не хватает для создания таблицы со списком файлов и атрибутами этих файлов, чтобы сравнивать при попытке обновления?
Вот горшок пустой, он предмет простой...
 
Доброе время суток
Цитата
Alexsandr B написал:
Подскажите пожалуйста возможно ли это сделать и какие функции использовать.
Переходить на централизованное хранилище в виде базы данных. Либо использовать Power BI - в платных версиях есть автоматическое управление обновлением. В бесплатной можно настроить через слияние промежуточных загрузок с ручным управлением.
 
Я понимаю что это самый правильный путь, но в данный момент это не возможно, так как, в этом году нет под это бюджета и человека с необходимыми умениями. Поэтому, хотелось бы штатными средствами если это возможно.  

Цитата
PooHkrd написал: каких именно знаний вам не хватает...?
К сожалению, даже не знаю с чего начать ... Пользовался только интерфейсом при создании запроса PowerQwery. А как условия и динамически изменяемую таблицу  делать не знаю.  
 
Тут главное изменить подход, чтобы обращаться к файлу использовать не пункт "из книги", а пункт "Из папки", тогда вы в запросе видите атрибуты файла, сравниваете их с эталонными и далее выбираете либо загрузка из источника, либо приводите к тому, чтобы запрос выдал сообщение об ошибке.
Таким образом, при обновлении модели те запросы, которые выдадут ошибку загрузки не обновляются, а про остальные таблицы Эксель спросит - обновлять остальные таблицы или прекратить обновление модели? Выбираете обновлять, и загрузятся только нужные файлы. Но вообще говоря это странно, обычно скорость загрузки модели зависит от размеров таблицы фактов, а не справочников. Если вы уверены что проблема из-за них, то тут, действительно пора на БД переезжать.
Вот горшок пустой, он предмет простой...
 
Alexsandr B, см. свое последнее сообщение. Вот так написать (ОДНО вместо ДВУХ), без БЕЗДУМНОГО копирования собщения, можно было?
 
Цитата
PooHkrd написал:
Тут главное изменить подход, чтобы обращаться к файлу использовать не пункт "из книги", а пункт "Из папки", тогда вы в запросе видите атрибуты файла, сравниваете их с эталонными и далее выбираете либо загрузка из источника, либо приводите к тому, чтобы запрос выдал сообщение об ошибке.Таким образом, при обновлении модели те запросы, которые выдадут ошибку загрузки не обновляются, а про остальные таблицы Эксель спросит - обновлять остальные таблицы или прекратить обновление модели? Выбираете обновлять, и загрузятся только нужные файлы. Но вообще говоря это странно, обычно скорость загрузки модели зависит от размеров таблицы фактов, а не справочников. Если вы уверены что проблема из-за них, то тут, действительно пора на БД переезжать.
Понятно, спасибо, буду копать в эту сторону. Скорей всего лучше все таки через БД делать.

Цитата
vikttur написал:
Alexsandr B , см. свое последнее сообщение. Вот так написать (ОДНО вместо ДВУХ), без БЕЗДУМНОГО копирования собщения, можно было?
Буду исправляться, практика, практика и еще раз практика.
 
Цитата
Alexsandr B написал:
Буду исправляться, практика
Offtop
Цитата
Он то плакал, то смеялся, то щетинился как ёж, Он, гад, над нами издевался, ну...
:D
 
Цитата
Alexsandr B написал: практика, практика и еще раз практика.
О! золотые слова! Бегом в последнее свое сообщение и практикуйтесь, практикуйтесь... И учитесь думать при цитировании.
Страницы: 1
Наверх