Цитата |
---|
Андрей VG написал: Если есть возможность использовать Power Query, то лучше его запрос всегда используйте в качестве источника данных для сводной. |
Вот горшок пустой, он предмет простой...
29.10.2020 10:56:16
Вот горшок пустой, он предмет простой...
|
|||
|
24.10.2020 16:18:18
Hugo, в модель данных можно вывести до ярда строк, если мне не изменяет мой склероз. сам выводил в модель до 60 млн строк. Ничо, работало. Памяти правда надо много. Еще можно в SQL БД. Опять же Андрей VG тут как-то показывал вариант запроса с возможностью вывода результата в csv, но это уже изврат.
Изменено:
Вот горшок пустой, он предмет простой...
|
|
|
24.10.2020 22:02:12
Вот горшок пустой, он предмет простой...
|
|||||
|
20.10.2020 10:03:46
Seregin, все исходники хранить в отдельных файлах (лучше текст, но можно и xlsx), затягивать это все Power Query в модель данных Power Pivot и там производить все нужные расчеты. 5-10 млн строк на локальном компе - полет нормальный. При том что локальный комп это средненький нубук 2013 года выпуска.
Что можно так считать? Прогнозирование расходования серьезного ассортимента 3000 позиций на нескольких десятках объектов. Расчет заказа для пополнения складов без превышения товарного запаса с учетом плана, факта, остатков, приходов. Факторный анализ всяких отклонений. Вагон еще всякого, на что хватит фантазии вашего руководства.
Вот горшок пустой, он предмет простой...
|
|
|
16.10.2020 15:19:00
"На фиг, на фиг, к терапевту!" ©
Изменено:
Вот горшок пустой, он предмет простой...
|
|||||||
|
16.10.2020 09:28:04
lostandleft, вот не доверяю я этим всем курсам. Есть, блин, 2
2 пункт. Создайте вычисляемый столбец в таблице фактов, сохраните и проверьте увеличился ли размер файла? Аналогично с календарем. А еще обратите внимание, что когда вы открываете файл с моделью данных, то в ней не пересчитываются вычисляемые даксом объекты. Как вы думаете где хранятся вычисленные ранее значения? В оперативной памяти?
Изменено:
Вот горшок пустой, он предмет простой...
|
|||
|
08.10.2020 10:49:28
Вот горшок пустой, он предмет простой...
|
|||
|
07.10.2020 14:29:59
valchik, а в чем проблема делать все джойны и промежуточные вычисления в запросе PQ и без загрузки в модель выгружать на лист нужное количество столбцов?
Вот горшок пустой, он предмет простой...
|
|
|
07.10.2020 13:17:28
valchik, сколько строк в нужной таблице из модели? Каким образом таблица в модель загружена?
Давайте начнем сначала. Что у вас есть и что нужно получить в итоге?
Изменено:
Вот горшок пустой, он предмет простой...
|
|||
|
21.09.2020 16:55:58
Если помещать в оперативку результат запроса, который выгружается в модель, то там кэширование как-то криво срабатывает и для справочника произойдет повторное считывание, если же сделать промежуточный запрос, а в модель выгружать другой, который ссылается на первый, то все сработает как надо. По крайней мере такая фигня у меня была раньше в 2016. Может сейчас и пофиксили чего, но я во избежание все равно делаю так.
Вот горшок пустой, он предмет простой...
|
|||
|
21.09.2020 16:45:35
Dyroff, это еще не все. Я правильно понял что у вас есть запрос, который собирает данные в таблицу фактов, после чего еще один запрос обращается к нему же и из столбца город создается справочник для модели данных?
Если так, то лучше всего сделать такую схему: 1 Сбор данных - Последний шаг обернуть в Table.Buffer и результат никуда не выгружать 2. запрос факт - обращается к сбору данных и без изменений льет таблицу в модель данных 3. запрос справочник - обращается к сбору данных, потом дистинкт и результат льется в модель данных без изменений В такой схеме результат 1 запроса сохраняется в оперативке и для расчета двух других не требуется 2 раза обращаться к исходникам.
Вот горшок пустой, он предмет простой...
|
|
|
21.09.2020 09:44:30
Yerlan, в дополнение к решению от Андрей VG, если вагонов очень много и строчек получится много миллионов, то для оптимизации перед в загрузкой модель данные можно сгруппировать. Например, если в отчете данные требуются в разрезе месяцев, то для каждого вагона/ месяца сгруппировать данные с подсчетом количества дней. Тогда моделька будет просто летать.
P.S. и вам надо с вашими формулами определиться, в июле вы корректно посчитали, а в августе/сентябре как-то не очень - дни теряете.
Изменено:
Вот горшок пустой, он предмет простой...
|
|
|
21.08.2020 09:29:28
Dyroff, настоятельно рекомендую загружать в модель данных время (если оно действительно нужно) и даты в раздельных столбцах. Так и модель будет меньше в размерах, и памяти будет меньше кушать и Time Intelligense можно будет прикрутить, если нужно. И еще время грузить лучше с детализацией до минуты, или еще меньше гранулярность делать в зависимости от задачи.
Вот горшок пустой, он предмет простой...
|
|
|
20.08.2020 18:03:11
А так?
А еще лучше так:
Можно на RANKX еще расчет прикрутить, на фига вы такие простые манипуляции делаете ДАКСом? Гораздо проще это все сделать в PQ и в таком состоянии уже грузить в модель. На память нагрузка будет значительно меньше. И самый главный вопрос, зачем вам вообще доп.столбец с номером покупки? Какую задачу он решает? Если его не нужно выводить в измерения отчета или в фильтры, то наверняка можно без него. Короче говоря, как написано в правилах форума, покажите что у вас за проблема, а не просите помочь с вашим видением её решения.
Изменено:
Вот горшок пустой, он предмет простой...
|
|||||
|
20.08.2020 11:54:04
Можно через PQ реализовать, но как классифицировать даты из листов с приходами, к какому месяцу они относятся? Та же формула Михаила чудесно подставляет данные с листа 22 как к 22 июля, так и к 22 августа.
А вообще я бы затащил все приходы в модель данных в виде плоской таблицы, туда же справочник номенклатур, календарь и нужный вам отчет выводил бы в виде сводной таблицы. Это вот прямо напрашивается.
Изменено:
Вот горшок пустой, он предмет простой...
|
|
|
18.08.2020 09:21:36
Вячеслав Давидьянц, перед загрузкой справочника с наименованиями в модель данных нужно при помощи PQ обнаружить все совпадающие наименования и по нарастающей накидать им непечатных символов в хвост (первому ни одного, второму один символ и т.д.), только не пробелов, чтобы не получилось как
Вот горшок пустой, он предмет простой...
|
|
|
17.08.2020 16:22:02
ivanka, отвечу за Андрея - да. Причем, подозреваю, что в отличие от Экселя в PBI не получится организовать, например, сравнение полученных данных с тем, что уже имеется в модели. Можно только доливать в модель новое. Но, возможно, Максим меня поправит.
Вот горшок пустой, он предмет простой...
|
|
|
13.08.2020 00:20:39
Максим Зеленский, у меня и без этого залетает диапазон в модель только в путь. При этом он автоматом преобразуется в умную таблицу.
DemonAMT, было бы неплохо узнать версию 2016-го ибо управление моделью данных доступно только для PRO Plus.
Вот горшок пустой, он предмет простой...
|
|
|
05.08.2020 16:30:22
В первой порядка 2,5к строк и обновляется полторы минуты Во второй порядка 90к строк и обновляется 5-7 минут.
Работа с самой сводной (фильтрация, нафигация, пересчет области значений) в принципе происходило на тех же скоростях. Другой вопрос что в РР помимо сумм и мин/максов в области значений присутствовали и меры с нетривиальными расчетами, и тут конечно скорость проваливалась, но зато какой на выходе результат, пока ты трескаешь в столовке!
Вот горшок пустой, он предмет простой...
|
|||||
|
29.07.2020 17:51:04
Клины из-за этой галки могут начаться даже если все запросы в файле не выгружают ничего ни в модель ни в на лист. Сам факт открытия файла запускает процесс Mashup.Container и при активной галке эксель их начинает все время обновлять по кругу. В PBI может и починили эту беду, а вот в 2016 Экселе все по-старому. В О365 не проверял. Во всех новых книгах отключаю эту галку по-умолчанию и никаких клинов на моем древнючем нотбуке не наблюдаю. Так что: "береженого бог бережет, сказала монашка, и натянула презерватив на свечку".
Изменено:
Вот горшок пустой, он предмет простой...
|
|||
|
21.07.2020 10:41:31
DrillPipe, если табличку выгружать через PQ в саму себя и одновременно в модель, то рефрешить можно просто ПКМ по табличке и обновить, без залезания в модель При этом в код запроса можно еще и добавить всякие проверки от дураков при вводе. Очень удобно получается.
Вот горшок пустой, он предмет простой...
|
|
|
21.07.2020 01:36:04
DrillPipe, тогда теряется удобство в использовании. Управлять параметрами в табличке на листе все же проще чем лазить в модель и редактировать меры. Особенно, когда параметров много.
Но тут на вкус и цвет все фломастеры разные. На истину в последней инстанции не претендую.
Вот горшок пустой, он предмет простой...
|
|
|