Страницы: 1
RSS
Power query более миллиона строк
 
Добрый день! Нужна помощь)
Подскажите пожалуйста. Я хочу в итоге получить большую базу, которая будет обрабатываться через power pivot. Надстройки плохо знаю, начинаю изучать только.
суть в том, что из рабочей программы выгружаются данные по 100-200 тысяч строк в Эксель. Мне нужно раз в неделю собирать. Полная неделя занимает 1-1,5 млн строк. То есть каждую неделю мне нужно в течение часа выгружать в несколько экселей 1-1,5 млн строк.
что я хотел. Создать папку, в которую я бы сохранял эти файлики по 100 тысяч строк, дальше я бы загружал это в power query. И на эту базу завязал бы сводную таблицу через power pivot.
там много столбцов будет. И если без power query, помимо ручного копирования файлов в один, мне придется каждый раз настраивать все связи через справочники, их может быть с пару десятков. Ну и соответственно в power pivot помимо справочников будет к примеру год это десятки недель по 2 таблицы (так как Эксель поддерживает до 1 млн, неделя это минимум 2 файла эксель).
каким образом мне создать такую пополняемую базу от миллиона строк?
в общем, первая проблема, с которой я столкнулся, это то что power query как и Эксель, не может собрать более миллиона строк. Мне нужно минимум 4 недели, это 5 млн строк. Вторая проблема, при выгрузке "из папки" не видно сетевых папок, в чем тут может быть проблема?
подскажите пожалуйста, в каком направлении двигаться, а тонкости буду изучать с помощью этого супер сайта))
 
ponrussell,

1. по "созданию базы" - если вы пишите, что будете в power pivot тянуть связи со справочниками и т.п. - значит уже понимаете связь и power query и power pivot, в чем вопрос? в  PQ ставите источником папку, туда закидываете все файлы, обрабатываете эти файлы, результат обработки загружаете в модель данных, с помощью power pivot по модели данных делаете сводные или доп. обработки через DAX, или модель данных потом можно загрузить в Power BI. Вопрос по БД мне лично не ясен.
2. в чем выразилось то, что PQ "не может собрать более 1 млн строк"? в PQ нет никаких ограничений на кол-во строк
3. в части сетевых папок - к админам, наверняка что-то с правами доступа. или гуглить. или приложить скрин.
Изменено: voler83 - 04.04.2024 09:37:09
 
ponrussell,
я бы посоветовал получить доступ к БД Вашей программы, чтобы не выгружать постоянно эксельки в папку.
 
Цитата
написал:
1. по "созданию базы" - если вы пишите, что будете в power pivot тянуть связи со справочниками и т.п. - значит уже понимаете связь и power query и power pivot, в чем вопрос? в  PQ ставите источником папку, туда закидываете все файлы, обрабатываете эти файлы, результат обработки загружаете в модель данных, с помощью power pivot по модели данных делаете сводные или доп. обработки через DAX, или модель данных потом можно загрузить в Power BI. Вопрос по БД мне лично не ясен.2. в чем выразилось то, что PQ "не может собрать более 1 млн строк"? в PQ нет никаких ограничений на кол-во строк3. в части сетевых папок - к админам, наверняка что-то с правами доступа. или гуглить. или приложить скрин.
создаю книгу эксель - вот здесь видимо неправильно?
Данные-получить данные-из файла-из папки. Объединить и загрузить
Загружено строк: 1505909
Ошибка: Данные возвращаемые запросом, не умещаются на одном листе. И 2 варианта, разместить 1 млн строк, отменить запрос - вот в этом месте и затык происходит
Изменено: ponrussell - 05.04.2024 10:28:26
 
Цитата
написал:
я бы посоветовал получить доступ к БД Вашей программы, чтобы не выгружать постоянно эксельки в папку.
возьму на заметку, но врядли в крупной сети это возможно
 
Цитата
ponrussell написал:
Данные-получить данные-из файла-из папки. Объединить и загрузить
Это новое подключение или существующее? Может надо просто изменить способ выгрузки для запроса, т.к. сейчас установлено выгружать в таблицу, а надо "только подключение"?
Даже самый простой вопрос можно превратить в огромную проблему. Достаточно не уметь формулировать вопросы...
 
Цитата
написал:
Это новое подключение или существующее? Может надо просто изменить способ выгрузки для запроса, т.к. сейчас установлено выгружать в таблицу, а надо "только подключение"?
новый лист не умещает более 1 млн. В PP в модели данных не вижу "выгружать из папки".
В ошибках в этом файле нашел, что можно выгрузить не на лист, а в модель данных, соответственно вопрос снят.
Осталось в начатом PP найти, как это сделать в подключениях, буду разбираться, спасибо!
Изменено: ponrussell - 05.04.2024 10:33:50
 
ponrussell,
в PQ только создать подключение -> добавить в модель данных -> ура, данные в PP
 
ponrussell,
1. А нафига Вы данные на лист грузите? Загрузите только в модель.
2. А нафига Вы данные храните в файлах excel? Выгружайте в csv.
Там нет ограничения строк + чтение из csv гораздо быстрее.
Страницы: 1
Наверх