Страницы: 1
RSS
Извлечение огромного массива данных из запроса Power Query
 
Доброго вечера!
Мастера, подскажите пожалуйста, каким образом можно получать информацию из огромного (около миллиона строк) массива данных в запросе Power Query.
Запрос (только подключение) был получен путём сбора и обработки 8 файлов CSV по 250к строк (реестр сертификатов соответствия). Файл с запросом прикрепил, но не знаю, поможет ли он и вообще, что в нём сохраняется…
Во всех делах очень полезно периодически ставить знак вопроса к тому, что вы с давних пор считали не требующим доказательств (Бертран Рассел) ►Благодарности сюда◄
 
Доброе время суток.
Power Query всё же инструмент для преобразования данных с выгрузкой на лист или непосредственно в модель Power Pivot. Так что, если его результатами пользоваться, то выгружать на лист, можно частями - индексируете и указываете диапазон по индексу. Потом лучше в Access, а оттуда запросам. Не каждый же день обновляются все 8 CSV файлов. Если есть возможность получать только новые изменённые удалённые данные, то тогда трансформировать при помощи PQ только их и соединять с базой.
Изменено: Андрей VG - 26.09.2017 07:47:21
 
Андрей VG, доброго утра и вам! А если PQ была нужна только для сбора и обработки, то есть никакой связи с источником больше не нужно, то тогда лучше всего Access? И как тогда в него эти данные, преобразованные PQ, добавить?
Изменено: Jack Famous - 26.09.2017 10:46:39
Во всех делах очень полезно периодически ставить знак вопроса к тому, что вы с давних пор считали не требующим доказательств (Бертран Рассел) ►Благодарности сюда◄
 
Цитата
Jack Famous написал:
то тогда лучше всего Access
Если объём большой, до да. Формально можно делать партицирование по листам - разбивку по смыслу, допустим, некоторого ключевого поля, а там ВПР (лучше на бинарном поиске). Тут же от задачи использования плясать нужно. Иначе получатся рассуждения в стиле сферического коня в вакууме :)
 
Мне в любом случае просто необходимо подучить Access, раз у ж я базы данных делаю)) если кратко, то имеется огромедная БД, которую целиком в Excel не выгрузить, а, выгрузив миллион строк, работать всё-равно невозможно. Вторая такого же плана БД скоро будет. Хранить их в Access мне кажется вполне здравой идеей (он для этого и существует). Не могу только найти, КАК эти базы добавить в Access из PQ.
Во всех делах очень полезно периодически ставить знак вопроса к тому, что вы с давних пор считали не требующим доказательств (Бертран Рассел) ►Благодарности сюда◄
 
Jack Famous, давно не пользуюсь Access - не знаю нынешних его возможностей, но может вам вместо PQ и Excel, использовать связку SQL server и Access? В SQL server тоже широкие возможности преобразования данных, и есть бесплатная версия, которая ограничена только объемом базы.
 
Цитата
StepanWolkoff написал:
давно не пользуюсь Access - не знаю нынешних его возможностей
а я вот ни разу не пользовал SQL и вообще не в зуб ногой, что там и как))) а за вариант спасибо
Изменено: Jack Famous - 26.09.2017 11:27:40
Во всех делах очень полезно периодически ставить знак вопроса к тому, что вы с давних пор считали не требующим доказательств (Бертран Рассел) ►Благодарности сюда◄
 
Цитата
Jack Famous написал:
а я вот ни разу не пользовал SQL и вообще не в зуб ногой, что там и как)))
Ну в Access вы же пишите запросы на T-SQL? На SQLServer - просто больше возможностей.
А в Access просто создать связанные таблицы к базе на сервере, и уже рисовать нужные вам формы и обработки в привычной среде.
 
StepanWolkoff, может я именно так и сделаю, однако как мне "достать" из PQ данные? Пока в Access (потому что он ближе и надо хоть как-то просмотреть их), а там посмотрим…
Во всех делах очень полезно периодически ставить знак вопроса к тому, что вы с давних пор считали не требующим доказательств (Бертран Рассел) ►Благодарности сюда◄
 
Jack Famous, ну, тогда как сказалАндрей VG делить по партициям, выгружать на листы, и уже тогда из Access собирать данные из Excel, где их снова собирать в единое целое.
ps Почему не начать решать задачу сразу правильно и теми средствами, которые для этого предназначены - для меня остается загадкой.
 
Цитата
StepanWolkoff написал:
Почему не начать решать задачу сразу правильно и теми средствами, которые для этого предназначены
да я с удовольствием, если смогу оперативно "схватить")) подскажете?
Во всех делах очень полезно периодически ставить знак вопроса к тому, что вы с давних пор считали не требующим доказательств (Бертран Рассел) ►Благодарности сюда◄
 
Цитата
StepanWolkoff написал:
Ну в Access вы же пишите запросы на T-SQL?
Как бы нет в Access T-SQL. По моим ощущениям SQL движок и синтаксис в Access не менялся года так 1997 :(  Даже возможность создания триггеров добавили на уровне макрсов, а не на уровне движка в 2007.

Алексей, потренируйтесь в создании Part4 и импорта Part3, Part4 в существующую уже таблицу PQSource в Access.
 
Андрей VG, спасибо вам большое! Отпишусь)
Во всех делах очень полезно периодически ставить знак вопроса к тому, что вы с давних пор считали не требующим доказательств (Бертран Рассел) ►Благодарности сюда◄
 
Выгружаете всю объединенную таблицу в модель данных (не на лист).
устанавливаете надстройку DAX Studio ( http://daxstudio.codeplex.com/ или https://github.com/DaxStudio/DaxStudio/releases/latest )
Запускаете надстройку ИЗ EXCEL,
подключаетесь к файлу, выбираете вывод в файл,

дальше в большом окне пишете EVALUATE и дважды кликаете по названию вашей таблицы слева.
Жмете F5, вам предложит сохранить данные в файл.
Выбираете формат, сохраняете, получаете CSV или TSV, который можете потом куда угодно, хоть обратно в PQ
Изменено: Максим Зеленский - 26.09.2017 14:03:42
F1 творит чудеса
 
уиииииии))) Максим Зеленский, это самый быстрый способ из мне известных) только у меня ошибку при сохранении пишет (не сразу). Файл с моделью весит 300 метров, в архиве 200.
Изменено: Jack Famous - 26.09.2017 14:23:58
Во всех делах очень полезно периодически ставить знак вопроса к тому, что вы с давних пор считали не требующим доказательств (Бертран Рассел) ►Благодарности сюда◄
 
Ну 300 Мб многовато даже для модели данных, тем более для экспорта. Хотя у вас там меньше 2 млн строк, но содержимое - ужас.
Похоже, нехватка памяти
Рабочий комп не справился:

Так что бейте на части и любым удобным способом - в Access.
PS глянул еще раз на данные - вообще-то вы бы поиздевались над ними еще немного. У вас огромное количество лишней информации - куча хвостовых пробелов, названия производителей, отличающиеся одной запятой и т.п.
Вы прямо удивитесь, как изменится размер файла после чистки и приведения дубликатов в соответствие.
F1 творит чудеса
 
Максим Зеленский, доброго утра! Спасибо за совет - сейчас попробую почистить и отпишусь в этот пост (дробить мне Андрей уже посоветовал, но я так и не добрался вчера…дэдлайны)  :)
Удалил 2 столбца. К product_name применил Trim и Clean. Загрузил в модель. Сохранил. Размер не уменьшился, как и ошибка при сохранении через надстройку в CSV/TSV  :cry:
Изменено: Jack Famous - 27.09.2017 11:00:42
Во всех делах очень полезно периодически ставить знак вопроса к тому, что вы с давних пор считали не требующим доказательств (Бертран Рассел) ►Благодарности сюда◄
Страницы: 1
Читают тему
Наверх