Доброго вечера! Мастера, подскажите пожалуйста, каким образом можно получать информацию из огромного (около миллиона строк) массива данных в запросе Power Query. Запрос (только подключение) был получен путём сбора и обработки 8 файлов CSV по 250к строк (реестр сертификатов соответствия). Файл с запросом прикрепил, но не знаю, поможет ли он и вообще, что в нём сохраняется…
Во всех делах очень полезно периодически ставить знак вопроса к тому, что вы с давних пор считали не требующим доказательств (Бертран Рассел) ►Благодарности сюда◄
Доброе время суток. Power Query всё же инструмент для преобразования данных с выгрузкой на лист или непосредственно в модель Power Pivot. Так что, если его результатами пользоваться, то выгружать на лист, можно частями - индексируете и указываете диапазон по индексу. Потом лучше в Access, а оттуда запросам. Не каждый же день обновляются все 8 CSV файлов. Если есть возможность получать только новые изменённые удалённые данные, то тогда трансформировать при помощи PQ только их и соединять с базой.
Андрей VG, доброго утра и вам! А если PQ была нужна только для сбора и обработки, то есть никакой связи с источником больше не нужно, то тогда лучше всего Access? И как тогда в него эти данные, преобразованные PQ, добавить?
Во всех делах очень полезно периодически ставить знак вопроса к тому, что вы с давних пор считали не требующим доказательств (Бертран Рассел) ►Благодарности сюда◄
Если объём большой, до да. Формально можно делать партицирование по листам - разбивку по смыслу, допустим, некоторого ключевого поля, а там ВПР (лучше на бинарном поиске). Тут же от задачи использования плясать нужно. Иначе получатся рассуждения в стиле сферического коня в вакууме
Мне в любом случае просто необходимо подучить Access, раз у ж я базы данных делаю)) если кратко, то имеется огромедная БД, которую целиком в Excel не выгрузить, а, выгрузив миллион строк, работать всё-равно невозможно. Вторая такого же плана БД скоро будет. Хранить их в Access мне кажется вполне здравой идеей (он для этого и существует). Не могу только найти, КАК эти базы добавить в Access из PQ.
Во всех делах очень полезно периодически ставить знак вопроса к тому, что вы с давних пор считали не требующим доказательств (Бертран Рассел) ►Благодарности сюда◄
Jack Famous, давно не пользуюсь Access - не знаю нынешних его возможностей, но может вам вместо PQ и Excel, использовать связку SQL server и Access? В SQL server тоже широкие возможности преобразования данных, и есть бесплатная версия, которая ограничена только объемом базы.
Во всех делах очень полезно периодически ставить знак вопроса к тому, что вы с давних пор считали не требующим доказательств (Бертран Рассел) ►Благодарности сюда◄
Jack Famous написал: а я вот ни разу не пользовал SQL и вообще не в зуб ногой, что там и как)))
Ну в Access вы же пишите запросы на T-SQL? На SQLServer - просто больше возможностей. А в Access просто создать связанные таблицы к базе на сервере, и уже рисовать нужные вам формы и обработки в привычной среде.
StepanWolkoff, может я именно так и сделаю, однако как мне "достать" из PQ данные? Пока в Access (потому что он ближе и надо хоть как-то просмотреть их), а там посмотрим…
Во всех делах очень полезно периодически ставить знак вопроса к тому, что вы с давних пор считали не требующим доказательств (Бертран Рассел) ►Благодарности сюда◄
Jack Famous, ну, тогда как сказалАндрей VG делить по партициям, выгружать на листы, и уже тогда из Access собирать данные из Excel, где их снова собирать в единое целое. ps Почему не начать решать задачу сразу правильно и теми средствами, которые для этого предназначены - для меня остается загадкой.
StepanWolkoff написал: Почему не начать решать задачу сразу правильно и теми средствами, которые для этого предназначены
да я с удовольствием, если смогу оперативно "схватить")) подскажете?
Во всех делах очень полезно периодически ставить знак вопроса к тому, что вы с давних пор считали не требующим доказательств (Бертран Рассел) ►Благодарности сюда◄
StepanWolkoff написал: Ну в Access вы же пишите запросы на T-SQL?
Как бы нет в Access T-SQL. По моим ощущениям SQL движок и синтаксис в Access не менялся года так 1997 Даже возможность создания триггеров добавили на уровне макрсов, а не на уровне движка в 2007.
Алексей, потренируйтесь в создании Part4 и импорта Part3, Part4 в существующую уже таблицу PQSource в Access.
Во всех делах очень полезно периодически ставить знак вопроса к тому, что вы с давних пор считали не требующим доказательств (Бертран Рассел) ►Благодарности сюда◄
Выгружаете всю объединенную таблицу в модель данных (не на лист). устанавливаете надстройку DAX Studio ( http://daxstudio.codeplex.com/ или https://github.com/DaxStudio/DaxStudio/releases/latest ) Запускаете надстройку ИЗ EXCEL, подключаетесь к файлу, выбираете вывод в файл, дальше в большом окне пишете EVALUATE и дважды кликаете по названию вашей таблицы слева. Жмете F5, вам предложит сохранить данные в файл. Выбираете формат, сохраняете, получаете CSV или TSV, который можете потом куда угодно, хоть обратно в PQ
уиииииии))) Максим Зеленский, это самый быстрый способ из мне известных) только у меня ошибку при сохранении пишет (не сразу). Файл с моделью весит 300 метров, в архиве 200.
Во всех делах очень полезно периодически ставить знак вопроса к тому, что вы с давних пор считали не требующим доказательств (Бертран Рассел) ►Благодарности сюда◄
Ну 300 Мб многовато даже для модели данных, тем более для экспорта. Хотя у вас там меньше 2 млн строк, но содержимое - ужас. Похоже, нехватка памяти Рабочий комп не справился: Так что бейте на части и любым удобным способом - в Access. PS глянул еще раз на данные - вообще-то вы бы поиздевались над ними еще немного. У вас огромное количество лишней информации - куча хвостовых пробелов, названия производителей, отличающиеся одной запятой и т.п. Вы прямо удивитесь, как изменится размер файла после чистки и приведения дубликатов в соответствие.
Максим Зеленский, доброго утра! Спасибо за совет - сейчас попробую почистить и отпишусь в этот пост (дробить мне Андрей уже посоветовал, но я так и не добрался вчера…дэдлайны) Удалил 2 столбца. К product_name применил Trim и Clean. Загрузил в модель. Сохранил. Размер не уменьшился, как и ошибка при сохранении через надстройку в CSV/TSV
Во всех делах очень полезно периодически ставить знак вопроса к тому, что вы с давних пор считали не требующим доказательств (Бертран Рассел) ►Благодарности сюда◄