Страницы: 1
RSS
Работа с запросами Power Query - резкое падение производительности
 
Доброго дня всем,  
Возникла проблема с запросами Power Query, очень надеюсь на вашу помощь =)

Суть проста - при переходе из Excel в редактор запросов, PQ работает в течении минуты, а затем начинает зависать. Еще через минуту-две в программе тормозить всё, вплоть до нажатия на любые кнопки интерфейса.

Отдельно опишу обстоятельства, чтобы ситуация была понятнее:

- Исходный файл эксель - около десяти крупных таблиц, создаваемых с помощью Power Query. А с помощью PQ, собственно, он обращается к другим пяти файлам excel, находя нужную информацию (каждый из них от 100 до 200 Мб, все нагружены множеством таблиц).
- Структура запросов к этим файлам приличная - всего в общем объеме больше 430 запросов, каждый обрабатывает что то безумно важное, мда...
- Глючить начинает только после того, как начинаешь редактировать код самих запросов. Влезаешь в редактор, далее квест "успеть за 60 секунд". Если успеть внести правки, и нажать "закрыть-сохранить", то квест пройден! Всё успешно прогрузится.
- Сама система в это время работает нормально, компьютер не перегружается, не глючит, не тормозит, можно спокойно переключаться на любую другую программу... Безнадежно глючить начинает исключительно Power Query. Объем используемых ресурсов в диспетчере задач не превышает 20-30% от общего, железо в целом достаточно мощное. (excel на 64 разряда)
- В настройках PQ снята загрузка данных для предварительного просмотра.

И еще два произошедших недавно факта, которые возможно могут быть с этим связаны.
- Количество запросов увеличилось примерно на 70 шт., до 430.. Однако после этого файл несколько дней работал в нормально.
- Прошел процесс обновления Excel... (странно грешить на это, но а вдруг...)

В общем как то так. Причем раньше работало всё без особых видимых проблем, а теперь внезапно стало зависать намертво. Единственный вариант дальше - принудительно выключать программу, продолжать работу невозможно.

В дальнейшем цели работать со структурой запросов нет, их надо доредактировать и всё. Но это как раз не получается закончить .....
Подскажите, что можно было бы сделать, чтобы хотя бы закончить настройку. Есть ли вариант как то дать Query возможность использовать больше ресурсов системы?
Изменено: ForestTiger - 02.02.2020 00:36:49
working on Excel 2010
living on Excel 365

Why? ask my boss
 
Откуда такое зависание не очень понятно. Так чтобы в одной книге было 400+ запросов. Со мной такого не было , и не будет.
В чем проблема разделить все запросы на 2 книги? Вдруг отлегнет? Также для редактирования запросов никто не мешает скопировать его текст в отдельную книгу и редактировать / тестировать все в ней, а результат вставить в ваш мега- файл.
Вот горшок пустой, он предмет простой...
 
Цитата
PooHkrd написал: В чем проблема разделить все запросы на 2 книги?
Ну...
Скажем так: таких книг уже несколько. Уже делили то что было =) Не очень хотелось бы разделять всё еще раз.

Цитата
PooHkrd написал: ...для редактирования запросов никто не мешает скопировать его текст в отдельную книгу...
А касательно редактирования, так вот вставить и не получается!
Осталось отредактировать буквально несколько конкретных мелочей (во многих запросах) - тестить нет необходимости. Нужно просто залезть туда и минут за десять всё доделать.
Но намертво зависает...
working on Excel 2010
living on Excel 365

Why? ask my boss
 
Пути к источникам намертво прописаны в запросах или есть таблица откуда берутся пути?
Вот горшок пустой, он предмет простой...
 
Цитата
ForestTiger написал: Объем используемых ресурсов в диспетчере задач не превышает 20-30% от общего
У меня один файл с 23-я запросами (внутренними к файлам и одним внешним к курсам валют на межбанке). Грузит процессор на 50...85%.
Там, правда, использую "модель данных". Возможно (и скорее всего) это PowerPivot балуется.
Оперативки добавил еще 32 Гбт. Процессор поменять не могу, к сожалению.
OfficeProPlus 365x64
Win64forWorkstation
 
Проблема вроде бы решилась!
И всё оказалось достаточно банально...

Единственное, что нужно было сделать - отключить функцию M Intellisense в настройках Power Query. Видимо из-за этой функции он автоматически подгружал данные для работы редактора запросов, что приводило к лагам...
Теперь всё в норме, производительность снова на высоте.

Немного отходя от темы, хорошо бы где нибудь повесить что то вроде мануала для чайников по работе с большими файлами.
По типу "Отключите фоновое скачивание" , "Отключите M Intellisense" ... Вроде бы самоочевидные вещи если подумать, но на практике всё это реализуется через миллион проб и ошибок.

Думаю тему можно закрывать, всем спасибо!
working on Excel 2010
living on Excel 365

Why? ask my boss
 
Не. Сильно не помогает.
У меня скачкообразный рост использования ресурсов процессора происходит в момент извлечения данных (из модели в сводную).
До момента "извлечения..." процессор загружен на 10...14%
OfficeProPlus 365x64
Win64forWorkstation
 
Цитата
ForestTiger написал:
Немного отходя от темы, хорошо бы где нибудь повесить что то вроде мануала
Мануала никто не вешал, но по вопросам тупняков из-за PQ на форуме уже вагон тем. А про интелисенс, извините, он у людей в Экселе только-только появляться начал после обновлений, так что и с тупняками из-за него никто особо еще и не сталкивался. Хотя жалобы юзеров PBI на эту приблуду в группе на FB вроде проскакивали, по крайней мере на первые релизы.
Кстати, если бы вы указали что у вас О365 то я бы возможно и подумал в эту сторону, а то тут в основном с 2016 версией народ обращается.
Вот горшок пустой, он предмет простой...
 
Ребят, я уже почти отчаялась.
PQ висит жутко, даже на самых простейших и небольших запросах (даже если таблица максимум строк на 40 и 20 столбцов).
Отключала MIntellisense в самом файле, меняла privacy options - больше идей нет.
Обычный Excel с адским количеством строк нормально работает, косяк именни с Query. В чем еще могут быть подводные камни? По собственным ощущениям, это после какого-то обновления началось, но комп корпоративный, что за обновление прошло - пока найти не могу
 
у меня все проблемы с Power Query были связаны с Net.Framework. Установка или переустановка его махом решала все проблемы.  
 
ArgentumTiger_7

Спасибо за такой вариант - попробую
 
Цитата
написал:
Ребят, я уже почти отчаялась.
PQ висит жутко, даже на самых простейших и небольших запросах (даже если таблица максимум строк на 40 и 20 столбцов).
Отключала MIntellisense в самом файле, меняла privacy options - больше идей нет.
Обычный Excel с адским количеством строк нормально работает, косяк именни с Query. В чем еще могут быть подводные камни? По собственным ощущениям, это после какого-то обновления началось, но комп корпоративный, что за обновление прошло - пока найти не могу
Добрый день!

Столкнулся с похожей проблемой. Подскажите пожалуйста, удалось ли решить ее?
 
Добрый день!

Столкнулся с похожей проблемой. Подскажите пожалуйста, удалось ли решить ее?[/QUOTE]
Столкнулся недавно с проблемой с долгой работй PQ при выборке данных из другой книги Excel. Как оказалось проблема была в формате книге. Если книга из которой запрашиваются данные сохранена в формате .XLSB, то PQ работает очень медленно, я даже не смог дожлаться завершения обновления запроса, а если книгу ту же книгу пересохранить, например, в формат .XLSX, то всё работает как и раньше, достаточно шустро. Проверено на Office 365 и Office 2019
Изменено: БМВ - 12.07.2022 21:15:58
Страницы: 1
Наверх