Страницы: 1
RSS
Конфигурация ноутбука для работы с Power Query
 
Подскажите, пожалуйста, какие параметры конфигурации больше всего влияют на производительность в Power Query?
Сейчас моя конфигурация иногда значительно подтормаживает, единственный резерв модернизации увеличить RAM с 8Gb до 16Gb, но даст ли это осязаемый эффект?
сейчас: i5-3360 2.80GHz, 8Gb RAM, 500 Gb SSD, Win 10 64b
 
Кратного эффекта вы не увидите, но определенный эффект будет. Больше зависит от объема обрабатываемых данных и оптимальности запросов. 8 Гб по нынешним временам это минимум, но я и на 4 Гб с более-менее средними запросами справляюсь (с большими уже совсем тяжело).

Условно и очень приближенно, на один процесс MashupEngine в памяти выделяется, например, 256 Мб. Если одному процессу не хватает этой памяти, запускается второй и т.д. То есть, в идеале, сколько нужно - столько и процессов, то есть, чем больше памяти, тем лучше :) но, но, но...

Но если данных много, а в ходе их обработки одному процессу памяти требуется больше, чем ему доступно, он может начать свопить излишки на диск и потом считывать их оттуда. И это наоборот, приводит к снижению производительности. Например, если очень большую таблицу попытаться запихнуть в Table.Buffer.
F1 творит чудеса
 
Цитата
Sergii Skrypai написал:
500 Gb SSD,
Вот это здесь, пожалуй самое главное! То что SSD. Кэшировать на винт PQ очень сильно любит. Ну и RAM до 16 увеличивайте смело - лишними не будут - гарантия 100%!
Наблюдал в процессах один только Excel кушал 6Гб - одну сводную на основе модельки крутил где-то на 8 млн строк. А еще около гига жрали MashUp'ы.
Изменено: PooHkrd - 19.02.2018 13:28:09
Вот горшок пустой, он предмет простой...
 
PooHkrd, по логике ведь ненормально столько оперативки поглощать? Программы на C+ ведь столько не поглощают, наверное?
Или там действительно что-то очень грандиозное происходит?
 
Я не знаю сколько для него нормально. Сварганил один аналитический инструментик, который собирает данные из 15 разных источников и через сводную считает всякое. Для расчетов потребовалось написать около 30 мер, и в процессе отладки все их выводить в сводную. Все вышесказанное нужно помножить на мою криворукость при написании мер  :D мое пока еще слабое знание DAX и, как следствие, фигово оптимизированные вычисления. Ну и вообще да, считается довольно грандиозная фигня. По крайней мере наши программисты 1С сказали, что такими запросами я им сервер с БД могу положить и писать они их будут пару месяцев, а то и больше. А на DAX вот получилось за три недельки собрать фигулину, которая работает с выгрузками из 1С на выделенном под эти нужды серваке.
В результате в процессе пересчета сводной Excel кушает вот сколько я выше написал. Но мне по барабану, на серваке то 64 гига, так что модельку можно еще дорабатывать!
Изменено: PooHkrd - 21.02.2018 17:02:05
Вот горшок пустой, он предмет простой...
 
Лет 5 назад еще наверное никто не знал, что может быть 8 Гб оперативки, а лет 10 назад вообще было 2 Гб оперативки и компьютеры работали. Теперь 8 Гб и их не хватает для Power Query.
 
Ну и что ж теперь? Тогда и 1 млн строк в Excel был космосом, ну т.е. он как бы есть, но ВПР-ить пару таких массивов было не смешно. А сейчас PP легко и непринужденно связывает две таких таблицы. Собственно смог бы он это делать без таких объемов оперативки? Думаю - нет. И еще раз 6 Гб кушает не PQ, а именно PowerPivot, это его движок VertiPaq там разворачивается так, что мама не горюй. А собственно PQ со своими MashUp может кушать не так уж и много. Ни разу не видел более 4 таких процессов по 256 Мб каждый. Все остальное обрабатывается через своп файл. И именно поэтому я и указал, что SSD в данном случае - то что доктор прописал, скорость чтения с винта для PQ - это критический параметр.
Вот горшок пустой, он предмет простой...
 
Специально для работы заказал ноут HP ZBook 15 G5 вот такой конфигурации (https://goo.gl/bngUHA) за 4000 дол.
Есть много сложных запросов с огромным количеством строк. На ноуте с текущей конфигурацией и большие файлы открываются небыстро, и сами запросы обрабатываются ощутимо долго.
Когда протестирую, выложу сюда инфу для сообщества. Вдруг кому пригодится.
OfficeProPlus 365x64
Win64forWorkstation
 
vector1, Вы схватили мобильную рабочую станцию, в которой основную стоимость сожрала Quadro P2000. Если конечно вы занимаетесь еще и тем что требует этого адаптера, то ок, а в противном случае - выброшенные деньги. Xeon , ECC память - все будет дороже и без прироста. UHD на 15" - смех. Мне лично жаль выкинутых денег.
Изменено: БМВ - 11.01.2019 18:00:16
По вопросам из тем форума, личку не читаю.
 
К сожалению с Ксеоном поставляется только такой экран. Причем и у Делл в ноутах с подобной конфигурацией экран - UHD тоже на 15 дюймах.
Как это будет в работе, посмотрю. Мне такой ультраэкран, конечно, не нужен. Но что есть, то есть.
А деньги - то такое.
OfficeProPlus 365x64
Win64forWorkstation
 
https://www.lenovo.com/ru/ru/workstations/finance-industry/ThinkPad-P52s/p/22TP2WPP52S  - с i8  FHD и SSD поболее bинтересно сколько стоит, а так много лучше чем 4000к
По вопросам из тем форума, личку не читаю.
 
Я хотел самый мощный процессор и самую быструю оперативку (о жестком диске не говорю, так как у меня ССД стоит и в новом будет тоже ССД).
Сравню с моим текущим компом.
Теоретически, судя по характеристикам процессоров и памяти прирост производительности должен быть процентов на 50%.
Если будет иначе поставлю РЕМдиск. Короче буду экспериментировать.
Программные недостатки Экселя буду пытаться решать с помощью наращивания мощности железа.
OfficeProPlus 365x64
Win64forWorkstation
 
Цитата
vector1 написал:
РЕМдиск
Что такое РЕМдиск ?
 
http://forum.ru-board.com/topic.cgi?forum=5&topic=30557
Изменено: vector1 - 11.01.2019 20:33:24
OfficeProPlus 365x64
Win64forWorkstation
 
Цитата
vector1 написал:
у меня ССД стоит
SSD SSD рознь.

SSD 850 Evo M.2 MZ-N5E500BW
До 540 млн байт / сек

SSD 950 PRO M.2 MZ-V5P512BW
До 2500 млн байт / сек

РЕМдиск - RAMDisk - всеж РАМДиск  Random Access Memory Disk  - Технология древнейшая, еще на AT для DOS  из оставшихся 360кб выкраивали их для диска и там крутили файлы для тех программ которые не умели EXTENDED область выше 640кб использовать .
Изменено: БМВ - 11.01.2019 21:23:45
По вопросам из тем форума, личку не читаю.
 
На HP ZBook 15 G5  я заказал SSD Samsung 970 PRO 1 TB (Форм-фактор: M.2)
OfficeProPlus 365x64
Win64forWorkstation
 
vector1, Будет интересно, будет ли прирост скорости хотя б близко к пропорции стоимости  :-)
По вопросам из тем форума, личку не читаю.
 
Соотношение типа "цена/качество" (в нашем случае - "цена/эффективность") самого интересует.
Если ошибусь, то расскажу, конечно, чтобы другие не делали подобных ошибок.
А так давнюю мечту, можно сказать, воплощаю в жизнь: ноут с ультимативной начинкой.
Изменено: vector1 - 12.01.2019 02:30:56
OfficeProPlus 365x64
Win64forWorkstation
 
Цитата
vector1 написал:
воплощаю в жизнь: ноут с ультимативной начинкой.
а в зимой еще и обогреватель :-), при этом и то и то уступает старшим собратам. Основной вопрос, который меня мучает, это почему именно Notebook?  Если это не 3D или video, то почему не VDI или TerminalServices? Неужели нужна оффлайн работа с этими материалами? У нас есть специализированный геологический софт, который без квадры не работает, и так как требуется иногда демонстрировать что-то на выезде, то есть мобильные Zки, но основная работа на VDI с GRID. Там и мощностью можно поиграть, и в ЦОД все рядом с материалами, а они терабайтные почти всегда. Некоторые расчеты длятся сутками. Запускаются на выходные без серьезных опасений, что отключат свет, повысится температур  не хватит места..... Альтернатива - обычные рабочие станции. Текущая стоимость от 250кр за простенький системный блок, а у топовых только квадра стоит от 500к . VDI конечно тоже не даром, но за этим будущее.
По вопросам из тем форума, личку не читаю.
 
Цитата
БМВ написал:
почему не VDI или TerminalServices?
Вам повезло, прогрессивный сисадмин - это редкость. У нас также пытаются разворачивать виртуальные рабочие места. Но, во-первых, наш системный администратор доказывает мне, что ни процессор, ни частота оперативной памяти на скорость обработки офисных программ не влияет (я в первую очередь имею в виду именно Эксель) или же если и влияет, то очень незначительно. Во-вторых, к большому сожалению, у системных администраторов крайне развит "синдром вахтера". Не знаю, как у других, но я с таким явлением сталкивался везде, где доводилось работать. Можно, конечно, и авторитетом продавить необходимое мне аппаратное решение (виртуальный рабочий стол с выделенным серьезным процессорным ресурсом и оперативкой), но так как я не обладаю достаточной квалификацией, временем и желанием, чтобы проверить не пробрасывает ли меня админ, решил пойти иным путем: полностью обособить рабочее место от системного администратора путем приобретения мобильной рабочей станции. Это тоже одна из причин.
OfficeProPlus 365x64
Win64forWorkstation
 
Цитата
vector1 написал:
Вам повезло, прогрессивный сисадмин - это редкость
конечно повезло, еще как повезло, я сам он и есть :-)
На самом деле все надо считать экономически, и для одной станции воротит VDI не стоит городить. Слишком много накладных расходов будет на попутное ПО. Это и систему виртуализации, а что не возьми стоит прилично, даже то что MS VDA только по подписке на 3 года с ежегодной оплатой и то затраты.  Рабочих станции, которые физические и в приличном количестве - это попа для админа. Сейчас на столе, кроме мониторов, крохотная коробочка с тонким клиентом, который грузится мгновенно, а были эти печки, да еще с киловатным UPS Ибо HP Z800 и далее очень прожорливы.
Изменено: БМВ - 12.01.2019 20:44:26
По вопросам из тем форума, личку не читаю.
 
Сравнение скорости загрузки Экселевского файла (xlsx) объемом 200 мегабайт (много сводных таблиц, запросов Power Query с выгрузкой на лист).
1. Ноутбук HP EliteBook 8570w, процессор: i7-3840QM (2,8 GHz...3,8 GHz) 4 ядра, 8 потоков, Кэш L2+L3 (Кб) - 1024 + 8192; RAM - 24 Гб; операционная система - Win64Pro; винт - SSD Samsung 850Pro (SATA III) 256 Гб; схема электропитания - высокая производительность; офис365ПроПлюс.
2. Ноутбук HP EliteBook 8570w, процессор: i7-3840QM (2,8 GHz...3,8 GHz) 4 ядра, 8 потоков, Кэш L2+L3 (Кб) - 1024 + 8192; RAM - 24 Гб; операционная система - Win64Pro; винт - HDD (SATA III) объема не помню (поставлялся вместе с ноутом); схема электропитания - высокая производительность; офис365ПроПлюс.
3. Ноутбук HP ZBook 15G (2ZC64EA), процессор - Xeon E-2186M (2,9 GHz...4,8 GHz) 6 ядер, 12 потоков, Кэш L2+L3 (Кб) -1536 + 12288; RAM - 32 Гб; операционная система - Win64ForWorkstation; винт - Samsung 970 Evo Plus (M.2 PCI Express 3.0 x4) 1Tб; схема электропитания - высокая производительность; офис365ПроПлюс.

1 - 5 минут 4 секунды
2 - 5 минут 20 секунд
3 - 2 минуты 40 секунд

Цена ноута HP EliteBook 8570w сейчас 500...600 дол.
Цена ноута HP ZBook 15G (2ZC64EA) сейчас - 4000 дол.

Не стоит того.

Хотя качество сборки ZBook, конечно, великолепное. При этом совершенно не греется (2 вентилятора) под нагрузкой по сравнению со старыми моделями рабочих станций от HP.
Изменено: vector1 - 13.08.2019 10:29:02
OfficeProPlus 365x64
Win64forWorkstation
 
vector1, в указанной Zке приличную часть стоимости составляет NVIDIA Quadro P2000 , и она не задействована у Вас совсем. права параллельно с запросом можете на ней майнить :-). да и все этим станции рассчитаны под графику больше, на тот софт который без квадры даже не работает. Что касает прироста скорости по отношению к стоимости, то тут все понятно. 200 мегабайт  - на загрузку сильно сказывается разница по скорости SSD
3500 у 970 Evo Plus  в сравнении с 550 MB/s  у 850Pro. ну и далее.
По вопросам из тем форума, личку не читаю.
 
Цитата
vector1 написал: Сравнение скорости загрузки Экселевского файла (xlsx) объемом 200 мегабайт (много сводных таблиц, запросов Power Query с выгрузкой на лист).
м-да... всё-таки иногда не лишним проверить - действительно ли. ему надо столько весить... имела файл 50мб - работала с ним год (не знаю, где нахватала столько мб, были ещё макросы - может из-за неочищенных переменных, особенно arr, файл разбухал ИЛИ из-за тестов/переделок PQ?)... сделала его с нуля, ну и немного оптимизировала - получила файл 6мб
Цитата
Karataev написал: а лет 10 назад вообще было 2 Гб оперативки и компьютеры работали. Теперь 8 Гб и их не хватает для Power Query.
да и сейчас на 2х гб можно работать - если для дом пк (не работают дома с такими гб данных,  которым надо 8.) или для студентов...
соглашусь с #2 - 4 получше для PQ ... но не критично - зависит от рода задач и количества данных в обороте
Изменено: JeyCi - 10.09.2019 19:14:33
чтобы не гадать на кофейной гуще, кто вам отвечает и после этого не совершать кучу ошибок - обратитесь к собеседнику на ВЫ - ответ на ваш вопрос получите - а остальное вас не касается (п.п.п. на форумах)
 
Цитата
JeyCi написал:
да и сейчас на 2х гб можно работать - если для дом пк
Работать дома совсем не надо, даже на 16 или 32Х :-)
На самом деле и не по теме и сомнительное утверждение. Посмотрите сколько жрут процессы браузеров, которые серфят интернет.
По вопросам из тем форума, личку не читаю.
 
Цитата
БМВ написал: Посмотрите сколько жрут процессы браузеров
зависит от того. по каким ресурсам ходить...  ;) (картинки и видео всегда кушали, а реклама ещё больше них...)
чтобы не гадать на кофейной гуще, кто вам отвечает и после этого не совершать кучу ошибок - обратитесь к собеседнику на ВЫ - ответ на ваш вопрос получите - а остальное вас не касается (п.п.п. на форумах)
 
Вопрос снят)
Изменено: Лариса Коломоец - 03.09.2022 15:28:47
 
Сравнение скорости загрузки Экселевского файла (xlsx) объемом 400 мегабайт (много сводных таблиц, запросов Power Query с выгрузкой).
1. Ноутбук HP ZBook 15 G5 (2ZC64EA), процессор - Xeon E-2186M (2,9 GHz...4,8 GHz) 6 ядер, 12 потоков, Кэш L2+L3 (Мбт) -1,5 + 12; RAM - 64 Гб (DDR4-2666 МГц); видео: интегрированная и дискретная; разрешение дисплея - 3840x2160; тип матрицы - IPS; диагональ дисплея - 15.6``; операционная система - Win11ForWorkstation*64; винт - Samsung 970 Evo Plus (M.2 PCI Express 3.0 x4) 1Tб; схема электропитания - максимальная производительность; офис365ПроПлюс.
2. Ноутбук ZBook Fury 16 G10 (7B630AV_V2), процессор - Intel Core i9-13950HX (2.2 - 5.5 ГГц) 24 ядра, 32 потока, Кэш L2+L3 (Мбт) - 32 + 36; RAM - 64 Гб (DDR5-4800 МГц); видео: только интегрированная; разрешение дисплея - 1920x1200; тип матрицы - IPS; диагональ дисплея - 16.0``;операционная система - Win11Pro*64; винт - SK HYNIX PC801 HFS002TEJ9X101N (M.2 PCI Express 4.0 x4) 2Tб; схема электропитания - максимальная производительность; офис365ПроПлюс.

1 - 7 минут 09 секунд
2 - 3 минуты 39 секунд

Цена ноута HP ZBook 15 G5 (2ZC64EA) - 4000 дол. (февраль 2019)
Цена ноута HP ZBook Fury 16 G10 (7B630AV_V2) - 3200 дол. (январь 2023)
Изменено: vector1 - 17.01.2024 01:45:36
OfficeProPlus 365x64
Win64forWorkstation
 
vector1,
4000 1 - 7 минут 09 секунд
3200 2 - 3 минуты 39 секунд
Так норм же . Уменьшается цена - уменьшается время.   :)  а если серьезно, то нет смысла сравнивать по цене.  Дискретка даст недостающую сумму. А вот xenon на таких операциях уступит i9 а порой и i7. А если последниe разогнать, то и подавно.
По вопросам из тем форума, личку не читаю.
 
Если не хранить 100 сводных и запросов в одном файле, а раскидать, на несколько, то вообще будет
Цитата
БМВ написал:
нет смысла сравнивать
Страницы: 1
Наверх