Кстати, запрос к файлу .csv обработался за 2 часа и 5 минут. Тот же запрос к папке с файлами .xlsx за 3 часа. Т.е. всегда лучше данные собирать в один .csv?

Vladimir Ch, спасибо что проделали такую работу.
Давно подозреваю что что то не так, но твердой уверенности не было, т.к. не знаю какие файлы у других людей,  как долго они обновляются, и что считать нормой. Переделал запрос, из запроса к папке с файлами в запрос к файлу .csv, куда те же данные  из 400 файлов загнал (думал будет быстрее). Два часа уже обновляется, видимо также 3 часа будет обновляться...
Попробую отключать/включать в настройках запроса разные опции, может поможет что, потому что в файле помимо модели данных (+десяток столбцов с простыми арифметическими формулами), 10 сводных и нескольких простых арифметических формул (без тяжелых двссыл и т.д.) на Листах и нет ничего. Буду удалять по очереди всё из книги, лист за листом, пока голый запрос не останется. Или с нуля буду файл воспроизводить, и смотреть где у меня возникает задержка
Спасибо огромное, теперь понимаю примерно сколько мои данные должны грузиться и обрабатываться, а то сидел и думал, а может 3 часа для моих данных это нормально и у всех так...

Vladimir Ch, а какая видеокарта у Вас? И как долго обновляются Ваши запросы, просто у меня, к примеру, есть запрос к папке с 400  файлами .xlsx, в которых примерно 1 млн строк (суммарно во всех файлах) и 60 столбцов, файл с запросом и с примерно 10 сводными таблицами обновляется 3 часа...  

у меня до 25% наверно из-за того, что формул не так уж много, в основном запросы, сводные и макросы, которые не могут в многопоточность.  Поэтому в моем случае наверное правильнее будет взять 6 ядерный.
Alex, спасибо Вам за помощь и Ваше время. Было очень полезно для меня

Alex, спасибо за Ваше мнение!
Я тоже думаю, что не может видеокарта быть важнее чем процессор для Excel и встройки современных процессоров должно быть более чем достаточно. Такие же сомнения по поводу большего значения накопителя над процессором, диск имеет значение  для Power Query и большое, скорее всего быстрее запросы грузиться будут особенно если данных очень много, так что диск имеет большое значение, но не больше чем процессор, считать то эти данные ему. То есть процессор важнее всего, скорее всего.
Также мучают сомнения по поводу количества ядер, чем больше тем лучше. Конечно кашу маслом не испортишь, но будет ли пропорциональная разница между количеством ядер и скоростью Excel? По моим наблюдениям почти всегда Excel грузит только 15% процессора, т.е. одно ядро (или один поток) из 4 ядер (8 потоков) моего процессора. Это почти при любых операциях, запрос обновляется или макрос запущен, редко когда скачек до 25%.
Брать 16 ядерный процессор или скажем 6 ядерный - будет ли разница сколько-нибудь существенная или просто будет больше ядер простаивать?

Добрый день!

Т.к. приходится работать с большим количеством данных в Excel, используя VBA, Power Query, Power Pivot, неоднократно сталкиваюсь с ситуацией когда что то очень долго происходит. Понимаю что все можно оптимизировать и ускорить в разы, можно научиться использовать более подходящие для обработки и анализа больших объемов данных инструменты чем Excel, но также рассматриваю вариант ускорения работы посредством замены 12 летнего компьютера со встроенной видеокартой на современный компьютер. Сейчас стоит Core i7 3770, 16 гб ОЗУ, и 2 SSD диска  

Так как бюджет хочется использовать по максимуму рационально, исключительно на скорость в Excel, используя VBA, Power Query, Power Pivot и т.д., то стал изучать на чем можно сэкономить а  что лучше взять по максимуму. И вначале мысль была такая, в первую очередь нужен, понятно, быстрый процессор (побольше ядер, частоты и кэша), потом ОЗУ (объем и частота), потом SSD диски (скорость и объем). Видеокарта думал пойдет встроенная, так как ни игрушки играть ни фильмы смотреть не планируется

Натолкнулся на такую статью https://answers.microsoft.com/ru-ru/msoffice/forum/all/%D0%BB%D1%83%D1%88%D0%B8%D0%B9/ffc3f60­8-fba7-... и завис. И не знаю доверять ли ей, вроде источник солидный. Кто понимает в железе, в потребностях Excel, поделитесь пож своим мнением

mechanix 85, спасибо большое, работает.
Подскажите пож раньше это все работало с точкой вместо запятых в числах,  так приходит часть данных. Проблемы начались по моим подозрениям после переустановки Windows и  Excel (раньше был Excel 365 сейчас 2019). Видимо ушли какие то настройки Windows и  Excel или еще что. Как бы сделалать так чтобы все работало как раньше, даты, время, число

Добрый день!
Помогите пож со следующей ситуацией.
Power Query не распознает числа, выдает ошибку
В примере есть файл "Пример.xlsx", сохраняю его как .csv "Пример.csv " и подключаюсь к нему в "Запрос.xlsx". Выходят ошибки на числах.
Пытался разобраться с региональными настройками (точка вместо запятой, форматы дат и т.д.) в Excel и Windows, поэксперементировал с настройками которые смог найти, но то даты не читает, то время, то числа, то ни то ни другое

PooHkrd, благодарю  Вас через 6 лет.  

Спасибо всем большое!
Буду разбираться потихоньку со всеми советами и примерами по параметизации пути к папке с файлами, пока буду пользоваться без параметизации, кнопкой "Настройки источника данных" , потому что нужно срочно делать работу.

Alex, при обновлении выходит ошибка (во вложении)

Это работает, спасибо большое!

Решил параметизировать путь к папке с файлами через эту кнопку, выдает ошибку (во вложении). Но хоть работает, если без параметизации

Получается, в принципе невозможно параметизировать путь к папке с файлами (можно только к одному файлу-источнику данных)?

Если первоначальный источник запроса (папку с файлами) не удалять или не переименовывать и поменять ссылку на источник руками (наверно большинство так и сделает), а не через  "Настройки источника данных" , то запрос тихо будет частично обновляться из первоначального источника?

Но самый главный вопрос, невозможно параметизировать путь к папке с файлами (можно только к одному файлу - источнику данных)?

Sanja, статья рабочая, пару раз пользовался и в этот раз подвоха не ожидал... думал сделаю как в статье и буду любую папку указывать, но когда источник - не файл а папка с файлами, у новичков возникают сложности и это не работает, к сожалению. Искал статью про то как изменить путь к папке с файлами а не файлу-источнику, но все статьи про файл-источник

Михаил Л, вставил ваш файл в папку, изменил путь в ячейки, вышла ошибка (во вложении)

Добрый день. Помогите пож с ситуацией в названии темы

В книге "Тест" есть запрос  Power Query, первоначально источник запроса - это папка с файлами  "источник1".  
Затем в Power Query меняю путь на папку "источник2", а первую папку переименовываю в "источник1-копия". Далее "Обновить все". Выходит ошибка "не удалось найти папку "источник1"

Целый день бьюсь, не могу докопаться, как же правильно менять путь к папке с файлами в Power Query, на гуру Planeta Excel осталась последняя надежда, т.к. нахожусь в шаге от нервного срыва

Jack Famous, согласен с Вами, пайтон  все больше и больше становится must have, плюс самый простой, SQL тоже видимо придется осваивать
Благодарю всех за советы, как всегда пришел с проблемой и помогли, спасибо!

Благодарю за Ваши советы, vba действительно полностью покрывает мои нужды, больше мне и не надо в принципе. Немного гнетут опасения что что то важное не использую и устарею на рынке труда... и что прикроют vba в конце концов и тогда хана. csv активно пользуюсь, в сторону питона нет нет да гляжу, потому как начитался что он самый простой для изучения и пользования, но если бы была полная уверенность что vba еще поживет лет так 15-20, то вообще бы жил и не тужил...  

Добрый день
Работаю с Ексель, немного пишу макросы по мере необходимости, не спец, но пока все свои задачи удавалось решать с помощью vba  и, конечно,  не без помощи добрых людей с этого сайта
Собственно вопрос возник в связи с тем что много разговоров что vba устарел и рано или поздно ему конец. Майкрософт его не развивает и замена ему это Office Script. Так как работа у меня связана с Ексель и без макросов не обойтись, то терзают смутные сомнения постоянно, а не пора ли уже переходить на новую технологию? И так как не гений программирования и на овладение vba на моем самом скромном уровне было потрачено много пота и времени, то хотелось бы для начала понимать а стоить ли туда переходить, может эта новая технология загнется (такое же бывает что что то пошло не так) или она не может покрыть полностью возможности vba (читал такое что нет доступа к компьютеру а только к книге, это накладывает ограничения на открыть макросом книгу или создать новую, сохранить книгу и т.д.? может не так понял)
Понимаю что технологию недавно ввели и еще не все с ней ясно как будет, и рано еще туда идти наверно, но с другой стороны так как не гений программирования и уже давно не мальчик и обучаться труднее, мысли что может уже лучше потихоньку готовиться заранее
В общем интересует ваше мнение, может кто тоже что то подобное обдумывал, взвешивал плюсы и минусы, столкнулся с ограничениями, что vba может это а Office Script не может
Облака, совместная работа и т.д. особо не интересует, пока работаем локально на десктопах

ищу узкое место... запускаю один процесс Excel - идет обработка 1000 файлов 1 час... запускаю параллельный процесс Excel - т.е. 2 отдельных приложения Excel - по 500 файлов на 1 процесс - снова 1 час. То же самое если запускать 3-6 процессов... Итоговое время обработки не меняется... Процессор загружен наполовину... хочу нагрузить его полностью... но куда то упираюсь... или в жесткий диск или в оперативу... В диспетчере скорость записи на SSD максимум 150 кб\c или 1 процент примерно от максимальной скорости SSD, у меня Samsung 970 evo plus 500 гб у него скорость  около 3200 Мбайт\с, значит не в нем дело. Вот и грешу на оперативу, точнее на ее пропускную способность, т.к. объем занят только на 3, 5 гб из 16 или из 14 (т.к. встроенное видео ядро занимает 2 гига если не путаю). Но для уверенности хочу увидеть где нибудь, что то типа: из максимум 20 Гбайт/с занято столько то

Чет нет там Пропускной способность памяти. Объемы снова...  

Добрый день. Подскажите пож где можно посмотреть использование Пропускной способности оперативной памяти. В диспетчере задач Windows 10 отображается загруженность процессора, также вижу по жестким дискам скорость записи, а вот по оперативной памяти - отображается только сколько занято объёма, а насколько занята пропускная способность оперативной памяти - не могу найти информацию

что то вроде этого? пишут что с шапкой проблема... сейчас посижу покумекаю, может что получится. Спасибо за наводку... если не получится напишу еще

мне бы макросом, я его встрою в другие макросы, будет непрерывная операция...  

Добрый день.
Подскажите, пож, объединяю большие csv файлы (11 000 столбцов и 250 строк в каждом, размер по +-5,63 мб). После 379 файла ошибка "Out of string  space". Думал может ошибка в самом 379 файле - удалил его - все по прежнему на 379 файле вылетает ошибка. В диспетчере задач объем памяти занятой этим процессом 4,2 гб (а у меня доступно 14)
Бьюсь второй день, пробовал чтобы сразу запись шла, а не в конце большой текст писался. пробовал Open ... For Append As #1... но видимо руки корявые... не получается ничего

Добрый день.
Помогите, пож, по следующему вопросу.
Имеется файл "1.xlsm" с макросом "Primer".  Этот файл скопирован в 3 папки и запускается в отдельных приложениях Excel.  Как можно автоматизировать запуск нескольких макросов одновременно (все копии уже открыты в отдельных приложениях Excel)
Перепробовал макросы, но все макросы запускают один макрос и ждут его выполнения (а это очень долго) и только когда он выполнится запускают следующий... а нужно одновременно запустить все макросы. Если VBA такое не может, может скрипт или еще что-нибудь сможет решить эту задачу.

Добрый день
Подскажите пож, по ситуации. Сводная таблица автоматически группирует нормально, но если руками выставить параметры группировки, то выдает не то что ожидаешь... например числа с большим количеством знаков после запятой, хотя знаком максимум 4-5

спасибо большое. то что нужно. буду разбираться как это устроено.

Добрый день
Подскажите, пож, как сгруппировать числовое поле в сводной таблице, построенной на модели данных так, чтобы получилась стандартная (привычная) группировка обычной сводной построеной на диапазоне ячеек (например от 1 до 3, от 4 до 6... с шагом скажем 2). Пробовал MRound, но это просто округление, а не то что хотелось бы получить  

Добрый день. Помогите пож с графиком.
Есть график с произвольным  количеством рядов, у некоторых рядов есть выноски, у некоторых нет. Значения выносок берутся из диапазонов ячеек. Требуется заменить макросом диапазоны значений выносок на новые, из того же столбца. Прикладываю пример с исходным графиком и графиком-результатом.

Спасибо огромное!
Отлично работает!