Страницы: 1
RSS
Почему excel так медленно работает (в принципе)
 
По роду работы сейчас приходится обрабатывать большие массивы данных в эксель - до полумиллиона строк плюс докручивать довольно сложные формулы. Купил для этого мощный ПК - последний intel core i9 12900, быстрый SSD и т.д. К моему удивлению скорость работы в эксель прибавилась незначительно. Компьютер все еще довольно существенно задумывается даже при фильтрации массивов с формулами. Пересчет автоматом формул конечно отключен. Неужели это в принципе невозможно - заставить эксель работать быстро или для этого надо компьютер из НАСА? И от чего это зависит, возможно нужен супермногоядерный процессор для этого?
 
Excel работает так, как его нагрузил работой пользователь
при бестолковом подходе к решению задачи задолбать можно самый современный и мощный компьютер
при правильном (грамотном) подходе задачу (скорее всего) потянет и старенькое железо
Программисты - это люди, решающие проблемы, о существовании которых Вы не подозревали, методами, которых Вы не понимаете!
 
В продолжение
Цитата
rogert905 написал:
докручивать довольно сложные формулы.
можно и не сильно сложной формулой задолбать. COUNTIFS по столбцу один раз работает чуууть медленнее чем по ограниченному диапазону, если последний серьезно меньше столбца, но тоже самое повтори 100-200 тысяч раз и оба будут тормозить. Увлекаясь все запихнуть в одну формулу, туда попадают выражения, которые просчитывают одно и тоже, на паре десятков это незаметно, а размножили и удивляемся че-то считает долго. А вынести в отдельную ячeйку , столбец или строку промежуточный результат - О полетело. Все это относится к оптимизации и она может быть не только в оптимизации кода, формул, .... но и изменении подхода . А мускулы проца ростить  -  ну если кошелек позволяет , то ок, только вот сами видите, не пропорционален рость скорости вложениям.
По вопросам из тем форума, личку не читаю.
 
Цитата
rogert905: Почему excel так медленно работает
плата за универсальность и простоту использования

Цитата
rogert905: приходится обрабатывать большие массивы данных в эксель - до полумиллиона строк
иногда работаю с файлами, содержащими несколько умных таблиц (с диапазонами будет быстрее) по 500-800 тыс строк в каждой из них
Кряхтит, но работает вполне приемлемо

Цитата
rogert905: плюс докручивать довольно сложные формулы
а вот это уже вы зря — переводите вычисления на макрос по кнопке/событию со вставкой результат. К тому же, как уже сказал медведь, функции работающие с диапазонами могут убить работу и с гораздо меньшим объёмом строк при неправильном подходе

Вообще, конечно, любой спец вам скажет, что Excel для оперативных правок и/или визуализации конкретных срезов, а вращать бигдатой надо в БД
Почитать
Во всех делах очень полезно периодически ставить знак вопроса к тому, что вы с давних пор считали не требующим доказательств (Бертран Рассел) ►Благодарности сюда◄
 
Цитата
написал:
Excel работает так, как его нагрузил работой пользовательпри бестолковом подходе к решению задачи задолбать можно самый современный и мощный компьютерпри правильном (грамотном) подходе задачу (скорее всего) потянет и старенькое железо
Так в том то и дело, что не особо быстрее работает по сравнению даже со старым железом. Т.е. будто не в мощности дело, эксель просто не забирает на себя все вычислительные мощности, будто есть узкое горлышко в самом эксель на уровне архитектуры.  
 
Цитата
написал:
а вот это уже вы зря — переводите вычисления на макрос по кнопке/событию со вставкой результат. К тому же, как уже сказал медведь, функции работающие с диапазонами могут убить работу и с гораздо меньшим объёмом строк при неправильном подходе
Не все хорошо с макросами на ты.
Цитата
написал:
плата за универсальность и простоту использования
Не зря же они дают пользователю возможность работать с таблицами до миллиона строк. Только что толку, если скорость работы будет такова, что даже при фильтрации таких массивов без использования каких либо формул вообще, даже производительная дорогая система крепко задумывается. Не кажется вам, что дело просто в плохой оптимизации самой программы?
 
Цитата
rogert905: Не зря же они дают пользователю возможность работать с таблицами до миллиона строк
создайте диапазон на 1 млн строк и 1 столбец с данными без формул и форматирования - Excel будет летать
А вот если пытаться за[дол]бать программу любыми средствами, то сделать это можно довольно легко — так что проблема в прокладке … "между рулём и сидением" ;)

P.S.: в Excel полно того, что можно поменять или оптимизировать, но ничего - из того, что вы сказали
В нём ещё фотки обрабатывать очень неудобно, кстати - предлагаю серьёзно озаботиться этим вопросом  :D
Изменено: Jack Famous - 01.12.2021 11:46:02
Во всех делах очень полезно периодически ставить знак вопроса к тому, что вы с давних пор считали не требующим доказательств (Бертран Рассел) ►Благодарности сюда◄
 
Цитата
написал:
Купил для этого мощный ПК
У меня нет денег на технику. Поэтому использую PQ и PP
 
Цитата
Михаил Л: Поэтому использую PQ и PP
на макросах ещё быстрее, но, если голову не включать (не обладать пониманием того, как работают связи между данными и насколько прожорливо их обновление) то ничего не поможет  :D
Во всех делах очень полезно периодически ставить знак вопроса к тому, что вы с давних пор считали не требующим доказательств (Бертран Рассел) ►Благодарности сюда◄
 
Цитата
написал: если пытаться за[дол]бать программу любыми средствами, то сделать это можно довольно легко — так что проблема в прокладке … "между рулём и сидением"  
Ну это не аргумент. Типа - т.е. вы говорите, чувак, все летает, просто снеси нафиг все форматирование, используй из формул только +-*/, а если ты хочешь что-то еще, может ты еще и фотки хочешь обрабатывать в нем? Нет уж, проблема в тебе, а не в эксель. Мое мнение - если разработчик предоставил все зашитые в программу инструменты, но не смог обеспечить их оптимальную работу, до такой степени, что программой невозможно пользоваться, то это проблема как раз таки в руле, сиденье и всем, что не касается пользователя.
 
Цитата
rogert905: если разработчик предоставил все зашитые в программу инструменты, но не смог обеспечить их оптимальную работу, до такой степени, что программой невозможно пользоваться, то это проблема как раз таки в руле
едва ли у кого-то из местных найдётся время и желание участвовать в этой бессмысленной болтовне  :D
На вопрос ответ получен, а сокрушаться по поводу несовершенства этого мира лучше у личного психотерапевта за ранее обговоренную таксу
Изменено: Jack Famous - 01.12.2021 12:27:37
Во всех делах очень полезно периодически ставить знак вопроса к тому, что вы с давних пор считали не требующим доказательств (Бертран Рассел) ►Благодарности сюда◄
 
Цитата
rogert905 написал:
Мое мнение - если разработчик предоставил все зашитые в программу инструменты, но не смог обеспечить их оптимальную работу
Excel является одним из лучших универсальных инструментов (если не самый лучший) в мире по функциональности и возможностям. Но чтобы в полной мере их использовать, нужно хорошо разбиратьсяв этом инструментарии. Конкретно, про оптимальную работу:
Первое: представьте себе картину, что Разрабы дают заполнять данные и использовать простые математические, логические формулы до 1 млн. строк - рабочий файл летает. Но как только Вы стали использовать "ВПР-ы", формулы массива, то разрабы Вам сразу msgbox "К сожалению, Вы не можете использовать данные функции на данном объеме информации. Сократите Ваши данные до 30 тыс. строк, тогда можете использовать формулы массива". Кто захочет с такой программой работать? Зато все летает!
Второе: Excel давно имеет инструменты для обработки больших массивов информации - это VBA, Power Query, Pover Pivot. С помощью этих инструментов я свободно обрабатываю в Excel данные на 10-ки млн. строк и делаю такие расчеты, что формулам массива и не снилось. И все работает очень быстро (16гб оперативки и средненький i5-7500 на 3,4 Gz). Просто
Цитата
Ігор Гончаренко написал:
при правильном (грамотном) подходе задачу (скорее всего) потянет и старенькое железо
. rogert905, поймите, Вы давно уперлись в потолок возможностей использования формул массива и др. на больших объемах данных и нужно изучить/применить другие более действенные и быстрые способы решения ваших задач
Изменено: Vladimir Chebykin - 01.12.2021 13:21:14
 
Цитата
rogert905 написал:
Мое мнение - если разработчик предоставил все зашитые в программу инструменты, но не смог обеспечить их оптимальную работу, до такой степени, что программой невозможно пользоваться, то это проблема как раз таки в руле, сиденье и всем, что не касается пользователя.
Ну положим у вас есть 600 мерин с кучей лошадиных сил под капотом и фаркопом. Означает ли это что при равном количестве ЛС с трактором на мерине можно пахать, если прицепить плуг? Интересно есть ли в инструкции к мерину что нельзя? Как  к стиралкам что не следует  них стирать домашних животных.  
Дай дураку стеклянный орган он его сломает и руки порежет.
По вопросам из тем форума, личку не читаю.
 
rogert905,  Excel прежде всего табличный процессор. И основное его предназначение - это работа с табличными данными. А работа с рисунками, заливка - это приятное дополнение для визуализации. По поводу формул типа +/-: любая программе для выполнения самой простейшей операции требуются ресурсы и время. Если в таблица пара формул - это одно время на пересчёт, если же формул 200 000 - это совсем другое время. Да и вообще само понятие медленно/быстро вещь относительная. Разве ОДНУ формулу Excel вычисляет долго? Нет, конечно. А почему же Вы считаете, что несколько десятков тысяч формул Excel должен вычислить за тот же промежуток времени? А если ещё добавить Условное форматирование - ему ведь тоже нужно время, чтобы раскрасить ячейки. Ну не предназначен Excel для расчёта параметров термоядерного синтеза, орбит планет, прогнозов погоды и т.п. ))
 
Цитата
написал:
.  rogert905 , поймите, Вы давно уперлись в потолок возможностей использования формул массива и др. на больших объемах данных и нужно изучить/применить другие более действенные и быстрые способы решения ваших задач
Пошел изучать VBA. Видимо и правда перерос эксель))) Хотя обидно, что придется это делать просто из-за больших объемов, а не из-за сложности задач.
 
Цитата
rogert905 написал:
Пошел изучать VBA
не повредит, но может не помочь
Цитата
rogert905 написал:
Видимо и правда перерос эксель)))
да эксель всех выше на голову :-)
Цитата
rogert905 написал:
Хотя обидно, что придется это делать просто из-за больших объемов,
для начала нужно сверится с тем , а нельзя ли оптимизировать.
посмотрите на проекты минимум кода и все в расчетных таблицах.
По вопросам из тем форума, личку не читаю.
 
Вот скажите мне господа тогда. Почему если у меня открыто 5-6 пусть и тяжелых книг но отключены все пересчеты автоматом, открывая новую книгу сидишь ждешь минут 5? Тут уже вопрос вообще не формул или вычислений. Так должно быть ?
 
rogert905, предлагаете гадать даже без фотографий?  :D Там может быть просто туева хуча причин и разных их замысловатых сочетаний.
Вот горшок пустой, он предмет простой...
 
Цитата
PooHkrd: отключены все пересчеты автоматом
не значит, что Excel не попытается их пересчитать при открытии
Возможно все сразу  :D
Во всех делах очень полезно периодически ставить знак вопроса к тому, что вы с давних пор считали не требующим доказательств (Бертран Рассел) ►Благодарности сюда◄
 
Цитата
rogert905 написал: открывая новую книгу сидишь ждешь минут 5?
Цитата
rogert905 написал: Тут уже вопрос вообще не формул или вычислений.
почему нет? например УФ глубоко наплевать на включен пересчет или отключен если он обрабатывает константы.
Обновление данных из других книг может быть....
Изменено: БМВ - 02.12.2021 09:28:20
По вопросам из тем форума, личку не читаю.
 
Цитата
написал:
будто есть узкое горлышко в самом эксель на уровне архитектуры
вы готовы искать узкое горлышко где угодно, особенно в тех местах, до которых не можете дотянуться: в архитектуре Excel, в косяках Windows, в нерациональном использовании возможностей компьютера перечисленными продуктами
ТОЛЬКО
не в принятом вами способе решения задачи

начните с последнего, возможно окажется, что со всем остальным все в норме
Программисты - это люди, решающие проблемы, о существовании которых Вы не подозревали, методами, которых Вы не понимаете!
 
Цитата
PooHkrd: предлагаете гадать даже без фотографий?
возмутительно  :D
Во всех делах очень полезно периодически ставить знак вопроса к тому, что вы с давних пор считали не требующим доказательств (Бертран Рассел) ►Благодарности сюда◄
 
Jack Famous, просто палантир в ремонте, а без него как без рук! :D
Вот горшок пустой, он предмет простой...
 
тут главное понять, что Excel is not a database! И тогда он будет работать быстро (летучие формулы и условное форматирование пересчитываются в файле всегда, даже с отключенным пересчётом формул). Может вы там наложили Условное форматирование на 50 столбцов от начала и до последней миллионной строки - там даже пустой файл будет тормозить)

Изменено: New - 03.12.2021 18:43:42
Страницы: 1
Наверх