Страницы: 1
RSS
Конфигурация ПК для быстрой работы
 
Господа форумчане, приветствую.

Моя история:
Работаю на следующем железе - Core i5 3470 (3.2 ГГЦ), 4 ГБ ОЗУ, Win 7 x64, excel 2013.
Рабочие файлы лежат на сети. Скорость сети достаточно высокая, при копировании больших данных скорость доходит до 30 мегабайт в секунду.
Проблема - рабочие фалы представляют из себя большое количество книг (бюджеты, план/факт/отклонение, разные ЦФО). Есть несколько файлов консолидации (порядка 20-40 мб каждый). Есть общая консолидация из всех консолидаций. При пересчёте, итоговые файлы часто намертво зависают, приходится всё переделывать снова. Бывает, что при сохранении Excel пришел "не сохранено" либо "недостаточно ресурсов". Повторное открытии зависших файлов (около 20-30 шт.) занимает по 40 минут.

Вопрос - что лучше заменить из железа? Добавить ОЗУ, сменить HDD на SSD (это нам айтишник посоветовал, но сомнительно), сменить процессор на более производительный? Или есть ещё какие либо варианты?

Спасибо!
 
ИМХО памяти ОЧЕНЬ мало, 8 минимум для Win x64. Проц - норма, даже очень норма. SSD улучшит ситуацию, но если файлы по сетке открываются... хз
А вообще думается, что это "с больной головы на здоровую": файлы Excel по 20-40 мб - вот где трабл. И улучшать нужно файлы, а не железо.
Изменено: Ёк-Мок - 11.12.2015 12:55:54
Удивление есть начало познания © Surprise me!
И да пребудет с нами сила ВПР.
 
Цитата
Васильев Вася написал:
Вопрос - что лучше заменить из железа? Добавить ОЗУ, сменить HDD на SSD (это нам айтишник посоветовал, но сомнительно), сменить процессор на более производительный? Или есть ещё какие либо варианты?
Из железа добавить еще 4Гб памяти, но это придаст от силы 10% производительности. Переносите хранение данных и вычисления на SQL-сервер, интерфейс можно оставить на excel.
Могу по-содействовать, есть опыт внедрения подобного решения - в личку.
Неизлечимых болезней нет, есть неизлечимые люди.
 
Васильев Вася, добрый вечер. А сколько памяти съедается при Ваших манипуляциях, смотрели? SSD диск хорошая штука, но, не очень уверен, что он долго проживёт, если манипуляции будут постоянные и в большом количестве. Посмотрит еще эти темы: раз и два
Учусь программировать :)
 
Цитата
Ёк-Мок написал: файлы Excel по 20-40 мб - вот где трабл. И улучшать нужно файлы
Вы не поверите - но у меня итоговый файл весит больше гига - и ничего шуршит потихоньку.
Тут вопрос скорее в том что задействовано много формул. Если обновление происходит постоянно - есть смысл перевести расчеты в макросы(или запросы). И не открывать сразу все файлы - поручите поочередное открытие и обновление программе(макросу). Ну и данные сводить в SQL- базу, как написал TheBestOfTheBest.
На работе у меня тоже 7-ка 64. Оперативы 6гб.  
Изменено: SLAVICK - 11.12.2015 17:04:37
 
Цитата
SLAVICK написал: Вы не поверите - но у меня итоговый файл весит больше гига
Это не показатель. Можно в файл положить картинку размеров  гигабайт, файл от этого тормозить не будет, разве что при открытии. Другое дело, когда в файле реализована бюджетная модель, да еще с "запасными" строками-формулами по принципу вдруг пригодится. И "железо" в таких случаях не спасает ситуацию.
Неизлечимых болезней нет, есть неизлечимые люди.
 
Цитата
TheBestOfTheBest написал: Можно в файл положить картинку размеров  гигабайт
Хотел бы я увидеть такую картинку  8-0
У меня там большая модель данных. База продаж больше 23 млн строк, справочники .... Формул на листах почти нет - все отчеты делаю сводными таблицами :D
Наперед отвечу - зачем база в файле - часто нужно сделать отчеты, где нету подключения к базе SQL.
 
Цитата
SLAVICK написал: где нету подключения к базе SQL
однако такой объем данных можно смело хранить в БД Access и строить из этих данных сводную....
Даже самый простой вопрос можно превратить в огромную проблему. Достаточно не уметь формулировать вопросы...
 
Это жесть.
Цитата
Васильев Вася написал:
Повторное открытии зависших файлов (около 20-30 шт.) занимает по 40 минут.
Это жесть!
Вам однозначно надо переходить на SQL Server (но только не Access, ибо тормоз).
There is no knowledge that is not power
 
Цитата
The_Prist написал:
однако такой объем данных можно смело хранить в БД Access и строить из этих данных сводную....
НЕ  Access  не тянет итоговую базу она больше 2-х гиг. У меня база продаж создана на локальном компе в sql сервере. а в файле excel  создано подключение на эту базу в модели данных. (т.е. из базы продаж нужные столбцы).
этот файл я могу открыть и дома, без родной базы sql  и делать отчеты в нужных разрезах :D
Что интересно база SQL занимает почти 3и гига а файл excel в модели данных которого импортирована эта база - меньше гига. + еще справочники клиентов, менеджеров, номенклатура - все вместе 1гиг.
Цитата
Johny написал:
но только не Access, ибо тормоз
100% - пройденный вариант.
Изменено: SLAVICK - 11.12.2015 21:33:17
 
ИМХО:
- SSD помогает только если надо быстро открывать/закрывать всё время что-то
- размер xslx файла - не показатель, ибо там некая компрессия, он заведомо меньше CSV например
- не понял зачем открывать сразу все файлы - экран-то один (ну пусть 4-8 :), но глаз-то всего 2, ну с очками 4 :) ), а при правильных подключениях всё переливается с места на место без открытия (sql, xls, csv в разных комбинациях)
- аксес надо правильно спрашивать чтобы он правильно отвечал (моя любимая ошибка: завершение транзакции не возможно по причине того что она ещё не начата ), а поставить в тупик можно даже виндос-калькулятор ("операция займёт больше времени чем ожидалось")
вывод: не работать с raw-данными постоянно в он-лайне без крайней необходимости, а считать некие агрегаты и сохранять их в хранилище, а уже из него стоить модели и отчёты.
ЗЫ
оффтоп >>>
Изменено: A.nod - 12.12.2015 00:07:44
Программист - человек, который решает задачу, о которой никто не знает, таким способом, который никто не понимает.
 
Цитата
A.nod написал:  размер xslx файла - не показатель, ибо там некая компрессия
Там интересный механизм храннения строк. Сроковые значения могут не быть свойством ячейки, а хранятся в SharedStringTable
Я ячейке, в качестве атрибута тип SharedString и индекс в массиве. Т.е. строки которые повторяются несколько раз, физически не продублированы.
https://msdn.microsoft.com/en-us/library/office/gg278314.aspx
Изменено: pharmaprofi - 12.12.2015 17:34:48
 
Цитата
A.nod написал:
- размер xslx файла - не показатель, ибо там некая компрессия, он заведомо меньше CSV например
Бред полнейший. CSV - это тупо текстовый файл. Файл Excel - это тупо ZIP-архив. Причём если сохранить книгу как "Двоичный формат" (расширение XLSB), то размер книги будет ещё меньше, чем XLSX.
Цитата
pharmaprofi написал: Там интересный механизм храннения строк.
Там вообще всё интересно. Также есть оптимизации хранения формул, форматов ячеек.
There is no knowledge that is not power
 
Господа, спасибо за ответы.
Буду сначала увеличивать ОЗУ, потом при необходимости SSD.
По поводу БД наверное вскоре к этому приду, т.к. чувствуется в этом необходимость, просто опыта не было, надо почитать на эту тему литературу/полезные статьи, что посоветуете?
И отвечу на вопрос, зачем открыто по 30 файлов - есть несколько бюджетов по территориальной принадлежности (МСК, Питер и т.д.), в каждом есть определённый набор ЦФО (АХО, IT, HR и т.д.), в форме для каждого ЦФО абсолютно одинаковый набор строк и столбцов. Каждый ЦФО заполняет свой файл, и после проверки на логику заполнения запускаем процесс общей консолидации. Итоговый файл соответственно собирается из всех этих файлов, а итоговый файл верхнего уровня собирается из итоговых файлов МСК, Питер и т.д. И вот на консолидации иногда всё и ломается.

Ещё раз всем спасибо за советы.
 
Васильев Вася, а как Вы делаете консолидацию? Почему должны быть открыты файлы в этот момент?
Программист - человек, который решает задачу, о которой никто не знает, таким способом, который никто не понимает.
 
Ну как... Есть файл верхнего уровня, в нём порядка 700 строк (статьи бюджета) и куча столбцёв (в зависимости от того, на какой период делается бюджет). Часть данных подтянута прямыми ссылками, но большая часть через "суммесли". И что бы обновить всё данные, необходимо открыть всё файлы нижнего уровня, что бы туда "перекачались" цифры.
 
Васильев Вася, Не мучайтесь и начните использовать БД (Access, MySQL, SQL Server).
There is no knowledge that is not power
 
Цитата
Джон Рокфеллер:  Благодаря упорству, всё что угодно, - будь то правильное или нет, хорошее или плохое, - будет достигнуто.
Следует данные "файлов нижнего уровня" хранить в БД (например, SQL Server 2014 Express, MySQL, MariaDB, PostgreeSQL), тогда консолидация будет занимать время, равное времени выполнения запроса к серверу. Более того, из этих данных Вы сможете получать различные срезы, сопоставления и т.д. в зависимости от тех аналитических атрибутов, для которых записаны Ваши данные.
Изменено: TheBestOfTheBest - 15.12.2015 14:18:29
Неизлечимых болезней нет, есть неизлечимые люди.
 
На самом деле давно думал о БД. Подскажите с чего начать в плане самообразования? Какие книги почитать, курсы пройти, видео глянуть?

Спасибо.
 
Загляните к соседу
Страницы: 1
Наверх