Как правильно обрабатывать файлы большого объема

Пользователь

Сообщений: 6 Регистрация: 01.01.1970

19.11.2012 13:24:14

Добрый день!
В файле размером (40 МБ, 220000 строк, 56 столбцов)в одном из столбцов выделяю уникальные позиции. Потом их нужно удалить отфильтровав, но файл зависает...
Подскажите, пожалуйста, как правильно обрабатывать файлы большого объема?
Спасибо.

Baklanoff

Пользователь

Сообщений: 580 Регистрация: 25.12.2012

19.11.2012 13:29:49

Попробуйте сначала отсортировать по признаку удаления, а потом уже удалять. Смысл в том, чтобы выстроить удаляемые позиции в сплошной ряд, тогда Excel будет обращаться к диапазону 1 раз (например от А1 до А10000), а не 1000 (от А1 до А2, затем от А5 до А7, от А12 до А13 и т.д.).

smlipovka Пользователь Сообщений: 6 Регистрация: 01.01.1970	#3 19.11.2012 13:46:47 Установил фильтр на столбец где выделены ячейки с уникальными значениями. При нажатии кнопки автофильтра все зависает!

Юрий М Модератор Сообщений: 61089 Регистрация: 14.09.2012 Контакты см. в профиле	#4 19.11.2012 13:49:43 Попробуйте удалять не ВСЕ строки сразу, а группами. Например, по 50 строк. После каждой операции удаления сохраняйтесь.

smlipovka

Пользователь

Сообщений: 6 Регистрация: 01.01.1970

19.11.2012 13:58:02

Если я Вас правильно понял из всех отфильтрованных уникальных позиций (например, их 52 000) нужно удалять часть строк (например, 50-100 ), но как выделить группу, если я даже уникальные позиции не могу отфильтровать?

Hugo Пользователь Сообщений: 26267 Регистрация: 22.12.2012	#6 19.11.2012 13:58:52 Другой подход - отобрать через массив нужное в другой массив, его выгрузить в другое место.

Baklanoff Пользователь Сообщений: 580 Регистрация: 25.12.2012	#7 19.11.2012 14:01:27 А вы уверены, что процесс именно зависает? Может Excel работает, просто долго - данных ведь много.

smlipovka

Пользователь

Сообщений: 6 Регистрация: 01.01.1970

19.11.2012 14:19:58

Я ждал более 30 мин!
Дело в том, что в моем столбце номенклатурные номера (6-7 значные цифры), а с ним связаны соседние с наименованием МТР, ФИО и т.д. Прикрепил часть файла из 15 строк (в реальном больше 200 000).

Прикрепленные файлы

post_379154.xlsx (13.91 КБ)

Гость

19.11.2012 14:41:32

{quote}{login=smlipovka}{date=19.11.2012 01:58}{thema=Как правильно обрабатывать файлы большого объема}{post}... но как выделить группу, если я даже уникальные позиции не могу отфильтровать?{/post}{/quote}
Поясните: что значит отфильтровать 52000 уникальных? Видимо у них всех есть один или несколько общих признаков?.. Кроме того, зачем база в 200000, если из нее нужно (видимо часто) удалять четверть?.. Пример (сокращенный) ясности не внес... Как вариант - базу перевести и вести в Access, а?.. -98647-

Baklanoff Пользователь Сообщений: 580 Регистрация: 25.12.2012	#10 19.11.2012 15:08:21 К сожалению не могу открыть xlsx. Можно попробовать макросом, или через сводную (этот вариант, кстати, сократит вес файла. а значит ВОЗМОЖНО и сократит время на обработку запроса).

Читают тему