Поиск  Пользователи  Правила  Войти
Форумы "Планета Excel" » Вопросы по Microsoft Excel
Страницы: 1
RSS
как и где работать с удалением и ведением данных свыше 1 млн строк, работа с данными свыше 1 млн строк
 
#1
24.10.2020 15:03:26
Здравствуйте!

Открываю текстовый файл через power query, вот не пойму как к примеру проистать к концу листа и добавить еще данные, а потом к примеру провести проверку на удаление дубликатов.
Цель такая, есть 3 млн строк названий  строк к ним я к примеру добавляю 300 тысяч и мне надо провести проверку на дубликаты  и удалить лишние, потом через время добавить еще данные и произвести проверку.
Где мне лучше работать, в какой программе.
Очень благодарен за ответ!
 
 
 
#2
24.10.2020 15:07:27
Цитата
Ssergeyy написал:
и добавить еще данные
Откуда берутся еще данные? С другого текстового файла? Из текущей книги?Из БД? Из интернета?
Вот горшок пустой, он предмет простой...
 
 
 
#3
24.10.2020 15:20:45
PooHkrd, беру из текстового файла
 
 
 
#4
24.10.2020 15:25:22
Ssergeyy, если с помощь PQ, то кладете их в одну папку, а дальше по аналогии со статьей. С поправкой на то, что у вас текстовый источник.
Вот горшок пустой, он предмет простой...
 
 
 
#5
24.10.2020 15:39:12
Вообще можно сделать в программе WSH.
Т.е. обычным скриптом.
А как PQ обработает 3 миллиона строк? И куда выведет результат, если обработает?
 
 
 
#6
24.10.2020 16:04:48
Hugo, Доброго дня. Ну обработать 3кк строк для PQ не проблема, вопрос в другом зачем выводить куда-то (на лист?) 3 милиона строк. понятно что не выведешь.
 
 
 
#7
24.10.2020 16:08:28
А я и не писал ничего про лист, это у ТС нужно спрашивать куда выводить.
А куда PQ может вывести кроме как на лист или в визуализацию?
Как вообще использовать результат, если и обработает эти 3 миллиона + 300к строк?
Изменено: Hugo - 24.10.2020 16:08:43
 
 
 
#8
24.10.2020 16:18:18
Hugo, в модель данных можно вывести до ярда строк, если мне не изменяет мой склероз. сам выводил в модель до 60 млн строк. Ничо, работало. Памяти правда надо много. Еще можно в SQL БД. Опять же Андрей VG тут как-то показывал вариант запроса с возможностью вывода результата в csv, но это уже изврат.  :D
Изменено: PooHkrd - 24.10.2020 16:22:14
Вот горшок пустой, он предмет простой...
 
 
 
#9
24.10.2020 16:22:56
Это хорошо, спасибо. Если может в csv, то значит можно и текст так перебрать.
 
 
 
#10
24.10.2020 16:27:09
Hugo, можно, но через VBA будет шустрее. А так вот вам ссылочку на эти извращения от мэтра.
З.Ы. А еще можно же использовать запрос как источник-подключение для сводной таблицы. Тогда 3кк строк залезут в кэш сводной.
Изменено: PooHkrd - 24.10.2020 16:32:50
Вот горшок пустой, он предмет простой...
 
 
 
#11
28.10.2020 13:22:29
Ребят, пробую через acces помогите научиться в 3 таблице выводить уникальные данные при сравнении 1 и 2 й.

В acces на данный момент 2 таблицы, в третью нужно научиться выводить уникальные  
Изменено: Ssergeyy - 28.10.2020 13:27:27
 
 
 
#12
28.10.2020 13:35:20
Доброе время суток.
Цитата
Ssergeyy написал:
в третью нужно научиться выводить уникальные
А какой сакральный смысл в таком выводе? И опять же, что вы подразумеваете под фразой вывод в третью таблицу?
Простой запрос посмотреть уникальные Users Login
Код
Select [Users Login] From [Data oktob]
Union
Select [Users Login] From [Data september];
 
 
 
#13
28.10.2020 14:20:37
Я бы посоветовал SQLite. Установить SQLiteStudio, создать в ней БД, там же есть импорт из текстовых файлов.
https://ru.wikipedia.org/wiki/SQLite
https://sqlitestudio.pl/
Изменено: New - 28.10.2020 14:21:15
 
 
 
#14
28.10.2020 18:29:34
Цитата
PooHkrd написал:
Еще можно в SQL БД
Правильно ли я понял что из Power Query можно загрузить в базу данных Ms Sql ?
НА МЯСО В ПРОФИЛЕ
 
 
 
#15
28.10.2020 18:37:47
Цитата
Ssergeyy написал:
нужно научиться выводить уникальные
- тут тот уникальный случай с уникальными, когда нужно подумать...
Я могу только макросом сделать, но Access не имею, сори.
 
 
 
#16
22.11.2020 18:02:52
Цитата
New написал: Я бы посоветовал SQLite
Установил программу но текстовый файл загрузить не могу,  скажите пожалуйста как именно его можно загрузить https://prnt.sc/vnubb3 ?
 
 
 
Страницы: 1
Наверх