есть два файла: xml и csv, в каждом 3-5 млн строк. в одном название личного кабинета (около 20-30 штук) и строки из личного кабинета (просто текстовое поле), допустим 4 млн строк, во втором просто строки, но в меньшем объеме, чем в первом файле например, 3 млн строк,
нужно получить по факту свод: в строках название кабинета, в столбцах количество строк из первого файла и количество из второго.
я сделать то сделала, но это оооооочень долго, явно не оптимально. я объединила запросы по ключу (это уже супер долго на таком объеме), добавила столбец с условием совпадения/несовпадения, сгруппировала по названию личного кабинета и посчитала сумму.
power bi вообще отлетел по памяти( а экселька с подключением без выгрузки медленно, но сделала.
в общем, прошу помочь идеями/решениями
нужно получить по факту свод: в строках название кабинета, в столбцах количество строк из первого файла и количество из второго.
я сделать то сделала, но это оооооочень долго, явно не оптимально. я объединила запросы по ключу (это уже супер долго на таком объеме), добавила столбец с условием совпадения/несовпадения, сгруппировала по названию личного кабинета и посчитала сумму.
power bi вообще отлетел по памяти( а экселька с подключением без выгрузки медленно, но сделала.
в общем, прошу помочь идеями/решениями