Добрый день. Есть код, написанный ув. , который находит повторяющиеся значения и их количество повторений. Может ли кто нибудь оптимизировать его? С большими массивами данных, работает супер долго. При этом мой пк совсем не в нагрузке. Даже не на 20%. Ни процессор, ни озу:( В чём может быть проблема или эксель берет сколько надо? Код и пример:
| Код |
|---|
let
src = Table.Buffer ( Excel.CurrentWorkbook(){[ Name = "data" ]}[Content] ),
clmnNames = List.Buffer ( Table.ColumnNames ( src ) ),
filterValues = List.Buffer ( Excel.CurrentWorkbook(){[ Name = "filterValues" ]}[Content][Значение] ),
addComb = Table.AddColumn (
src,
"comb",
each List.Accumulate (
List.Sort ( List.Difference ( List.RemoveNulls ( List.Distinct ( Record.ToList ( _ ) ) ), filterValues ) ),
{ {} },
( s, c ) => s & List.Transform ( s, ( x ) => x & { c } )
)
),
expand = Table.ExpandListColumn ( addComb[[comb]], "comb" ),
addCount = Table.AddColumn ( expand, "КолЭл", each List.Count ( [comb] ), Int64.Type ),
parameters = Record.FromTable (
Table.FromColumns ( Table.ToColumns ( Excel.CurrentWorkbook(){[ Name = "parameters" ]}[Content] ), type table [ Name = text, Value = number ] )
),
filterElements = Table.SelectRows (
addCount,
each [КолЭл] = Record.FieldOrDefault ( parameters, "Количество элементов в сочетании", null )
),
toRec = Table.TransformColumns ( filterElements, { "comb", ( x ) => Record.FromList ( x, List.FirstN ( clmnNames, List.Count ( x ) ) ) } ),
group = Table.Group ( toRec, { "comb", "КолЭл" }, { { "Повт", each Table.RowCount ( _ ), Int64.Type } } ),
filterRepeats = Table.SelectRows ( group, each [Повт] >= Record.FieldOrDefault ( parameters, "Минимальное число повторений", null ) ),
sort = Table.Sort ( filterRepeats, { { "КолЭл", Order.Descending }, { "Повт", Order.Descending } } ),
expandRecs = Table.ExpandRecordColumn ( sort, "comb", List.FirstN ( clmnNames, sort[КолЭл]{0} ) )
in
expandRecs
|
С большим количеством столбцов, у меня вообще не работает. Приложу 2 примера. В одном 2 строчки по 20 столбцов с рандомными числовыми значениями. И в фильтре указало повторения 10 с количеством повторений минимум 2. Вообще не ищет. Во втором примере, строчек 19 по 16 столбцов так же с числами. В фильтре указала количество повторений 6. Всё ищет. Причем, можно и 20 строчек указать. И 200000. Именно когда столбцов много, не думает вообще. Пк так же не нагружается. Вроде в настройках указано многопоточность 16, но без толку. Или это дело pq?