Страницы: 1
RSS
Аналог мер DAX для SQL
 
Добрый день, уважаемые форумчане!
Имеется задача, которую до настоящего времени решали сводными таблицами и моделью данных в Excel.
Регулярно получаем выгрузки из нескольких систем, которые у себя загружаем через Query, обогащаем данными из связанных справочников и других источников, делаем вычисляемые столбцы и дальше на базе всего этого - формируем сводники.
При этом оказалось, что массив, которые экономисты тащат в эксель и крутят там при его сохранении в формате экселевского файла - около 2 гигов, в CSV уже превышает 5 гигов и обработка его занимает около 2-3 суток.... Уменьшить объем невозможно, проговорили.
Сейчас на базе представленной во вложении таблицы (в реальной боевой таблице около 400 граф) формируются сводники в разных разрезах и их работа реализована на мерах. Их уровень примерно следующий, но эти алгоритмы могут меняться почти еженедельно и сейчас их количество около 200. Дальше они выводятся в сводные таблицы, например строки - столбец п.1, графы - п.2 и п.3. В значения - мера.
Код
п.108 по ТД (средний):=VAR SumValues =
    SUMX (
        ADDCOLUMNS (
            SUMMARIZE (
                qAllClear[п.1];
                qAllClear[п.10];
            );
            "Сумма выплат"; CALCULATE ( SUMX ( qAllClear; qAllClear[п.108] ) )
        );
        [Сумма выплат]
    )
VAR SumMonth =
    SUMX (
        ADDCOLUMNS (
            SUMMARIZE (
                qAllClear;
                qAllClear[п.1];
                qAllClear[п.10];
            );
            "Сумма месяцев"; CALCULATE ( DISTINCTCOUNT ( qAllClear[п.8] ) )
        );
        [Сумма месяцев]
    )
RETURN
    DIVIDE ( SumValues; SumMonth; 0 )

Данные попробуем перенести на SQL, для групповой загрузки CSV единственное что нашел - ПО ImportExportDataSql (https://habr.com/ru/post/485994/)
Дальше придется видимо временно использовать прокладку в виде PowerBI с live-подключением к этим загруженным данным и переносом мер туда. Построение матриц - экспорт - загрузка агрегатов эксель.

Основной вопрос в следующем: есть ли какая-то программа для SQL типа конструктора отчетов, в котором можно заложить алгоритмы по аналогии таких мер и получать результат в сводных таблицах как в Excel или PowerBI? Или для каждой графы таблицы необходимо иметь четко заданный алгоритм и его редактирование вести только на уровне кода?

Есть ли у кого аналогичный опыт или может быть посоветуете где почитать по этому вопросу?

Спасибо!
С уважением, Иван.
Изменено: Solomatnikov - 04.03.2022 10:00:09
 
Solomatnikov, судя по описанию вам нужен MS SSAS. В качестве костыля если вы в РФ и не против облаков, а также есть возможность приобрести через соседние государства лицензию Premium per User Power BI, то ваш объем можно заливать в потоки DataFlows добавочным обновлением и подключаться к ним через PBI Desktop в режиме Direct Query.
З.Ы. И зачем вам в переменной SumValues второй вложенный sumx? Он же там ничего не делает, но тормозов возможно добавляет.
Вот горшок пустой, он предмет простой...
Страницы: 1
Наверх