Добрый день, уважаемые форумчане! Имеется задача, которую до настоящего времени решали сводными таблицами и моделью данных в Excel. Регулярно получаем выгрузки из нескольких систем, которые у себя загружаем через Query, обогащаем данными из связанных справочников и других источников, делаем вычисляемые столбцы и дальше на базе всего этого - формируем сводники. При этом оказалось, что массив, которые экономисты тащат в эксель и крутят там при его сохранении в формате экселевского файла - около 2 гигов, в CSV уже превышает 5 гигов и обработка его занимает около 2-3 суток.... Уменьшить объем невозможно, проговорили. Сейчас на базе представленной во вложении таблицы (в реальной боевой таблице около 400 граф) формируются сводники в разных разрезах и их работа реализована на мерах. Их уровень примерно следующий, но эти алгоритмы могут меняться почти еженедельно и сейчас их количество около 200. Дальше они выводятся в сводные таблицы, например строки - столбец п.1, графы - п.2 и п.3. В значения - мера.
Данные попробуем перенести на SQL, для групповой загрузки CSV единственное что нашел - ПО ImportExportDataSql (https://habr.com/ru/post/485994/) Дальше придется видимо временно использовать прокладку в виде PowerBI с live-подключением к этим загруженным данным и переносом мер туда. Построение матриц - экспорт - загрузка агрегатов эксель.
Основной вопрос в следующем: есть ли какая-то программа для SQL типа конструктора отчетов, в котором можно заложить алгоритмы по аналогии таких мер и получать результат в сводных таблицах как в Excel или PowerBI? Или для каждой графы таблицы необходимо иметь четко заданный алгоритм и его редактирование вести только на уровне кода?
Есть ли у кого аналогичный опыт или может быть посоветуете где почитать по этому вопросу?
Solomatnikov, судя по описанию вам нужен MS SSAS. В качестве костыля если вы в РФ и не против облаков, а также есть возможность приобрести через соседние государства лицензию Premium per User Power BI, то ваш объем можно заливать в потоки DataFlows добавочным обновлением и подключаться к ним через PBI Desktop в режиме Direct Query. З.Ы. И зачем вам в переменной SumValues второй вложенный sumx? Он же там ничего не делает, но тормозов возможно добавляет.