Выбрать дату в календареВыбрать дату в календаре

Страницы: 1
создание запроса в power bi
 
Добрый день!
Имеется подписка к сервису Algopack Московской биржи. Там есть наборы данных, которые можно скачивать через API.
В настоящее время скачиваю через их интерфейс и анализирую в excel и power bi. В power bi "картинка симпатичнее и нагляднее.  
1. Хочется сделать удобный интерфейс по скачиванию ряда данных одной кнопкой или через определенное время
2. Создать несколько графиков в power bi. (есть понимание каких, но не хватает знаний)
3. Накопление скачанных данных в файлах или файле для возможного дальнейшего анализа в других программах.
4. Ну и дальнейшее "сопровождение"
Важно сделать подключение online, не через сторонние приложение, некоторые данные требуется получать с секундной задержкой.

https://moexalgo.github.io/api/rest/ описание API.
Модификация файлов
 
Ни кто не откликнулся. Решил через power Query.
Модификация файлов
 

ТЗ

Необходимо создать макрос модифицирующий файлы xlsx. Файлов может быть много. Все они лежат в одной директории.

Всего имеется два типа файла. Они почти одинаковые. Отличаются заголовки в 13 строке.

Сделать новый первый столбец. Назвать «дата создания». Заполнить ячейкой A1, удалив из нее слова «Отчет всех узлов Дерева связей ». Формат получившейся ячейки Дата,время.

Сделать новый второй столбец. Назвать «имя файла». Соответственно заполнить его названием файла.

Сделать новый третий столбец. Назвать «Тип отчета». Заполнить ячейкой E5.

Заменить - на 0 во всей таблице.

Отчистить в исходном файле в данных, в столбцах A,B,C,D,E начинающихся с 14 строки все символы после /. Получившиеся столбцы должны быть текстовыми. Обратить внимание на то, что некоторые начинаются на 0. 0 надо сохранить.

Создать новый четвертый столбец. Назвать «ИНН1».

Создать новый пятый столбец. Назвать «ИНН2».

Создать новый шестой столбец. Назвать «Период1». В него перевести из текста в дату (первый день квартала) ячейку E4. Даты могут быть от 1 квартала 2020 до 4 квартала 2035.

В столбцах W,AG убрать знак %.

Все заголовки 13 строки переназвать.

И сделать все тоже самое на второй тип файла. Только поменять столбцы ИНН1 и ИНН2 местами.

До этого места ваш коллега все сделал. И макрос работает хорошо. https://www.planetaexcel.ru/forum/?PAGE_NAME=message&FID=7&TID=168011&TITLE_...

Прошло время, дальше захотелось больше. Следующая итерация. В настоящее время есть необходимость обработать порядка 100 файлов. В каждом может получится более 100000 строк. И это не единичная задача, могут быть еще. Хотелось бы оптимизировать работу. И очень хочется объединить эти 100 файлов в один csv. CSV нужен для дальнейшей работы в сторонней программе и потому, что excel не позволит сделать более 1,05 млн строк.

1 Хочется сделать модификацию макроса с выбором «глубины» по уровням. Допустим мне не нужно знать, что там на третьем уровне, я убираю галку 3, 4 уровни и макрос формирует только 0,1,2 уровни. И тд. 0-1, 0-2, 0-3, 0-4. Или же 0-1, 1-2, 2-3, 3-4. В идеале и так и так. Это нужно сделать так как каждый следующий уровень это геометрическая прогрессия иногда с умножением на 100. И происходит добавление "лишней" информации, но иногда она нужна.

2 Файлы при объединении содержат в себе дубликаты строк возможно ли при формировании единого CSV провести удаление дубликатов.

3 Есть необходимость сформировать общий csv из определенных столбцов также удалив дубликаты.

4 дополнить ячейку с названием «спецузел…» инн из соседнего столбца.

5 Может подскажете как обойти ограничение Excel в 1,05 млн строк и заправить полученные из этих 100 файлов данные напрямую например в excel или access. Но это скорее программа максимум и из единого csv я и сам смогу сделать импорты.

Жду Ваших предложений по ценообразованию на такую работу.

Изменено: vasilechek - 26.03.2025 10:24:13
Модификация множества файлов
 
МатросНаЗебре выполнил задачу. Большое ему спасибо.
Модификация множества файлов
 

ТЗ

Необходимо создать макрос модифицирующий файлы xlsx. Файлов может быть много. Все они лежат в одной директории.

Всего имеется два типа файла. Они почти одинаковые. Отличаются заголовки в 13 строке.

Сделать новый первый столбец. Назвать «дата создания». Заполнить ячейкой A1, удалив из нее слова «Отчет всех узлов Дерева связей ». Формат получившейся ячейки Дата,время.

Сделать новый второй столбец. Назвать «имя файла». Соответственно заполнить его названием файла.

Сделать новый третий столбец. Назвать «Тип отчета». Заполнить ячейкой E5.

Заменить - на 0 во всей таблице.

Отчистить в исходном файле в данных, в столбцах A,B,C,D,E начинающихся с 14 строки все символы после /. Получившиеся столбцы должны быть текстовыми. Обратить внимание на то, что некоторые начинаются на 0. 0 надо сохранить.

Создать новый четвертый столбец. Назвать «ИНН1». Этот столбец заполняется из A,B,C,D формулой Если. =ЕСЛИ(E14="";ЕСЛИ(D14="";ЕСЛИ(C14="";A14;B14);C14);D14). Можно любой другой формулой, но результат должен быть такой.

Создать новый пятый столбец. Назвать «ИНН2». Этот столбец заполняется из B,C,D,E формулой Если. =ЕСЛИ(E18="";ЕСЛИ(D18="";ЕСЛИ(C18="";B18;C18);D18);E18)

Создать новый шестой столбец. Назвать «Период1». В него перевести из текста в дату (первый день квартала) ячейку E4. Даты могут быть от 1 квартала 2020 до 4 квартала 2030.

В столбцах W,AG убрать знак %.

Все заголовки 13 строки переназвать.

И сделать все тоже самое на второй тип файла. Только поменять столбцы ИНН1 и ИНН2 местами.

Выбор типа файла может быть ручным. Но если можно сделать логику исходя из определения типа таблицы и не сильно замедлить процесс, то буду благодарен.

Файлов может быть несколько десятков каждый по 200 000 строк, 10-20 мБ.

Жду Ваших предложений по ценообразованию на такую работу.

Страницы: 1
Наверх