Поиск  Пользователи  Правила 
Закрыть
Логин:
Пароль:
Забыли свой пароль?
Регистрация
Войти
 
Выбрать дату в календареВыбрать дату в календаре

Страницы: 1
Скачивание информации из нескольких веб-страниц, Помощь с запросом Power Query
 
PooHkrd, Михаил Л,Всё работает!!!!! Вы сэкономили мне очень много времени=)))))))))))
Надо будет, когда появится свободное время, выучить язык М, нужен редко,зато экономит много времени для больших данных=)
Скачивание информации из нескольких веб-страниц, Помощь с запросом Power Query
 
Спасибо большое=)
Скачивание информации из нескольких веб-страниц, Помощь с запросом Power Query
 
Я уже внёс изменения в сообщение: прикрепил файл.
Изменено: Jurcalas - 27 май 2020 14:00:55
Скачивание информации из нескольких веб-страниц, Помощь с запросом Power Query
 
Да, нужно в одну таблицу собрать данные для всех семестров и учебных годов (т.е. они будут выглядеть как 2017-2018 и т.д.) для каждого студента, но в таблице должно быть видно. что это за семестр и какой студент, чтобы потом можно было проводить сортировку. id здесь не весь перечень - я не стал все 400 вариантов вставлять, но и здесь видно. что некоторые номера идут по порядку. а иногда случаются "скачки" почему-то (таблицу эту также прикрепил в формате excel)
yearsemid
2016-20171259
2017-20182260
2018-2019261
2019-2020262
409
410
411
487
Изменено: Jurcalas - 27 май 2020 13:59:50
Скачивание информации из нескольких веб-страниц, Помощь с запросом Power Query
 
Имеется сайт, который выводит информацию в виде однотипных таблиц/ Вот запрос на одну из таких страниц
 

let

   Источник = Web.Page(Web.Contents("xxxx ?year=2016-2017&sem=2&id=405")),

(Здесь xxxxx в ссылке на сайт - это я просто скрыл адрес сайта, year=  (изменяется 2016-2017, 2017-2018,2018-2019,2019-2020, всего 4 варианта)  sem= 1 или 2; id= тоже изменяется (причём не по порядку - т.е. написать  переменную типа a=[1..400] не получится, здесь нужен перечень  переменных, например, a=[200;230;400;405;470)

   Data0 = Источник{0}[Data],

   #"Повышенные заголовки" = Table.PromoteHeaders(Data0, [PromoteAllScalars=true]),

   #"Измененный тип" = Table.TransformColumnTypes(#"Повышенные заголовки",{{"Тип", type text}, {"Дисциплина", type text}, {"Преподаватель", type text}, {"Блок", type text}, {"Итоговый Процент", Int64.Type}, {"", type text}})

in

   #"Измененный тип"

Мне  нужно, чтобы кроме имеющихся столбцов таблицы, добавить дополнительно столбцы:  год, семестр, id - которые будут взяты из страницы сайта, с которой  скачана информация/ Каким образом можно осуществить данную операцию?

В языке программирования Power Query не разбираюсь совсем, поэтому поиск в различных интернет-справочниках не помог...
Цикл в Power Query. Запрос в сети интернет
 
Спасибо! Работает. Кстати, не так уж и долго, меньше часа на 500 страниц, так что автоматизирует работу очень хорошо!
Цикл в Power Query. Запрос в сети интернет
 
Имеется сайт с постраничным разбиением базы, при этом адрес ссылки различается только последней цифрой,всего таких страниц 502. Создал запрос с использованием Power Query, вот что получилось:
Код
let
   Источник = Web.Page(Web.Contents("https://www.dissercat.com/catalog/pedagogicheskie-nauki/teoriya-i-metodika-professionalnogo-obrazova...),
   Data0 = Источник{0}[Data],
   #"Измененный тип" = Table.TransformColumnTypes(Data0,{{"Тема диссертации", type text}, {"Автор", type text}, {"Год", Int64.Type}, {"", type text}})
in
   #"Измененный тип"

Хотелось бы сделать какой-то цикл, который позволил автоматически заходить на каждую из 502 страниц и добавлять в конец таблицы. Есть ли такая возможность? Насколько будет долго такая штука работать?

Посоветуйте, что почитать по Power Query чайнику, чтобы подобные вопросы в дальнейшем не возникали - просто об этой технологии буквально только узнал 2 дня назад, но она мне пригодится ещё много-много раз.
Страницы: 1
Наверх