Поиск  Пользователи  Правила 
Закрыть
Логин:
Пароль:
Забыли свой пароль?
Регистрация
Войти
 
Страницы: 1
RSS
Цикл в Power Query. Запрос в сети интернет
 
Имеется сайт с постраничным разбиением базы, при этом адрес ссылки различается только последней цифрой,всего таких страниц 502. Создал запрос с использованием Power Query, вот что получилось:
Код
let
   Источник = Web.Page(Web.Contents("https://www.dissercat.com/catalog/pedagogicheskie-nauki/teoriya-i-metodika-professionalnogo-obrazova...),
   Data0 = Источник{0}[Data],
   #"Измененный тип" = Table.TransformColumnTypes(Data0,{{"Тема диссертации", type text}, {"Автор", type text}, {"Год", Int64.Type}, {"", type text}})
in
   #"Измененный тип"

Хотелось бы сделать какой-то цикл, который позволил автоматически заходить на каждую из 502 страниц и добавлять в конец таблицы. Есть ли такая возможность? Насколько будет долго такая штука работать?

Посоветуйте, что почитать по Power Query чайнику, чтобы подобные вопросы в дальнейшем не возникали - просто об этой технологии буквально только узнал 2 дня назад, но она мне пригодится ещё много-много раз.
 
Цитата
Jurcalas написал:
Насколько будет долго такая штука работать?
долгая. попробуйте на пяти. потом поставьте 20 или сто или 502
Код
let

    a={1..5},
    #"Converted to Table" = Table.FromList(a, Splitter.SplitByNothing()),
    #"Changed Type" = Table.TransformColumnTypes(#"Converted to Table",{{"Column1", type text}}),
    #"Added Custom" = Table.AddColumn(#"Changed Type", "Пользовательская", each Web.Page(Web.Contents("https://www.dissercat.com/catalog/pedagogicheskie-nauki/teoriya-i-metodika-professionalnogo-obrazovaniya?page="&[Column1]))),
    #"Expanded {0}" = Table.ExpandTableColumn(#"Added Custom", "Пользовательская", {"Caption", "Data"}, {"Caption", "Data"}),
    #"Filtered Rows" = Table.SelectRows(#"Expanded {0}", each ([Caption] = null)),
    #"Expanded {0}1" = Table.ExpandTableColumn(#"Filtered Rows", "Data", {"Тема диссертации", "Автор", "Год", ""}, {"Тема диссертации", "Автор", "Год", "Столбец1"}),
    #"Removed Other Columns" = Table.SelectColumns(#"Expanded {0}1",{"Column1","Год", "Автор", "Тема диссертации"})
in
    #"Removed Other Columns"
 
Спасибо! Работает. Кстати, не так уж и долго, меньше часа на 500 страниц, так что автоматизирует работу очень хорошо!
Страницы: 1
Читают тему (гостей: 1)
Наверх