Поиск  Пользователи  Правила  Войти
Форумы "Планета Excel" » Вопросы по Microsoft Excel
Страницы: 1
RSS
Power Query. Как вытащить файлы из нескольких папок в интернете ?
 
#1
06.03.2021 10:02:56
Здравствуйте. В одной их этих папок в интернете лежит файл с известным мне названием. Нужно разыскать - в какой ?
Создавать запрос на каждую папку = ручной поиск. Как загрузить файлы из всех папок сразу (словно бы они лежали локально) ?
Что дальше делать - знаю.
Компьютер никогда не заменит человека (©️ Hannibal Lecter)
 
 
 
#2
06.03.2021 10:26:57
Доброе время суток.
Вариант, в предположении, что имена web-папок не содержат символ "."
Код
let
    Source = Web.Page(Web.Contents("https://www.sec.gov/Archives/edgar/data/1610601")){0}[Data],
    next = Table.AddColumn(Source, "subFolder", each if Text.Contains([Name], ".") then null else Web.Page(Web.Contents("https://www.sec.gov/Archives/edgar/data/1610601/" & [Name])){0}[Data]),
    expandNextFolderLevel = Table.ExpandTableColumn(next, "subFolder", {"Name", "Size", "Last Modified"}, {"subFolder.Name", "subFolder.Size", "subFolder.Last Modified"}),
    addFileData = Table.AddColumn(expandNextFolderLevel, "fileData", each
        if Text.Contains([#"subFolder.Name"], ".") then Web.Contents("https://www.sec.gov/Archives/edgar/data/1610601/" & [Name] & "/" & [#"subFolder.Name"]) else null
    )
in
    addFileData
 
 
 
#3
06.03.2021 10:37:44
Здравствуйте, Андрей. Аффигеть. Вот это вы мастер ! Супер. Спасибо огромное.

Посоветуйте плиз заодно книжку на русском, где "М" можно изучить.
От Николая Павлова  "Скульптора..." уже заказал. В пути. Но не знаю, насколько в ней язык представлен.

Спасибо еще раз большое.
Компьютер никогда не заменит человека (©️ Hannibal Lecter)
 
 
 
#4
06.03.2021 10:43:50
Цитата
Сергей Евдокимов написал:
на русском
Честно говоря, не знаю и не отслеживаю. Я пользовался и пользуюсь этим Power Query M language specification, Chris Webb's BI Blog. Ну, и литературой по теме: Структуры данных и алгоритмы. Можете тут на русском по этой теме почитать algo, там и на книги ссылки есть.
Изменено: Андрей VG - 06.03.2021 10:46:45
 
 
 
#5
17.03.2021 12:35:38
Что-то не получается у меня, Андрей, полностью воспользоваться вашим кодом. Создал из него  функцию, как учил Николай. Все, вроде, работает, но так медленно. Аж жуть. Один файл (тикер) может обрабатываться по несколько часов. А у меня их более 300. Думал запущу сразу все, подожду и будет мне счастье. Ан нет, приходиться запускать по одному и так долго, так долго. А иногда, спустя несколько часов усиленной работы, спотыкается и выдает ошибку.

Читаю сейчас книгу, скоро до "М" дойду, может что в коде надо править/оптимизировать для ускорения процесса.
Компьютер никогда не заменит человека (©️ Hannibal Lecter)
 
 
 
Страницы: 1
Наверх