Поиск  Пользователи  Правила  Войти
Форумы "Планета Excel" » Вопросы по Microsoft Excel
Страницы: 1
RSS
При вытягивании данных с интернет-страницы не могу получить правильный HTML код.
 
#1
04.07.2019 13:13:00
Добрый день друзья.
Пытаюсь получить код страницы с целью вытащить наименования кабелей со всех страниц.
Но вместо HTML-кода, в котором содержатся эти списки мне выдаёт вот такой результат:
<html><head><script>function set_cookie(){var now = new Date();var time = now.getTime();time += 19360000 * 1000;now.setTime(time);document.cookie='beget=begetok'+'; expires='+now.toGMTString()+'; path=/';}set_cookie();location.reload();;</script></head><body></body></html>
Направьте на путь истинный что именно я упустил из виду.
Для формирования использовал хром F12 и плюсом расширение Live HTTP Headers, но не смог ни к чему подкопаться.
Скрытый текст
Изменено: Alemox - 04.07.2019 13:14:39
Мастерство программиста не в том, чтобы писать программы, работающие без ошибок.
А в том, чтобы писать программы, работающие при любом количестве ошибок.
 
 
 
#2
04.07.2019 13:22:11
Если интересно, то PQ без проблем вытягивает таблицу с ценами с сайта по вашей ссылке.
Код
let
    Source = Web.Page(Web.Contents("https://e-kc.ru/price/cable-vvgng-ls?page=1")),
    Data0 = Source{0}[Data],
    #"Promoted Headers" = Table.PromoteHeaders(Data0, [PromoteAllScalars=true]),
    #"Changed Type1" = Table.TransformColumnTypes(#"Promoted Headers",{{"Товар", type text}, {"Наличие", type text}, {"Цена", type text}, {"Column4", type text}})
in
    #"Changed Type1"

Можно замутить цикл подставляя циферки в конец ссылки пока не выдаст ошибку и собрать все цены в одну таблицу.
Вот горшок пустой, он предмет простой...
 
 
 
#3
04.07.2019 13:30:38
PooHkrd, спасибо, но меня цены наоборот не интересует. Я хотел получить список названий в одном столбце а в другом ссылку на это название, т.е. на страницу.
P.S. PQ у меня нет.
Изменено: Alemox - 04.07.2019 13:32:40
Мастерство программиста не в том, чтобы писать программы, работающие без ошибок.
А в том, чтобы писать программы, работающие при любом количестве ошибок.
 
 
 
#4
04.07.2019 13:59:53
перед строкой
Код
XMLHTTP.send

добавьте строку
Код
XMLHTTP.setRequestHeader "Cookie", "beget=begetok"
Надстройки для Excel  Парсинг сайтов  Мониторинг цен конкурентов
 
 
 
#5
04.07.2019 14:20:41
Игорь, большое спасибо. Помогла строчка. Могли бы поделиться в каких случаях это пишется? Или это уже просто опыт?  :)
Мастерство программиста не в том, чтобы писать программы, работающие без ошибок.
А в том, чтобы писать программы, работающие при любом количестве ошибок.
 
 
 
#6
04.07.2019 23:31:05
В HTML коде в вашем первом посте присутствует скрипт set_cookie
с командой document.cookie='beget=begetok'
После чего страница перезагружается
Это такая примитивная защита от парсеров (проверка на браузер)

Это особенность конкретного движка сайта, на разных сайтах порой такая штука встречается.
Надстройки для Excel  Парсинг сайтов  Мониторинг цен конкурентов
 
 
 
#7
05.07.2019 07:48:58
Игорь, спасибо за полезную информацию и за решение моей проблемы.
Мастерство программиста не в том, чтобы писать программы, работающие без ошибок.
А в том, чтобы писать программы, работающие при любом количестве ошибок.
 
 
 
#8
12.12.2019 20:14:09
Добрый день. Снова поднимаю тему.
Не могу побороть этот сайт. Снова выдаёт не то, что нужно:
<html><head><script>function set_cookie(){var now = new Date();var time = now.getTime();time += 19360000 * 1000;now.setTime(time);document.cookie='beget=begetok'+'; expires='+now.toGMTString()+'; path=/';}set_cookie();location.reload();;</script></head><body></body></html>
И строчка имеется, которую Игорь советовал добавить, а результата нет. Не могу выгрузить HTML-код правильный.
Скрытый текст
Мастерство программиста не в том, чтобы писать программы, работающие без ошибок.
А в том, чтобы писать программы, работающие при любом количестве ошибок.
 
 
 
#9
12.12.2019 21:20:30
Кажись разобрался.
Заменил строчку
Код
Set XMLHTTP = CreateObject("Microsoft.XMLHTTP")

на
Код
Set XMLHTTP = CreateObject("MSXML2.ServerXMLHTTP")

вроде заработало. Не знаю на долго ли.
Мастерство программиста не в том, чтобы писать программы, работающие без ошибок.
А в том, чтобы писать программы, работающие при любом количестве ошибок.
 
 
 
#10
13.12.2019 09:31:16
А вообще интересно получается. На работе на W7 x64 Office 2013 x64 запускаю со строчкой
Код
Set XMLHTTP = CreateObject("Microsoft.XMLHTTP")

и всё работает.
Дома на W7 х86 Office 2010 x86 не работает с вышеуказанной строчкой, но работает со строчкой
Код
Set XMLHTTP = CreateObject("MSXML2.ServerXMLHTTP")

Что-то видимо не так происходит.
Мастерство программиста не в том, чтобы писать программы, работающие без ошибок.
А в том, чтобы писать программы, работающие при любом количестве ошибок.
 
 
 
#11
13.12.2019 11:34:54
У меня так работает
Код
Set XMLHTTP = CreateObject("WinHttp.WinHttpRequest.5.1")

на W7 х64 Office 2010 x86
на W7 х64 Office 2013 x64
на WS 2019 х64 Office 2019 x64
 
 
 
#12
13.12.2019 12:56:06
doober, спасибо за тестирование. На W7 x64 Office 2013 x64 проверил работает. Дома тоже работает на W7 x86 Office 2010 x86.
Изменено: Alemox - 14.12.2019 14:01:02
Мастерство программиста не в том, чтобы писать программы, работающие без ошибок.
А в том, чтобы писать программы, работающие при любом количестве ошибок.
 
 
 
#13
14.12.2019 14:04:22
Вот что значит опыт в области  :idea:
Во всех делах очень полезно периодически ставить знак вопроса к тому, что вы с давних пор считали не требующим доказательств (Бертран Рассел) ►Благодарности сюда◄
 
 
 
#14
14.12.2019 14:10:43
Да, всё знать невозможно. Каждый день что-то новое нахожу даже в тех местах где уж вроде всё понятно.
Мастерство программиста не в том, чтобы писать программы, работающие без ошибок.
А в том, чтобы писать программы, работающие при любом количестве ошибок.
 
 
 
Страницы: 1
Читают тему
Наверх