Дождаться полной загрузки сайта

Дождаться полной загрузки сайта, MSXML2.ServerXMLHTTP.6.0

Пользователь

Сообщений: 30 Регистрация: 02.06.2021

03.02.2024 09:59:55

При получении текста с сайта и рабивая данные по тегу, очень часто получаю разные значения количесва объектов в массиве. иногда допустим 160 а иногда 660. Как дождаться когда полностью закгрузиться сайт?. .readyState = 4, статус тоже проверал. Когда просто заходишь на сайт, ручками в браузере, иногда видно что информация подгружается дополнительно. как реализовать код чтоб я получил полный txt сайта. Код использую вида.

Код

Sub XMLHTTP()
ctroka:
URL = "https://oz-parts.ru/search/Hyundai-KIA/54584D3000?source=goods_info"
 On Error GoTo errorHandler
        With CreateObject("MSXML2.ServerXMLHTTP.6.0")
        .Open "GET", URL, "False"
        .setTimeouts 10000, 10000, 10000, 10000
        .send ("")
'        .setProxy 2, myProxy
'        .setProxyCredentials mylogin, mypassword
cTime = Now + TimeValue("00:00:20")
 If Now < cTime Then
        Do
        DoEvents
        Loop Until .readyState = 4
Else
        popitka = popitka + 1
        If popitka >= 3 Then
        Exit Sub
        Else
        GoTo ctroka:
        End If
End If
        txt = .responseText
        End With
errorHandler:
 
arr50 = Split(GetTags(txt, "td", "class", "*resultDeadline *", "innerHTML"), ARSEP)
kolishestvo1 = UBound(arr50, 1) - LBound(arr50, 1) + 1

Игорь

Пользователь

Сообщений: 3695 Регистрация: 23.12.2012

04.02.2024 09:54:36

Если использовать браузер IE - то недостаточно проверять только .readyState = 4, надо ещё .Busy проверять
Например, ждем готовности браузера IE, но не более 2 секунд:

Код

        TimeStamp = Timer
        Do While (.Busy = True) Or (.readyState <> 4)
            DoEvents
            If Abs(Timer - TimeStamp) >= 2 Then Exit Do
        Loop

Если же работаем БЕЗ браузера (как у вас, компонент MSXML2.ServerXMLHTTP.6.0), то ничего вы не дождётесь
Ибо тут скрипты не отрабатывают, и, соответственно, ничего не догружают, — сколько сайт выдал данных, столько и выведется.

Вы решили совместить 2 принципиально разных кода (взяли рабочий код для MSXML2.ServerXMLHTTP.6.0, и засунули туда кусок кода от работы с браузером), — так не прокатит.

Возможно, проблема в прокси (который обрезает часть данных / выдаёт их не совсем корректно)

Изменено: Игорь - 04.02.2024 10:03:40

Надстройки для Excel Парсинг сайтов Мониторинг цен конкурентов

Максим Бугриев

Пользователь

Сообщений: 30 Регистрация: 02.06.2021

05.02.2024 13:16:00

Игорь, Спасибо. Свойства ".Busy" для "MSXML2.ServerXMLHTTP.6.0" нет . Мне именно под прокси нужно заходить на сайт, и вытаскивать информацию. Самый простой метод это Ваш же пример, за это вам огромное спасибо. На сайте "2ip" проверяю, все хорошо. Захожу на нужный сайт значит под прокси, но не всегда получаю всю информацию..... а для IE есть способ зати сразу под прокси? Интернет весь перерыл, нашел только через "cmd". Вроде этого.

Код

1	`cmdkey /generic:101.101.101.101 /user:12345 /pass:123456`

Это я добавляю в диспетчер учетных данных свои данные чтоб IE не запрашивал пароль.
Потом запускаю скрипт ".vbs"

Код

Option Explicit
Dim valUserIn
Dim objShell, RegLocate, RegLocate1
Dim args
 
set args = Wscript.Arguments
valUserIn = args(0)
Set objShell = WScript.CreateObject("WScript.Shell")
On Error Resume Next
RegLocate = "HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Internet Settings\ProxyServer"
objShell.RegWrite RegLocate,valUserIn,"REG_SZ"
RegLocate = "HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Internet Settings\ProxyEnable"
objShell.RegWrite RegLocate,"1","REG_DWORD"
WScript.Quit

Все работает через VBA. Запущено все циклом, но загвоздка в том что примерно после пятой попытки, прокси не меняется. Пробовал возвращать в исходное состояние, без прокси, очищать в диспетчере все данные, и всеравно ничего не помогает..... После перезагрузки ПК все опять работает но опять только на 5-10 прокси. Всетаки как зайти через IE под прокси?

Изменено: Максим Бугриев - 05.02.2024 13:40:47

Игорь Пользователь Сообщений: 3695 Регистрация: 23.12.2012	#4 05.02.2024 22:13:00 Если нужен IE - зачем используете компонент "MSXML2.ServerXMLHTTP.6.0" ? XMLHTTP60 использует WinInet HTTP стек (вместе с Internet Explorer) ServerXMLHTTP60 использует WinHttp стек (как и компонент WinHttpRequest) Вам нужно использовать либо CreateObject("MSXML2.XMLHTTP"), либо запускать IE А вы сейчас прописываете прокси для IE, а потом используете компонент, не связанный с IE Ну или не знаю какой код вы там используете (вы даете куски кода, да еще и с IE не связанные, — гадать что там у вас нет желания) тем более, если несколько раз всё работает, не понятен сам вопрос, как "зайти через IE под прокси" (нагуглите код работы с IE через VBA, например по фразе vba IE set proxy) чтобы прокси применялся, можно попробовать первый ответ из этой темы: https://stackoverflow.com/questions/55362424/toggle-internet-explorer-proxy-from-excel-vba Надстройки для Excel Парсинг сайтов Мониторинг цен конкурентов

Читают тему