| Цитата |
|---|
| Oleg Boyaroff написал: Данные большого объема? Ведь каждую ссылку придется обрабатывать(ну кроме архивных\закрытых). Не знаю как сейчас, но раньше за спам запросов блокировка не выдавалась. |
Благодарю вас за отклик и правильные вопросы, данных будет не много около 300-500 записей, предположение относительно блокировок запросов действительно важно, необходимо будет это выяснить опытным путём, как вы понимаете я не программист, и сгенерировать такое количество запросов в браузере мне не представляется возможным. В связи с чем исполнителю придётся проверить эту потенциальную проблему самостоятельно.
На счёт парсера, я не программист но первый же запрос в google привёл меня на специализированный ресурс, на котором эта задача решалась следующим способом. Не знаю насколько данный код подходит для решения требуемой задачи, не знаю способен ли в принципе VB .NET выполнять требуемые запросы, если ему такие задачи не под силу, то я готов рассмотреть варианты со сторонним ПО, однако очень хочется обойтись без него.
| Код |
|---|
Imports System.Net
Imports System.Text
Public Class Form1
Public Function Getwebcode(ByVal url As String, ByVal encoder As String) As String
Dim myWebClient As WebClient = New WebClient()
Dim myDataBuffer As Byte() = myWebClient.DownloadData(url)
Dim SourceCode As String = Encoding.GetEncoding(encoder).GetString(myDataBuffer)
Return SourceCode
End Function
Private Sub Button1_Click(sender As Object, e As EventArgs) Handles Button1.Click
Dim back As String = Getwebcode("https://www.google.com/", "UTF-8")
TextBox1.Text = back
End Sub
End Class
|
