Страницы: 1 2 След.
RSS
Парсинг сайтов с помощью Excel
 
Коллеги, доброго дня! Подскажите, пожалуйста, способы парсинга сайтов через Excel. Понимаю, что тема может быть объемной, поэтому, буду благодарен за просто ссылки на источники информации.
 
Я тоже хочу научиться этому искусству.
"..Сладку ягоду рвали вместе, горьку ягоду я одна."
 
Цитата
Denis87 написал:
буду благодарен за просто ссылки
Легко - http://excelvba.ru/programmes/Parser
 
Цитата
Владимир написал: Я тоже хочу научиться этому искусству.
Ага, тема очень интересная. На просторах нета, в основном предлагаются парсеры за деньги и видимо поэтому учить никто не хочет. Есть еще вариант использовать другие языки программирования, например Python, но это долгий путь к парсингу, как мне кажется.

Ivan.kh, спасибо, смотрел сайт. Как и написал выше, там не рассказывают как сделать, а предлагают купить.
 
Ну, купите и посмотрите код, что и как сделано ...
Это если вообще ничего не знаете в вопросе.

Если в чем-то конкретном вопрос, то задавайте, а пошагово такой объёмный вопрос из альтруистических соображений никто раскрывать не будет (ИМХО).
В крайнем случ. можно посмотреть как реализованы функции курсов валют с цент.банка - тот же парсинг... и код таких функций можно найти в открытом доступе и на этом форуме и на дружественных
Изменено: Ivan.kh - 22.09.2016 11:37:40
 
Спасибо за мысль, подумаю. А вопросы есть конкретные, синтаксис команды, которая будет обращаться к сайту; синтаксис команды, которая копирует с сайта конкретный информацию.  
 
Denis87, кнопка цитирования не для ответа.
 
Цитата
Denis87 написал:
поэтому учить никто не хоче
А поискать по форуму?
Поиск по форуму с ключевым словом MSXML2.XMLHTTP
 
Это мне не помогает. Мне нужно с самых азов. Верю, найдётся всё-таки волонтёр, откроет тему и...
"..Сладку ягоду рвали вместе, горьку ягоду я одна."
 
Цитата
найдётся всё-таки волонтёр, откроет тему и...
и что?
потратит годы, чтобы описать способы получения данных с различных сайтов?
сайты ОЧЕНЬ разные, один алгоритм для всех не подойдет

сайты и Excel существуют уже десятки лет, - в интернетах много информации самой разной, от азов до сложных макросов
Если вам лень тратить время на изучение и систематизацию всего этого (а найти кучу примеров кода под разные сайты - легко), - то вряд ли какой волонтер сейчас начнёт расписывать всё заново

PS: моя программа, на которую давали ссылку выше, позволит вам настроить самые разнообразные парсеры, не написав ни единой строки кода.
Возможности программы изучать намного проще, чем способы работы с сайтами при помощи кода
(за каждой командой в этой программе скрывается много универсального кода)
На странице программы есть ссылка на примеры настроенных парсеров, - можете поизучать и посмотреть, как что работает.
Ну и примеры подобный макросов у меня есть на сайте в открытом доступе - только те макросы не универсальные, и их не получится применить к другому сайту / другой задаче.
 
Цитата
Игорь написал:
Возможности программы изучать намного проще
Мне не интересно изучать чужие программы, интересно самому писать.
Цитата
Игорь написал:
вам лень тратить время
Я пока ничего для себя понятного не нашел, многое написано на английском.
"..Сладку ягоду рвали вместе, горьку ягоду я одна."
 
Цитата
синтаксис команды, которая будет обращаться к сайту; синтаксис команды, которая копирует с сайта конкретный информацию
это одна и та же  команда: обращаетесь к URL, получаете все что там есть
и вот тут начинается самое интересное - выловить из всего что вывалилось то, что нужно
это можно рассматривать как простую обработку текста (все данные уже у Вас, в Вашем макросе, в переменной)

интересующая Вас команда, есть в примере
Программисты - это люди, решающие проблемы, о существовании которых Вы не подозревали, методами, которых Вы не понимаете!
 
Doober, спасибо за наводку. Информации много, буду изучать. Я смотрю вы уже не первый год в этой теме.
 
Цитата
Ігор Гончаренко написал:  обращаетесь к URL, получаете все что там есть
Спасибо! А какой метод использовать для обращения к URL?
Какой пример вы имеете в виду? Вроде никто не выкладывал примеры.
 
в сообщении #3 Иван дал ссылку на пример
в сообщении #10 Игорь написал несколько поясняющих фраз по ссылке, заходите, смотрите, текст макроса открыт, интересно - изучайте!
Программисты - это люди, решающие проблемы, о существовании которых Вы не подозревали, методами, которых Вы не понимаете!
 
Цитата
А какой метод использовать для обращения к URL?
а поискать - не?
http://excelvba.ru/code/GetHTTPResponse
http://excelvba.ru/code/GetWebPageText
http://excelvba.ru/code/DownloadFile
http://www.planetaexcel.ru/forum/index.php?PAGE_NAME=message&FID=8&TID=11642&TITLE_SEO=11642&MID=927...
http://excelvba.ru/code/WebQueryRange

достаточно 5 разных способов загрузить страницу по URL ?
 
Игорь, да вполне, спасибо! Информация для изучения теперь есть, осталось осознать и применить и задать новые вопросы :). Клич на форуме тоже своего рода поиск.
Изменено: Denis87 - 22.09.2016 16:02:12
 
Цитата
Denis87 написал: Клич на форуме тоже своего рода поиск
Верно. Но поиск чужими руками.
 
Юрий М, форум для чего нужен? Если рассуждать как вы, то 99% тем здесь можно загуглить, тогда и ваша модерация не будет нужна. Вы когда на работе решаете задачу с которой не сталкивались, вы гуглите или идете к коллеге, который ее с успехом решил?  
Изменено: Denis87 - 23.09.2016 10:05:02
 
Цитата
вы гуглите или идете к коллеге, который ее с успехом решил?
Не путайте редьку с хреном.
1. Если коллега - хороший знакомый и если это 1 мин дело, то да. Но если коллеге нужно самому вместо меня поискать, 30 минут объяснять то, что я сам мог за 1 час найти...
2. Коллега с успехом заработат миллион. Вы к нему - поделится десятком тысяч, с него не будет?
3. Откуда у Вас уверенность, что тот, кто с успехом решил такую проблему, будет делиться с Вами наработками?
4. Опыт приходит не когда Вам на блюдечке, а когда самостоятельно. Никто не мешал Вам перед обращением на форум потратить день-два на самосояельные поиски. У Вас же другая позиция: отвлеку, они знают, они мне найдут и расскажут.
Все, кто здесь помогает, не бегали на форумы при первом "ой, поломалася!". Поэтому и могут помогать, есть знания

Цитата
тогда и ваша модерация не будет нужна
утопия. А как хочется дожить до такого! :)
 
vikttur, все что я знаю о VBA и все что могу сейчас в нем сделать, я узнал самостоятельно тем или иным способом. Там спросил, тут спросил, здесь почитал, здесь увидел. Чтобы учиться чему-то нужно разные источники изучать. Тема парсинга, которую я здесь поднял я изучаю всеми возможными способами: методом проб и ошибок, поиском в инете и здесь на форуме, чтением. Не нравится, что я обращаюсь к вам, не отвечайте. Всегда найдутся люди, которые подскажут.

P.S. Хрен с редькой по-моему вы путатете. Если коллеге нужно вместо меня 30 минут искать решение задачи, то он скорее всего задачу это не решал и находится примерно на том же уровне что и я.  
 
Цитата
Denis87 написал:  Юрий М , форум для чего нужен?
Ну уж в любом случае не для того, чтобы я вместо Вас шёл в поисковик и искал нужную Вам информацию. А вот помочь с тем, если у Вас что-то конкретно не получается - тут на форум.
Цитата
Denis87 написал: тогда и ваша модерация не будет нужна
А модерация - это совсем из другой оперы )
 
Юрий М, не знаю как обычно люди делают, но когда я на форум пишу, это значит что выдачей в поисковике я не удовлетворен и соответственно ищу ответы здесь. Запоросы в поисковике по данной теме сводятся к предложению купить макрос для парсинга. Именно поэтому я пришел на форум и задал вопрос здесь. В результате, некоторую базу здесь я получил плюс несколько упреков, что я сам искать не хочу.

P.S. Мне после каждый открытой темы здесь придется оправдываться почему я ее открыл?  
 
Цитата
Denis87 написал:
Мне после каждый открытой темы здесь придется оправдываться почему я ее открыл?
Никто Вас оправдываться не просил. Я реагировал на Вашу реплику про поиск - никакой это не поиск.
Цитата
Denis87 написал:
когда я на форум пишу, это значит что выдачей в поисковике я не удовлетворен
Можно было и сообщить об этом. А Игорь Вам привёл несколько результатов поиска.
Цитата
Denis87 написал:
Запоросы в поисковике по данной теме сводятся к предложению купить макрос для парсинга.
Переформулируйте запрос. Да и не верю, что по ВСЕМ найденным ссылка только "купить".
И хватит уже об этом.
 
Юрий М, не верьте, а проверьте. То, что мне Игорь прислал, тем я и воспользовался. И то, это ссылки на сайт, где занимаются продажей макросов для парсинга, так что это не только помощь мне, но и реклама сайту на вашем ресурсе. Не удивлюсь, если Игорь владелец или сотрудник данного сайта. Сайт этот в свою очередь занимает первые 10 строк в выдаче по этому запросу.

Цитата
Юрий М написал:
Можно было и сообщить об этом
Вот про это я и говорю. Вы мне предлагаете прежде, чем тему написать, подумать все ли подробности моих изысканий я изложил? Сами-то понимаете к чему ведете?
 
Denis87, Вам скучно? У нас есть "Курилка". Я же просил закончить про поиск.
 
Юрий М, мне не скучно, но когда я вижу что меня не понимают, считаю долгом объяснить.
 
Цитата
Denis87 написал:
когда я вижу что меня не понимают
special for you: http://www.excel-vba.ru/pochemu-bezhat-na-forum-srazu-posle-poyavleniya-problemy-ploxo/
Не хочу сказать, что Вы халявщик, но размыто заданный Вами вопрос в общей ветке навевает на определенные размышления. Скорее, конечно, Вы просто не так выразились. Но учитесь и старайтесь выражаться так, чтобы все поняли именно так, как Вы хотели бы, чтобы поняли. А не чтобы каждый мог понять как угодно(сейчас именно так Ваш стартовый топик звучит).
Чтобы Вас поняли - задавайте вопросы конкретно. А то написали - везде платно. Да разве? Полно бесплатных примеров. Даже MSDN кишит ими. И первая мысль после таких утверждений - да человек тупо не искал, вот и все. А другой вопрос, что Вы в поиск не то забиваете. Но это уже отходит на второй план - Вы ведь утверждаете, что нет ничего! А это же не так. Я вот забил в Яндекс: считать страницу url vba
И первые же 10 ссылок дают достаточно исчерпывающий ответ как минимум для того, чтобы понять какие использовать методы и команды. а остальное уже частности.
И мы это знаем. И поэтому не надо нам подобные утверждения за истину выдавать :) Лучше напишите - у меня найти не получилось, везде на платное попадаю. Тогда и ответы будут более лояльные, и пользы больше. Здесь же все не за ЗП сидят, а из собственных интересов.

Да и про парсинг Вы как-то уж размыто написали. Парсинг - это уже разбор полученного ответа, который предполагает, что запрос к сайту Вы уже умеете делать. И способов парсинга множестно: и стандартный разбор с помощью поиска подстрок, и регулярные выражения, и даже разбор схем XML если ответом от сайта является соответствующая структура. И никто Вам не будет все это разъяснять, т.к. это не просто объемная тема - она требует от Вас навыков и желания и к тому же всегда зависит от конкретных задач.

Ну вот как-то так...Старайтесь, учитесь, не ленитесь дважды подумать перед тем, как создать тему и задать вопрос. Это не будет лишним.
Даже самый простой вопрос можно превратить в огромную проблему. Достаточно не уметь формулировать вопросы...
 
The_Prist, спасибо, полезная статья, учту на будущее.
 
Специально зарегистрировался чтобы сказать самодовольным дятлам модерам админам, что форум ни о чем.
Человек пришёл за помощью, возможно мог остаться его участникам, а вы его тупо послали, это говорит о вашей недалекости.
Если форум посвящен чему то, это это что-то должно здесь обсуждаться, а не то, что вот я такой о%%енный, а ты иди учись.
Дятлы одним словом.
Можете банить.
Я всё сказал.
Страницы: 1 2 След.
Читают тему
Наверх
Loading...