Страницы: 1
RSS
Парсер объявлений о продаже недвижимости
 
Доброго времени суток!
Буду благодарен специалистам по excel, за совет, в каком направлении двигаться.

Планирую сделать парсер объявлений о продаже недвижимости. При этом парсить сами сайты не обязательно. Есть пара сервисов, которые парсят до 10 самых популярных сайтов и предоставляют доступ к результатам по API.

Интересует:
1. Возможно ли сделать, чтобы все объявления попадали в таблицу excel с помощью API ?
2. Можно ли потом делать выборку по параметрам (цена, площадь, адрес, количество комнат...)? При этом все красиво и понятно оформлено с кнопочками и полями для ввода данных.
3. Возможно ли сделать фильтры, например, по ключевым словам в объявлении, по номерам телефонов.... чтобы сделать разделение на объявления от риэлторов и частные объявления...
4. Есть ли возможность организовать выгрузку выбранных объявлений на сайт Wordpress? Т.е. в БД MySql?

Если это возможно, подскажите пожалуйста, какими средствами excel это лучше сделать? Я сейчас чайник в этом, но есть огромное желание самому во всем разобраться (с помощью книг и онлайн-курсов) и хотелось бы знать что изучать: VBA, Power Query, все вместе или что-то еще?
 
Цитата
Dniter написал:
1. Возможно ли сделать, чтобы все объявления попадали в таблицу excel с помощью API ?
да
Цитата
Dniter написал:
2. Можно ли потом делать выборку по параметрам (цена, площадь, адрес, количество комнат...)? При этом все красиво и понятно оформлено с кнопочками и полями для ввода данных.
да
Цитата
Dniter написал:
3. Возможно ли сделать фильтры, например, по ключевым словам в объявлении, по номерам телефонов.... чтобы сделать разделение на объявления от риэлторов и частные объявления...
да

Цитата
Dniter написал:
4. Есть ли возможность организовать выгрузку выбранных объявлений на сайт Wordpress? Т.е. в БД MySql?
да

у вас 4 да.
Вы выиграли "+" вам в карму.
 
Цитата
хотелось бы знать что изучать: VBA, Power Query, все вместе
всё вместе
причём, задача очень сложная (точнее, трудоёмкая), и изучать придётся очень долго и много всего разного

Изучением стоит заниматься, только если ваша цель - именно научиться, а не получить готовое решение
Я бы советовал всё-таки заказать готовое решение, нежели несколько месяцев тратить на обучение и попытки реализации (если начинать изучать всё это с нуля)

PS: Вот если вы захотите, например, улететь в соседний регион, — вы наверное, купите билет на самолёт, а не пойдёте на курсы пилотов. Вот и здесь примерно та же ситуация.
 
и  кросс
По вопросам из тем форума, личку не читаю.
 
Цитата
Игорь написал:
Изучением стоит заниматься, только если ваша цель - именно научиться, а не получить готовое решениеЯ бы советовал всё-таки заказать готовое решение, нежели несколько месяцев тратить на обучение и попытки реализации (если начинать изучать всё это с нуля)
Благодарю за ответ!
Согласен с Вами, именно так я и поступил ровно год назад. Только реализовано все было не в excel, а в Yii Framework. Пару месяцев все поработало с небольшими глюками, потом, после очередного обновления, половина функций вообще отвалились. А у разрабочика вдруг пропало время (или желание) заниматься дальше своим проектом, и он, уже с марта, все откладывает и переносит время, когда устранит все косяки. Я за это время самостоятельно сделал несколько настроек в коде, хоть и не программист. Сейчас он говорит, что зимой освободится. И это не фрилансер - у него даже патент имеется на сие чудо.

Поэтому, я решил все сделать сам, чтобы знать что откуда и куда, и как что-то изменить. Про то, что придется много изучить, конечно догадываюсь, но я к этому готов.

Цитата
ivanok_v2 написал:
у вас 4 да.Вы выиграли "+" вам в карму.
Я рад. Если это возможно сделать в принципе, значит это будет сделано. Либо самостоятельно, либо заказав готовое решение.
Думаю, что попробую 3-й вариант. Закажу готовое решение, но при этом параллельно буду изучать инструменты, на которых все будет реализовано. Остается найти исполнителя, который 100% справится с заданием, подскажет мне что изучать и с которым сойдемся на цене.

Скажите, пожалуйста, как это правильно сделать, не нарушив правила форума? Перенести тему в соответствующий раздел, или эту закрыть и создать новую?
 
Цитата
Закажу готовое решение, но при этом параллельно буду изучать инструменты, на которых все будет реализовано. Остается найти исполнителя, который 100% справится с заданием, подскажет мне что изучать и с которым сойдемся на цене.
Тема перенесена в ветку Работа
 
Решил разбить работу на этапы.
Для начала будет достаточно настроить поступление данных с сайта в таблицу excel через API. Все параметры для получения данных расписаны на сайте, который сообщу в личку.

Просьба отправлять Ваши предложения по цене и срокам.
 
ДОбрый день, вижу парни молчат.
Думаю, что могу вам помочь.
пишу в личку.
Идет переписка

Изменено: ivanok_v2 - 06.11.2018 12:18:33
 
ivanok_v2, огромное спасибо Вам за то, что раскрыли глаза на реальную картину того, что нужно сделать. Моя вина, что не совсем корректно описал весь объем работ по проекту в этой теме. Сейчас, как смог подробно, все описал на доске trello. К сожалению, не готов заплатить предложенную вами сумму. Прошу прощения, что потратили время! Не ожидал, что цена увеличится почти в 30 раз по сравнению с первоначальным вашим предложением, до того, как я подробно все расписал.

Задача следующая:
Есть БД MySQL, куда сейчас уже поступают объявления посредством API (на хостинге запускается cron и добавляет объявления каждые 5 минут). Т.е. 1-й этап, о котором писал выше в теме, можно сказать, что уже реализован, только нет вывода этих объявлений в excel. Нужно организовать выборку по параметрам этих объявлений и их фильрацию. с выводом результатов в excel. Причем такие файлы должны быть у каждого пользователя (риэлтора) со своим с доступом, который в любой момент можно исключить.

Как уже сказал, все по пунктам подробно расписал на доске "трелло". Ссылку, думаю, что здесь давать нельзя, поэтому предоставлю ее при запросе в личку.

Не уверен, но вполне вероятно, что можно все реализовать другим способом (или другими инструментами excel), чем предложил ivanok_v2.
Изменено: Dmiter - 06.11.2018 12:48:12
 
Dmiter,
Насчет цены, то вами сравнение идет отдельного парсера, об котором я писал вам цену,
с полностю готовым для вас комплексным решением.
Задача обьемная.
ИМХО: Точечное решение ТС не решит проблему.
Не претендую
 
Не могу не отметить то, как грамотно подошел к вопросу реализации моей задачи ivanok_v2, Описание того, как все должно быть реализовано заняло по объему в несколько раз больше места, чем описание задания. Видно, что человек имеет опыт в решении подобных задач, и было искренне приятно общаться с ним, как с профессионалом в своем деле. Думаю, надо брать деньги за консультации таких "чайников", как я :) . Теперь у меня достаточно ясно сложилась картина того, что мне нужно.
Не смотря на то, что мы не начали с ivanok_v2, работать над моим проектом, на опыте общения с ним (по телефону и в переписке), смело могу рекомендовать его для решения ваших задач в excel, также, как и просто обращаться к нему за консультацией!
 
Так вы решили вопрос или нет? :)
Если нет, то
Цитата
Dmiter написал:
Нужно организовать выборку по параметрам этих объявлений и их фильрацию. с выводом результатов в excel. Причем такие файлы должны быть у каждого пользователя (риэлтора) со своим с доступом, который в любой момент можно исключить.
Могу предложить свой вариант, не на excel. Почта в личке, welcome.
 
Благодарю за предложение. Все-таки хотелось бы сделать все в excel. Парсер не на excel у меня уже есть. Подробнее ответил на емайл.
 
Цитата
Dniter написал:
Привет! Я написал вам в ЛС. Видели?
 
Хомяк246, рано ещё Вам здесь зарабатывать.
 
Юрий М, вы правы! Ну так а я не зарабатывать. Я потратится хочу. :D  
 
Цитата
Игорь написал:
Вот если вы захотите, например, улететь в соседний регион, — вы наверное, купите билет на самолёт, а не пойдёте на курсы пилотов.
Прекрасная аналогия!
Цитата
Dmiter написал:
именно так я и поступил ровно год назад. Только реализовано все было не в excel, а в Yii Framework. Пару месяцев все поработало с небольшими глюками, потом, после очередного обновления, половина функций вообще отвалились.
То есть чел купил билет на самолёт. После взлёта лайнер немного трясло, потом от резких манёвров открылась дверь (наполовину) и отвалился хвост. Ну а так вообщем-то и ничего!
 
Цитата
Хомяк246 написал:
Привет! Я написал вам в ЛС. Видели?
Скрытый текст
Изменено: Dmiter - 12.11.2018 14:11:45
 
Dmiter, мы с вами занимаемся одной проблемой. И мы могли хотя бы обсудить сервисы парсинга. :D
Цитата
Dniter написал:
При этом парсить сами сайты не обязательно. Есть пара сервисов, которые парсят до 10 самых популярных сайтов
Вот. У вас наверное есть опыт работы с ними и у меня. Интересно же?   :D  Я работаю с inpars , cms-estate. Мне кажется в них excel есть по умолчанию. Но я не заморачивался с ним.
 
Хомяк246, Вам скучно стало? Пока устное предупреждение. Прекращайте флудить и людей отвлекать. Раздел Работа не для этого.
Хотите обсуждать - в личку (по сгласию собеседника).
 
Цитата
Jungl написал:
Могу предложить свой вариант, не на excel. Почта в личке, welcome.
Мне интересно!
Цитата
Dmiter написал:
Описание того, как все должно быть реализовано заняло по объему в несколько раз больше места,
ivanok_v2, я бы тоже почитал.
Цитата
Dmiter написал:
Сейчас, как смог подробно, все описал на доске trello. К сожалению, не готов заплатить предложенную вами сумму.
Если можно - мне тоже ссылку. Если задача меня заинтересует, я доплачу :D  
 
Цитата
Хомяк246 написал:
меня заинтересует, я доплачу
создавайте задачу, и может вам кто-то предложит помощь.
Цитата
Хомяк246 написал:
ivanok_v2 , я бы тоже почитал.
информация личная и без разрешения никто вам ее показывать не будет.
Цитата
Хомяк246 написал:
Мне интересно!
какой интерес ТС? ради вашего личного интереса?
Вы хоть понимаете, что фразой "Мне интересно!" хотите отнять время? ради чего?

несколько раз писали выше, читайте то, что вам пишут форумчане
наведу пример.
Цитата
Dmiter написал:
В ЛС вести переписку "не о чём" тоже некогда.
 
Цитата
ivanok_v2 написал:
какой интерес ТС? ради вашего личного интереса?Вы хоть понимаете, что фразой "Мне интересно!" хотите отнять время? ради чего?
Я не ТС писал, а вам. Я не отнять хотел время, а спасти уже отнятое. "Мне интересно" - это значит - я готов платить. Вы с ТС приходите к несостыковке по оплате. Я предлагаю решить. Например - взять часть оплаты на себя. Что я делаю не так?
Цитата
ivanok_v2 написал:
информация личная и без разрешения никто вам ее показывать не будет.
Личная инфа меня не интересует. Интересует ваше видение решения этой стандартной проблемы.

Но, начнём с того, что я не видел таких агрегаторов, которые бы собирали нужные мне 6 сайтов (avito.ru, irr.ru, realty.yandex.ru, cian.ru, youla.ru, moyareklama.ru)  и при этом не теряли от 10 до 50 %. То есть, я не понимаю, что, собственно вы будете заносить в таблицу)) Если, кто-то владеет инфой о таком сайте, готов купить адрес от 1000 р.
 
Хомяк246, сейчас в сети достаточно много парсеров сайтов. При желании можно найти тот, который более с дружественным интерфейсом, хорошей поддержкой, по доступной цене и с возможностью настройки парсера под ваши нужды за умеренную оплату (если самим некогда, или с нуля понять сложно что к чему, либо трудно составить алгоритм парсинга). По работе использую один парсер для мониторинга цен инет-магазинов на предмет цен ниже МРЦ, наш отдел е-коммерс использовал под свои кратковременные нужды другой парсер с пробным периодом 14 дней (вложились в него и не покупали) и без ограничений функционала. Если модераторы не против, то я выложу ссылки на оба ресурса или скину их Вам в ЛС.
Подчеркну, что самая трудная часть в парсере - это его настройка, которая состоит из двух этапов (ИМХО)
1) сбор целевых ссылок;
2) разбор содержимого по этим ссылкам.
Да, ещё на форуме читал о том, что некоторые используют Power Query для парсинга по уже имеющимся ссылкам.

Формула массива (ФМ) вводится Ctrl+Shift+Enter
Memento mori
 
Цитата
JayBhagavan написал:
выложу ссылки на оба ресурса или скину их Вам в ЛС.
Спасибо большое за ответ (пост)! Давайте конечно! Я с большим интересом посмотрю и протестирую. Как я не искал - я ничего путного не нашёл. И стал считать это нетривиальной задачей,  
 
Решайте вопрос в личке
Страницы: 1
Наверх