Поиск  Пользователи  Правила  Войти
Форумы "Планета Excel" » Вопросы по Microsoft Excel
Страницы: 1
RSS
Веб-запрос для экспорта нескольких таблиц со страниц, Возможность запроса с веб-страниц, отличающихся URL, данных таблиц с одинаковой шапкой
 
#1
24.07.2013 12:42:19
Здравствуйте, помогите пожалуйста в веб-запросе для экспорта данных со страниц официального сайта Минфин:
- для аудиторов = http://www1.minfin.ru/ru/accounting/reestr_audit/auditors/
- для аудиторских организаций = http://www1.minfin.ru/ru/accounting/reestr_audit/auditor_org/.

Сложность заключается в том, что эти данные раньше Минфином выкладывались в экселевском файле, теперь вот в таком постраничном режиме с пересщелкиванием. Возможно ли осуществить экспорт отображаемых (те данные, что расскрываются при нажатии на каждое поле НЕ НУЖНЫ, по большому счету) на странице данных в упорядоченную таблицу в excel (пускай даже и с повторам шапки, её можно будет потом вручную удалить).

При создании веб-запроса в файл с расширением ".iqy" просписываются следующие параметры запроса:

WEB
1
http://www1.minfin.ru/ru/accounting/reestr_audit/auditors/index.php?from4=1

Selection=10
Formatting=All
PreFormattedTextToColumns=True
ConsecutiveDelimitersAsOne=True
SingleBlockTextImport=True
DisableDateRecognition=False
DisableRedirections=False

Может быть здесь сделать значение "1" переменным или как-то задать диапозон просматриваемых страниц, чтобы запрос выполнялся со всех таблиц однотипных таблиц. Если создать много запросов, просто их получится слишком много,... Помогите пожалуйста реализовать эту задачу или хотя бы скажите на Вашем сайте могу ли я найти ответ, т.к. я не смог найти подходящей конструкции для решения моего вопроса.
 
 
 
#2
24.07.2013 16:08:00
это они любят, повысить юзабилити. структура сайта - тоже не айс, трудно зацепиться.
в общем написал пока для аудиторов - но долго получается за 5 мин. только 24 страницы выгрузил. если их там действительно 2325  то это на 8 часов работы (хотя можно в ночь запусить).  завтра для организаций посмотрю.

открыть файл, в 2007 -вкладка разработчик  - макросы - запустить макрос audit - ждать...
 
 
 
#3
24.07.2013 16:27:18
Большое спасибо, сейчас же посмотрю. Дай Бог Вам здоровья! Буду ждать материала по организациям. Есть жэ добрые люди на свете )))
 
 
 
#4
24.07.2013 16:47:54
добавил по организациям - макрос audit_org (выгрузка на лист audit_org) - тут листов меньше - побыстрее будет.
 
 
 
#5
24.07.2013 21:48:35
Так должно быть быстрее. На всем списке не проверял, на 25 страниц выгружает меньше чем за секунду.
 
 
 
#6
25.07.2013 09:16:25
to sva: очнь хороший вариант.
Странно, видимо все зависит от машины и от скорости подключения -
у меня нет через файервол с антивирусом через прокси сервер - ваш вариант работает так же - 5 страниц за минуту.
количество страниц - слишком жестко привязано к структуре сайта, если минфин добавит ссылку в шапку - надо будет переписывать макрос.  
как вариант - кол-во страниц через ноды XML, а остальное так и оставить.

В личку поступала хотелка (но у меня времени нет на это)- собирать подробную информацию по каждому аудитору (появляется при щелчке на строке таблицы). Тут тоже через xml будет проще реализовать.  

to человек с хотелкой: ваше письмо и мой ответ странным образом удалились из сообщений. МОжете озвучить свои желания в этой теме или создать новую в разделе "работа". возможно кто-нибудь откликнется.
 
 
 
#7
25.07.2013 12:10:04
Цитата
sva пишет:
Так должно быть быстрее. На всем списке не проверял, на 25 страниц выгружает меньше чем за секунду.

Роман, Вы знаете, у меня ничего с Вашим файлом не вышло, долго крутится колечко семерки и все. Не работает )
Изменено: Денис Кавун - 25.07.2013 12:10:32
 
 
 
#8
25.07.2013 13:00:36
Цитата
egonomist пишет:
добавил по организациям - макрос audit_org (выгрузка на лист audit_org) - тут листов меньше - побыстрее будет.

Подскажите пожалуйста как быстро перевести экспоненциальные значения в числовые без всяких + и Е ? После повторного ввода значения, если ячейка в текстовом формате, число выходит нужного вида, но каждую ячейку перещелкивать, это же мучение одно.
 
 
 
#9
25.07.2013 14:08:51
выделить столбец, ctrl+1 - формат - числовой
или ctrl+shift+1
 
 
 
#10
31.07.2013 15:04:56
Нет, это не помогает, ведь с форматами я разбираюсь. Просто почему-то при ссылке на эти ячейки (содержащие длинные числа) в моих вычислениях в другой книге не работает функция ВПР. Мне пришлось переводить все эти длинные числа в текстовый формат и проблема была решена. С этим я впервые столкнулся.

Я не знаю почему, но сегодня Ваш замечательный макрос отказывается полноценно работать. Решил скачать обновленные на 29 июля данные, а он (макрос, зараза!) выводит значения только частично, останавливаясь на неопределенном моменте и дальше ни в какую. перегружал файл, комп, сам макрос несколько раз, но не тут то было. Скачивание может закончится в любой момент. Максимально дошел до буквы "С", потом все хуже. Может проблема не в макросе, а в какой-нибудь загруженности сайта? Есть ли возможность кусками скачивать большой объем данных при невозможности решить данную проблему? СПАСИБО еще раз. Буду ждать ответа )
 
 
 
#11
31.07.2013 16:26:45
Добрый день, почему то
ReadyState Internet Explorer зависает на значении занять (4).
добавил в код опроса ослика счетчик - jj = 0
Код
Do While oIE.busy Or (oIE.ReadyState <> 4) Or jj < 15000: DoEvents: jj = jj + 1: Loop

у меня это 4 секунды задержки между листами, (в среднем на это время может зависнуть сеть на моем компе), у вас может быть все быстрее, так что этот счетчик можно менять.

Теоретически, каждое обращение к страничке это создание нагрузки на сервер сайта. Если все жители planetы запустят этот макрос в одно время, то сайт минфина может упасть.
для того чтобы это все не выглядело как DDOS атака - обратитесь к администрации сайта, пусть выкладывают нормальные файлы. а то Бардак какой-то!
Изменено: egonomist - 31.07.2013 16:27:55 (самомодерирование)
 
 
 
#12
31.07.2013 16:57:57
Цитата
egonomist пишет:
Добрый день, почему то
ReadyState Internet Explorer зависает на значении занять (4).
добавил в код опроса ослика счетчик - jj = 0

Золотые руки. Прямо хочется у Вас уроки взять ))) Попробую, разрешите к Вам обратиться снова если не получится. Спасибо.
 
 
 
Страницы: 1
Читают тему
Наверх