Веб-скрейпинг · рекомендуем Резидентские
Краулер с одного адреса легко обнаружить: сотни запросов в минуту из диапазона хостинг-провайдера, отсутствие истории браузера и один и тот же цифровой отпечаток при каждом обращении. Целевые сайты отвечают ограничениями частоты запросов, CAPTCHA, пустыми страницами или скрытыми блокировками. Пул резидентских прокси превращает этот поток в тысячи обычных посетителей из нужных вам стран, поэтому вы собираете именно те данные, которые увидел бы реальный пользователь.
01 — Какая сеть
Рекомендация полезна только с учётом компромиссов. В карточках ниже указано, с чем каждая сеть хорошо справляется в сценарии «веб-скрейпинг» и когда расходы на неё перестают быть оправданными.
Ротация IP при каждом запросе между реальными домашними подключениями помогает обходить ограничения частоты и антибот-проверки. Таргетинг по городу и ASN позволяет видеть то же, что местные пользователи. Оплата за ГБ, трафик не сгорает.
Самый дешёвый вариант в пересчёте на запрос для ресурсов, которые не распознают диапазоны хостинг-провайдеров: общедоступных API, файлов Sitemap, ваших собственных сайтов и слабо защищённых каталогов.
Нужны только тогда, когда для обхода требуется вход в аккаунт с сохранением одного адреса; иначе вы платите за стабильность, которой не пользуетесь.
Избыточны для большинства задач сбора данных, но подходят как запасной вариант для ресурсов, блокирующих все остальные типы прокси.
02 — Схема
Здесь приведены важные для сценария «веб-скрейпинг» параметры, а справа — рабочий пример. Замените USER и PASS учётными данными, полученными при регистрации.
import requests
proxy = "http://USER-cc-us:[email protected]:9000"
session = requests.Session()
session.proxies = {"http": proxy, "https": proxy}
for url in urls:
r = session.get(url, timeout=30) # новое домашнее подключение из США при каждом запросе
if r.status_code in (403, 429):
r = session.get(url, timeout=30) # одна повторная попытка: выходной узел уже другой
parse(r.text)03 — Бюджет
Стоимость за ГБ легко рассчитать, если известен размер страницы. Укажите месячный объём; средний размер предварительно заполнен реалистичным для этой задачи значением, которое можно изменить.
средний размер страницы (только HTML)
Шкала тарифов на резидентские прокси одинакова во всех странах. При покупке месячного объёма одним платежом применяется указанный тариф; меньшие пополнения рассчитываются по соответствующему им тарифу. Полная шкала.
04 — Рекомендации
Пул редко становится причиной проблем. Эти четыре правила определяют долю успешных запросов и итоговую сумму.
Собирайте данные немецкого магазина через домашние подключения из Германии: смешение локаций запускает проверки согласованности и искажает цены.
Многостраничные сценарии (поиск, затем страницы результатов) лучше работают несколько минут через один выходной узел с закреплённой сессией, чем с новым IP-адресом на каждом шаге.
Блокируйте изображения, шрифты и трекеры в браузерах без графического интерфейса: вы платите за ГБ, а HTML составляет лишь малую часть страницы.
Ограничивайте частоту запросов для каждого домена, соблюдайте robots.txt там, где он применим, и не собирайте персональные данные без законных оснований для их хранения.
05 — Вопросы
Начните с серверных прокси, если целевой ресурс не запускает проверки: это самый дешёвый вариант в пересчёте на запрос. Как только появятся CAPTCHA, ответы 403 или урезанный контент, переведите эту цель на резидентские прокси; оплата за ГБ обеспечивает более высокую долю успешных запросов.
Один только HTML обычно занимает от 100 до 500 КБ на страницу. Полмиллиона страниц по 350 КБ — это около 170 ГБ, которые стоят примерно $262 по шкале цен на резидентские прокси. Браузеры без графического интерфейса, загружающие изображения, могут увеличить расход в пять раз, поэтому блокируйте их.
Сбор общедоступных данных разрешён. Атаки на сайты, обход аутентификации и сбор персональных данных без законных оснований запрещены; правила допустимого использования применяются в обязательном порядке.
Да, в одной и той же учётной записи. Не указывайте параметры сессии для ротации; добавляйте -sid- и -ttl- в запросы, которые должны использовать общий IP-адрес.
Она гораздо сильнее зависит от целевого ресурса, чем от пула. Корректно настроенные краулеры на резидентских выходных узлах обычно успешно выполняют подавляющее большинство запросов; остальные повторяются с новым IP-адресом без дополнительных затрат, кроме переданных байтов.
Можно начинать
Создайте аккаунт, пополните баланс на $20 и испытайте приведённую выше схему на реальном целевом ресурсе. Неиспользованные средства останутся на балансе.