Резидентские прокси: как работает пул и как с ним работать.

Краткий обзор#

Эндпоинт

res.hodlproxy.com на порту 9000 (HTTP/HTTPS) и 9001 (SOCKS5)

Выходные узлы

Реальные устройства с потребительским подключением, используемые с согласия владельцев, в 199 странах

Ротация IP

Новый выходной узел при каждом новом подключении или один узел, закреплённый с помощью -sid- на срок до 24 часов

Таргетинг

Страна — везде, штат США, город при наличии в списке, ASN

Оплата

За ГБ по уровню тарифа покупки, от $2.45 до $0.95; трафик не сгорает

Одновременная работа

Неограниченное количество подключений и сессий

Как работает пул#

Каждый запрос поступает на шлюз, который выбирает устройство по заданным параметрам и направляет через него подключение. Целевой ресурс видит адрес устройства, его ISP и город. Устройства входят в пул и выходят из него, когда их владельцы подключаются и отключаются, поэтому закреплённая сессия может завершиться раньше заданного срока, а при очень узком таргетинге иногда не находится ни одного устройства онлайн.

Ротация IP и закреплённые сессии#

По умолчанию используется ротация IP: каждое новое подключение к шлюзу получает другой выходной узел. Добавьте -sid-, чтобы закрепить один узел, и -ttl-, чтобы задать срок закрепления (по умолчанию 10 минут, максимум 24 часа). Многоэтапные сценарии, например поиск с последующим переходом по страницам или вход с последующим действием, следует выполнять в закреплённой сессии; для независимых запросов подходит ротация IP. Подробности и примеры приведены в разделе Таргетинг и сессии.

Уровни таргетинга#

За что вы платите#

В учитываемый трафик входит каждый байт, проходящий через шлюз в обоих направлениях: запрос и ответ, включая заголовки и записи TLS. Подключения, завершившиеся ошибкой до обращения к целевому ресурсу, не оплачиваются. Тариф определяется объёмом покупки: при единовременной покупке 100 ГБ стоимость составляет $1.54 за ГБ, и этот тариф применяется ко всей покупке. Трафик остаётся на аккаунте до использования; ежемесячного обнуления нет. Полная шкала приведена в разделе Кошелёк и оплата.

Ожидаемая производительность#

• Пропускная способность соответствует домашнему подключению: её достаточно для страниц, API и медиаконтента, но при передаче больших объёмов данных она ниже, чем у проводного подключения в дата-центре. Установите для клиентов тайм-аут подключения не менее 10 секунд и тайм-аут чтения 30 секунд.
• Задержка включает дополнительный сетевой переход до устройства. Она будет на несколько сотен миллисекунд больше, чем при прямом запросе, и ещё выше для удалённых стран.
• Небольшая доля подключений завершается ошибкой, потому что устройство отключается во время запроса. При ошибке подключения или 502 повторите попытку один раз; при ротации IP повторный запрос уже использует другой выходной узел.

Рекомендации#

• Выбирайте выходной узел в соответствии с рынком: собирайте данные немецкого магазина через -cc-de, а не через соседнюю страну.
• Не устанавливайте для закреплённых сессий срок дольше, чем требуется сценарию. При большом сроке вероятность успеха снижается, поскольку устройства подключаются и отключаются.
• Ограничивайте темп запросов отдельно для каждого домена. С вашей стороны ограничений нет, а умеренная частота запросов помогает поддерживать качество пула для всех, в том числе для ваших последующих задач.
• Блокируйте изображения, шрифты и трекеры в браузерах без интерфейса: HTML составляет лишь небольшую часть страницы, а вы платите за ГБ.
• Перед сужением параметров задачи проверьте доступные города и провайдеров на страницах стран.

См. также#