Ротация при каждом подключении и по таймеру#
Большинство шлюзов выполняют ротацию при каждом подключении: каждое новое TCP-соединение получает новый выходной узел, а запросы, повторно использующие соединение keep-alive, остаются на прежнем. При ротации по таймеру выходной узел сохраняется N минут для всех подключений с общим идентификатором сессии, а затем меняется. Оба режима обычно задаются в имени пользователя, поэтому одна и та же учётная запись может выбирать любой из них для каждого запроса.
Чего ротация не делает#
- Она не делает краулер вежливым: сотни запросов в секунду по-прежнему поступают на целевой ресурс, только с множества адресов. Поддерживайте разумную частоту запросов к каждому домену.
- Она не скрывает цифровые отпечатки браузера, файлы cookie или идентификационные данные учётной записи: они сохраняются при смене IP-адресов.
- Она не гарантирует смену страны: без параметра местоположения следующий выходной узел может находиться где угодно в пуле.
Как работает ротационный прокси#
- Клиент подключается к одному хосту шлюза с одной парой учётных данных.
- Для каждого нового соединения шлюз выбирает из пула выход, соответствующий запрошенной локации.
- Запрос уходит с этого выхода; сайт видит IP выхода, а не ваш и не шлюза.
- Следующее соединение получает другой выход, если идентификатор сессии не просит шлюз сохранить прежний.
Стратегии ротации#
| Стратегия | Как получить | Подходит для |
|---|---|---|
| Новый IP на каждый запрос | Открывать новое соединение на запрос (без keep-alive) | Поисковая выдача, карточки товаров, всё с лимитами на IP |
| Закреплён на несколько минут | Тот же ID сессии с коротким TTL | Постраничные списки, многошаговые формы |
| Закреплён на часы | Тот же ID сессии с длинным TTL | Сессии с авторизацией, корзины, медленный обход |
| Смена при ошибке | Менять ID сессии после блокировки или капчи | Высокая доля успеха без «выжигания» пула |
# Новый выход на каждом соединении
curl -x http://USER-cc-us:PASS@res.hodlproxy.com:9000 https://api.ipify.org
# Один и тот же выход 30 минут, сколько бы ни было соединений
curl -x http://USER-cc-us-sid-job42-ttl-30m:PASS@res.hodlproxy.com:9000 https://api.ipify.orgРотационные и статические прокси#
Ротация распределяет нагрузку по множеству адресов, и лимиты на IP перестают мешать; статический прокси сохраняет одну идентичность неделями. Пулы с ротацией оплачиваются за гигабайт (у нас резидентские от $2.45/ГБ, мобильные от $2.62/ГБ), статические адреса — за IP и срок.
Как это работает в HodlProxy#
В HodlProxy ротация используется по умолчанию: не указывайте -sid-, и каждое новое подключение к res.hodlproxy.com или mob.hodlproxy.com будет выходить через новый узел. Добавьте -sid- и -ttl-, чтобы закрепить один выходной узел на срок от 1 минуты до 24 часов.
Часто задаваемые вопросы#
Каждый ли запрос получает новый IP-адрес?
Каждое новое подключение получает новый адрес. HTTP-клиенты, повторно использующие соединения (keep-alive), отправляют несколько запросов через одно соединение и, следовательно, один выходной узел; если для каждого запроса нужен новый IP-адрес, закройте соединение или отключите keep-alive.
Как часто ротационный прокси меняет IP?
По умолчанию на каждом новом соединении. С идентификатором сессии один выход сохраняется на заданное время — в HodlProxy от минуты до 24 часов — или пока устройство за ним не уйдёт в офлайн.
Можно ли сохранить один IP на ротационном прокси?
Да, через закреплённую сессию: добавьте в логин ID сессии (и время жизни), и каждое соединение с этим ID будет выходить с одного адреса.
Ротационные прокси — резидентские?
Обычно да, но не обязательно. Резидентские и мобильные пулы — типичные ротационные продукты; некоторые провайдеры ротируют и серверные IP, которые дешевле и легче распознаются.
Насколько велик пул ротационных прокси?
Провайдеры считают уникальные адреса, замеченные за месяц. HodlProxy публикует 70M+ резидентских и 4.9M+ мобильных IP с основанием каждой цифры на страницах цен и продуктов.