Обнаружение и доверие · глоссарий

Скрытая блокировка

Скрытая, или мягкая, блокировка — это внешне успешный ответ сайта на подозрение в автоматизации: код HTTP 200 и страница, на которой цены, объявления или результаты поиска отсутствуют, устарели, выбраны случайным образом либо заменены типовой версией. Обнаружить её сложнее, чем ошибку 403, поскольку формально запрос «выполнен». Единственный надёжный способ выявить такую блокировку — отслеживать само содержимое, а не только код состояния.

Время чтения: 1 минута Другие названия: мягкая блокировка, теневая блокировка, ухудшенный контент Обновлено:

Ошибки и устранение неполадок Все термины

Как обнаружить#

  • Сравните страницу, полученную через прокси, с той же страницей в обычном браузере из той же страны.
  • Проверяйте поля: пустой список цен или нулевое число объявлений — это сигнал, а не результат.
  • Отслеживайте долю «пустых» страниц для каждого типа выходных узлов при разной частоте запросов: её рост означает, что целевой ресурс изменил меры защиты.

Как реагировать#

Переведите запросы к ресурсу на более доверенный тип выходных узлов, снизьте частоту запросов с каждого узла, сохраняйте постоянство сессий и согласуйте цифровой отпечаток клиента. Относитесь к мягкой блокировке как к невидимой CAPTCHA.

Как это работает в HodlProxy#

HodlProxy тарифицирует число переданных байтов, а не запросов, поэтому стоимость страницы с ухудшенным содержимым зависит от её размера. Чтобы перевести запросы к ресурсу с серверных прокси на резидентские или с резидентских на мобильные, достаточно изменить имя хоста или параметр в той же учётной записи.

Начните, когда будете готовы

Проверьте на реальном запросе.

Создайте аккаунт, пополните баланс на $20 и отправьте запрос из краткого руководства к своему целевому ресурсу. Срок действия оплаченного трафика не ограничен.

Создать аккаунт Краткое руководство