Мониторинг цен · рекомендуем Резидентские
Розничные продавцы устанавливают цены по странам, регионам, а иногда и городам, а также показывают разным посетителям разные данные о наличии и условиях доставки. Система проверки из одного дата-центра видит только одну версию сайта, часто предназначенную для подозрительного трафика. Резидентские выходные узлы на каждом рынке показывают реальную витрину: цену для местного покупателя, доступный ему ассортимент и предназначенные для него акции.
01 — Какая сеть
Рекомендация полезна только с учётом компромиссов. В карточках ниже указано, с чем каждая сеть хорошо справляется в сценарии «мониторинг цен» и когда расходы на неё перестают быть оправданными.
Таргетинг по стране и городу через реальные домашние подключения возвращает локальные цены и наличие. Ротация IP позволяет незаметно выполнять ежедневный обход больших каталогов.
Для небольшого числа магазинов, которые часто проверяются из одной постоянной локации, статический ISP-адрес для каждого рынка обходится дешевле тарификации за ГБ.
Розничные сайты одними из первых блокируют диапазоны хостинг-провайдеров или показывают им другие цены; используйте серверные прокси только для собственных витрин.
Полезны только для цен, доступных в приложении, или специальных мобильных акций.
02 — Схема
Здесь приведены важные для сценария «мониторинг цен» параметры, а справа — рабочий пример. Замените USER и PASS учётными данными, полученными при регистрации.
// Один берлинский выходной узел с закреплённой сессией для всей работы с корзиной (5 минут)
const proxy = "http://USER-cc-de-city-berlin-sid-cart42-ttl-5m:[email protected]:9000";
const dispatcher = new ProxyAgent(proxy);
const product = await fetch(productUrl, { dispatcher });
const cart = await fetch(cartUrl, { dispatcher, method: "POST", body });
// одно домашнее подключение для обоих запросов: цена, доставка и наличие остаются согласованными03 — Бюджет
Стоимость за ГБ легко рассчитать, если известен размер страницы. Укажите месячный объём; средний размер предварительно заполнен реалистичным для этой задачи значением, которое можно изменить.
средний размер страницы товара (только HTML)
Шкала тарифов на резидентские прокси одинакова во всех странах. При покупке месячного объёма одним платежом применяется указанный тариф; меньшие пополнения рассчитываются по соответствующему им тарифу. Полная шкала.
04 — Рекомендации
Пул редко становится причиной проблем. Эти четыре правила определяют долю успешных запросов и итоговую сумму.
Цена, доставка и наличие должны быть получены в одной сессии: смена IP-адреса посреди сценария приводит к несогласованным строкам.
Записывайте страну, город и время выходного узла вместе с каждой ценой: скидка имеет смысл только с учётом аудитории.
Акции только для приложений и мобильных сайтов встречаются часто; их покажет мобильный выходной узел.
Метаданные товара меняются редко; повторно загружайте цены, а не описания, и экономьте трафик.
05 — Вопросы
Потому что для сайта вы разные посетители: у вас другая страна, класс устройства и история. Резидентские выходные узлы на отслеживаемом рынке показывают цену, которую действительно платят на этом рынке.
HTML страницы товара занимает от 200 до 400 КБ. Двести тысяч проверок в месяц по 300 КБ — это примерно 60 ГБ, около $105 по шкале цен на резидентские прокси.
Если вы проверяете несколько магазинов много раз в день из постоянных локаций, статический ISP-адрес для каждого рынка дешевле и проще. Для больших каталогов во многих странах лучше подходят резидентские прокси.
Да, из страны соответствующего маркетплейса. Крупные маркетплейсы строго оценивают посетителей, поэтому надёжная схема — резидентские прокси с ротацией IP и разумной частотой запросов к каждому домену.
Можно начинать
Создайте аккаунт, пополните баланс на $20 и испытайте приведённую выше схему на реальном целевом ресурсе. Неиспользованные средства останутся на балансе.