Агрегация туристических тарифов · рекомендуем Резидентские
Авиакомпании и онлайн-турагентства формируют цены по точке продаж и защищают системы бронирования строже почти любой другой отрасли: диапазоны хостинг-провайдеров блокируются, повторные поиски с одного адреса ограничиваются, а некоторые перевозчики показывают недоверенному трафику более высокие тарифы. Для точной агрегации каждый поиск должен выглядеть как новый местный посетитель.
01 — Какая сеть
Рекомендация полезна только с учётом компромиссов. В карточках ниже указано, с чем каждая сеть хорошо справляется в сценарии «агрегация туристических тарифов» и когда расходы на неё перестают быть оправданными.
Домашние выходные узлы с ротацией IP в стране каждой точки продаж возвращают местный тариф и позволяют масштабно обходить защиту систем бронирования.
Некоторые тарифы доступны только в приложениях, существуют и мобильные акции; выходные узлы операторов связи позволяют их увидеть.
Несколько статических IP на рынок для мониторинга отдельных маршрутов с небольшим объёмом запросов.
Большинство систем бронирования блокирует их или показывает завышенные тарифы.
02 — Схема
Здесь приведены важные для сценария «агрегация туристических тарифов» параметры, а справа — рабочий пример. Замените USER и PASS учётными данными, полученными при регистрации.
// Ищем один маршрут из трёх точек продаж
for (const pos of ["gb", "de", "jp"]) {
const dispatcher = new ProxyAgent(`http://USER-cc-${pos}:[email protected]:9000`);
const res = await fetch(searchUrl(route, date), { dispatcher, headers: { "Accept-Language": lang[pos] } });
fares.push({ pos, ...(await res.json()) });
}03 — Бюджет
Стоимость за ГБ легко рассчитать, если известен размер страницы. Укажите месячный объём; средний размер предварительно заполнен реалистичным для этой задачи значением, которое можно изменить.
средняя страница результатов (HTML/JSON, тяжёлые системы)
Шкала тарифов на резидентские прокси одинакова во всех странах. При покупке месячного объёма одним платежом применяется указанный тариф; меньшие пополнения рассчитываются по соответствующему им тарифу. Полная шкала.
04 — Рекомендации
Пул редко становится причиной проблем. Эти четыре правила определяют долю успешных запросов и итоговую сумму.
Тариф для Великобритании получают через домашний выходной узел в Великобритании; указывайте эту точку продаж для каждого результата.
Трафик агрегации не должен доходить до оплаты; процессы должны оставаться только для чтения.
Системы бронирования загружают мегабайты скриптов; по возможности обращайтесь к конечной точке тарифов, а не загружайте всё приложение.
Сравнивайте с проверенной контрольной выборкой: недоверенному трафику иногда показывают завышенные цены вместо блокировки.
05 — Вопросы
На предложение влияют точка продаж, валюта и уровень доверия. Резидентские выходные узлы в целевой стране возвращают тариф, доступный именно этой стране.
Страницы результатов тяжёлые и часто занимают от 0.5 до 2 МБ. Сто пятьдесят тысяч поисков по 900 КБ — это около 135 ГБ, примерно $208 по шкале цен на резидентские прокси; прямые запросы к конечным точкам тарифов могут сократить объём вдвое.
Да: добавьте -sid- и -ttl-10m, чтобы результаты, правила тарифа и карты мест загружались через один домашний выходной узел.
Сбор общедоступных тарифов — распространённый законный сценарий. Автоматическое бронирование, искусственное удержание доступных мест и обход средств контроля доступа запрещены.
Можно начинать
Создайте аккаунт, пополните баланс на $20 и испытайте приведённую выше схему на реальном целевом ресурсе. Неиспользованные средства останутся на балансе.