Перейти к основному содержимому
    Сбор данных и мониторинг цен

    Мобильные прокси для парсинга

    Парсеру нужен адрес, который сайт не отсечёт на первой сотне запросов. Внешний IP сотового оператора делят сотни абонентов, поэтому блокировать его сайту невыгодно. В Mobihub прокси работают на ваших телефонах: IP меняется по ссылке из скрипта или по таймеру, HTTP и SOCKS5 доступны на одном порту.

    от 3 мин
    интервал автосмены IP по таймеру
    1 ссылка
    смена IP из вашего скрипта
    HTTP + SOCKS5
    на одном порту
    100 Мбит/с
    скорость на тарифе Professional
    Схема: три телефона с SIM-картами отдают данные парсеру, у одного ответ 429 сменился на 200 после смены IP

    Почему парсер упирается в блокировки

    Сайты считают запросы с каждого адреса. Подсети дата-центров давно собраны в списки, и защищённый сайт часто встречает такой IP капчей на первом же запросе. Даже чистый адрес после сотен обращений получает ответ 429 или страницу проверки.

    Мобильный адрес блокировать дороже: за ним стоят обычные абоненты оператора. Если лимит всё-таки исчерпан, IP меняется по ссылке: телефон на несколько секунд уходит в авиарежим и возвращается в сеть с новым адресом от оператора.

    Для объёма нужен пул из нескольких телефонов. Скрипт ниже раздаёт адреса страниц по прокси и меняет IP только у той, что получила блокировку, пока остальные продолжают работать.

    Цена

    Пул из пяти телефонов на месяц

    Виджет открыт на Professional, пяти устройствах и 30 днях. Для парсинга главное отличие тарифа в скорости: до 100 Мбит/с вместо 5 Мбит/с на Beginner. С пяти устройств действует скидка за количество, себестоимость одного прокси видна в строке «За устройство / месяц».

    Тарифный план
    Количество устройств5
    Подключите ещё 5 устройств(а) — и стоимость одного устройства снизится на 12%.
    При увеличении количества устройств и длительности подписки стоимость одного устройства становится выгоднее.
    Период оплаты
    Что входит
    HTTP, SOCKS5 и UDPСмена IP по ссылкеАвторизация по логину и IPСписок допустимых адресовЛимиты трафика и потоковДоступ к API
    Итого
    $32.90
    за 30 дней · 5 устройств
    Цена в сутки$1.10
    За устройство / месяц$6.58
    Скидка за объём−6%
    Оплата от 1 дня, без автопродления
    Инструкция

    Как подключить пул к парсеру

    Порядок один для двух телефонов и для двадцати.

    1. Подключите телефоны

      Установите Mobihub на Android-телефоны с SIM-картами двух-трёх операторов и создайте на каждом прокси на тарифе Professional.

    2. Включите «Уникальный IP»

      При смене адреса телефон делает несколько попыток, пока не получит IP, которого у этой прокси ещё не было; число попыток задаётся в настройках. Парсер реже попадает на адрес, который сайт недавно заблокировал.

    3. Соберите proxies.csv

      Для каждой прокси возьмите в кабинете адрес подключения и ссылку смены IP. В файле три колонки: name, proxy и rotate_url.

    4. Задайте темп

      Начните с паузы в две-три секунды между запросами через один телефон и увеличивайте её, если блокировок много. Частая смена IP не заменяет спокойный темп.

    5. Запустите скрипт и смотрите сводку

      В results.jsonl попадает каждая попытка. В конце скрипт печатает по каждой прокси число запросов, блокировок и смен IP.

    Рабочий код

    Скрипт: парсинг через пул с ротацией по блокировке

    Скрипт раздаёт адреса из urls.txt по прокси из proxies.csv, по одному потоку на телефон. Ответ 403, 429 или страница с капчей считается блокировкой: адрес возвращается в очередь, cookie сбрасываются, а у этой прокси вызывается ссылка смены IP. Скрипт дожидается нового адреса и продолжает, остальные телефоны в это время работают. Если IP сменить не удалось, телефон выходит из пула, и его адреса забирают остальные. Ссылки на reCAPTCHA в коде страницы блокировкой не считаются: скрипт ищет текст проверки, который видит человек.

    Сводка скрипта по пулу прокси: запросы, блокировки и смены IP по каждому телефону
    pool_scraper.pyPython
    import csv
    import json
    import queue
    import random
    import re
    import threading
    import time
    from concurrent.futures import ThreadPoolExecutor
    from datetime import datetime, timezone
    
    import requests
    
    PROXIES_FILE = "proxies.csv"
    URLS_FILE = "urls.txt"
    RESULTS_FILE = "results.jsonl"
    IP_ECHO = "https://api.ipify.org"
    BLOCK_CODES = {403, 429}
    BLOCK_PHRASES = ("verify you are human", "are you a robot", "unusual traffic", "access denied", "не робот")
    PAUSE = (1.5, 3.5)
    MAX_ATTEMPTS = 3
    ROTATE_TIMEOUT = 90
    REFUSED_WAIT = 60
    ROTATE_TRIES = 3
    HEADERS = {
        "User-Agent": "Mozilla/5.0 (Linux; Android 13; Pixel 7) AppleWebKit/537.36 "
        "(KHTML, like Gecko) Chrome/126.0 Mobile Safari/537.36",
    }
    
    write_lock = threading.Lock()
    
    
    def exit_ip(session):
        try:
            return session.get(IP_ECHO, timeout=15).text.strip()
        except requests.RequestException:
            return None
    
    
    def request_change(proxy):
        for attempt in range(ROTATE_TRIES):
            if attempt:
                time.sleep(REFUSED_WAIT)
            try:
                answer = requests.get(proxy["rotate_url"], timeout=15).json()
            except (requests.RequestException, ValueError):
                answer = {}
            if answer.get("result") == "Success":
                return True
        return False
    
    
    def rotate(proxy, session):
        previous = exit_ip(session)
        if not request_change(proxy):
            return False
        deadline = time.time() + ROTATE_TIMEOUT
        while time.time() < deadline:
            time.sleep(5)
            current = exit_ip(session)
            if current and current != previous:
                return True
        return False
    
    
    def visible_text(html):
        html = re.sub(r"(?is)<(script|style)\b.*?</\1>", " ", html[:20000])
        return re.sub(r"<[^>]+>", " ", html).lower()
    
    
    def blocked(response):
        if response.status_code in BLOCK_CODES:
            return True
        text = visible_text(response.text)
        return any(phrase in text for phrase in BLOCK_PHRASES)
    
    
    def handle(session, proxy, stats, tasks, url, attempt):
        record = {
            "at": datetime.now(timezone.utc).isoformat(timespec="seconds"),
            "url": url,
            "proxy": proxy["name"],
            "attempt": attempt,
        }
        retry = False
        usable = True
        try:
            response = session.get(url, timeout=30)
            stats["requests"] += 1
            record["status"] = response.status_code
            if blocked(response):
                stats["blocks"] += 1
                record["state"] = "blocked"
                retry = True
                session.cookies.clear()
                if rotate(proxy, session):
                    stats["rotations"] += 1
                else:
                    usable = False
            else:
                record["state"] = "ok"
                record["bytes"] = len(response.content)
        except requests.RequestException as error:
            record["state"] = f"error: {type(error).__name__}"
            retry = True
        if retry and attempt < MAX_ATTEMPTS:
            tasks.put((url, attempt + 1))
        return record, usable
    
    
    def worker(proxy, tasks, results):
        session = requests.Session()
        session.proxies = {"http": proxy["proxy"], "https": proxy["proxy"]}
        session.headers.update(HEADERS)
        stats = {"name": proxy["name"], "requests": 0, "blocks": 0, "rotations": 0}
        while True:
            try:
                url, attempt = tasks.get(timeout=1)
            except queue.Empty:
                if tasks.unfinished_tasks == 0:
                    return stats
                continue
            try:
                record, usable = handle(session, proxy, stats, tasks, url, attempt)
            finally:
                tasks.task_done()
            with write_lock:
                results.write(json.dumps(record, ensure_ascii=False) + "\n")
                results.flush()
            if not usable:
                print(f"{proxy['name']}: IP did not change, the proxy leaves the pool")
                return stats
            time.sleep(random.uniform(*PAUSE))
    
    
    def main():
        with open(PROXIES_FILE, newline="") as f:
            pool = list(csv.DictReader(f))
        tasks = queue.Queue()
        with open(URLS_FILE) as f:
            for line in f:
                if line.strip():
                    tasks.put((line.strip(), 1))
    
        with open(RESULTS_FILE, "a") as results, ThreadPoolExecutor(len(pool)) as executor:
            summary = list(executor.map(lambda proxy: worker(proxy, tasks, results), pool))
    
        print(f"{'proxy':<12}{'requests':>10}{'blocks':>8}{'rotations':>11}")
        for row in summary:
            print(f"{row['name']:<12}{row['requests']:>10}{row['blocks']:>8}{row['rotations']:>11}")
        if tasks.qsize():
            print(f"{tasks.qsize()} URLs left: every proxy in the pool is blocked")
    
    
    if __name__ == "__main__":
        main()

    Ссылка смены IP отвечает кодом 200 и пишет в теле Success или Failure. Failure приходит, например, на слишком частую смену: скрипт ждёт минуту и пробует ещё два раза. Пока телефон в авиарежиме, его прокси недоступна, поэтому смена занимает десятки секунд.

    Тарифы

    Какой тариф брать для парсинга

    Разница между тарифами для парсинга сводится к скорости и экономии трафика.

    Beginner

    Проверить сайт и отладить скрипт

    Скорости до 5 Мбит/с хватает, чтобы посмотреть, как сайт реагирует на мобильный адрес, и отладить парсер на небольшом списке страниц.

    • $4 за устройство на 30 дней
    • Скорость до 5 Мбит/с
    • Смена IP по ссылке и по таймеру
    • Вход по логину или списку IP
    Выбрать Beginner
    Полное сравнение тарифов
    Советы

    Как собирать данные и не сжигать адреса

    Только открытые данные

    Собирайте то, что сайт показывает без входа, соблюдайте его правила и законы о персональных данных. Смена адреса не делает запрещённый сбор законным.

    Пауза важнее ротации

    Сайт замечает темп раньше, чем адрес. Случайная пауза между запросами снижает число блокировок сильнее, чем частая смена IP.

    Cookie живут с адресом

    Если сайт выдаёт cookie при первом заходе, держите их в сессии одной прокси и сбрасывайте вместе со сменой IP. Cookie, выданные одному адресу и пришедшие с другого, выглядят подозрительно.

    Разные операторы в пуле

    SIM-карты двух-трёх операторов дают адреса из разных подсетей, и пул не встанет целиком, если у одного оператора начнутся проблемы.

    Только нужные байты

    Страница с картинками и скриптами весит мегабайты. Запрашивайте HTML или API сайта без лишних ресурсов, а на Professional поставьте лимит трафика на подключение.

    FAQ

    Вопросы и ответы

    Как часто можно менять IP по ссылке?

    Смена длится время авиарежима, от 1 до 20 секунд, плюс около 20 секунд на переподключение телефона. Слишком частые запросы ссылка отклоняет ответом Failure. Автосмену по таймеру можно поставить с интервалом от трёх минут.

    Сколько потоков парсера пускать через один телефон?

    Начните с одного-двух. Скорость упирается в мобильную сеть, а сайт видит все потоки с одного адреса и быстрее его ограничивает. Объём лучше наращивать числом телефонов в пуле. На Professional можно ограничить число одновременных соединений каждому подключению.

    Работают ли прокси с Selenium и Playwright?

    Да. Playwright принимает адрес, логин и пароль прокси в настройках запуска браузера. Для Selenium проще добавить IP своего сервера в список допустимых и подключаться к прокси без пароля.

    Можно ли парсить сайты, которые открываются только из одной страны?

    Да, если телефон с SIM-картой местного оператора работает в этой стране: сайт видит адрес оператора. Если своего телефона там нет, мобильный прокси нужной страны можно арендовать на маркетплейсе Mobihub.

    Почему после смены IP сайт продолжает блокировать?

    Сайт может узнавать парсер не только по адресу: по cookie, заголовкам, отпечатку браузера и темпу запросов. Сбрасывайте сессию вместе со сменой IP, проверьте User-Agent и увеличьте паузу. Если блокировка держится на всех адресах, ограничен сам сценарий сбора.

    Чем мобильный прокси для парсинга лучше серверного?

    Серверный прокси дешевле и быстрее, но многие защищённые сайты ограничивают подсети дата-центров целиком. Мобильный адрес делят обычные абоненты оператора, поэтому его блокируют реже. Для сайтов без защиты хватит серверных адресов, для защищённых мобильные экономят время на капчах и повторах.
    Решения

    Мобильные прокси под другие задачи

    Мобильные прокси для InstagramСвой IP на каждую сессию и журнал входов для SMM-команды.Мобильные прокси для FacebookЧистый адрес для рекламных кабинетов и аудит пула вашей SIM.Мобильные прокси для TikTokРегион аккаунта по месту телефона и сверка гео перед публикацией.Мобильные прокси для АвитоАдрес оператора из вашего региона и проверка объявлений по расписанию.Мобильные прокси для антидетект-браузеровГотовые списки для импорта в Dolphin Anty, Octo, AdsPower и другие.Мобильные прокси для TelegramСвой адрес оператора под аккаунты и готовые t.me/socks-ссылки.Мобильные прокси для Google AdsКабинеты клиентов на разных адресах и проверка посадочных с мобильной сети.Мобильные прокси для YouTubeКаналы клиентов на разных адресах и проверка видео в стране аудитории.Мобильные прокси для SEOМобильная выдача из региона телефона и проверка сайта у разных операторов.Мобильные прокси для перепродажиОтдельный доступ и лимиты на каждого покупателя, отчёт по арендам и оплатам.Заработок на мобильных прокси через маркетплейсКаталог приводит покупателей, аренда поминутная, доход выводится в USDT.Заработок на старом телефонеСтарый Android с SIM-картой сдаётся в аренду как мобильный прокси.Своя ферма мобильных проксиТелефоны, SIM-карты, питание, расходы и мониторинг стойки.

    Проверьте свой сайт на мобильном IP

    Новым клиентам поддержка включает 24 часа бесплатного доступа. Подключите телефон, запустите скрипт на небольшом списке страниц и посмотрите, сколько блокировок останется.