Перейти до основного вмісту
    Збір даних і моніторинг цін

    Мобільні проксі для парсингу

    Парсеру потрібна адреса, яку сайт не відсіче на першій сотні запитів. Зовнішній IP стільникового оператора ділять сотні абонентів, тому блокувати його сайту невигідно. У Mobihub проксі працюють на ваших телефонах: IP змінюється за посиланням зі скрипта або за таймером, HTTP і SOCKS5 доступні на одному порту.

    від 3 хв
    інтервал автозміни IP за таймером
    1 посилання
    зміна IP з вашого скрипта
    HTTP + SOCKS5
    на одному порту
    100 Мбіт/с
    швидкість на тарифі Professional
    Схема: три телефони із SIM-картками віддають дані парсеру, в одного відповідь 429 змінилася на 200 після зміни IP

    Чому парсер упирається в блокування

    Сайти рахують запити з кожної адреси. Підмережі дата-центрів давно зібрані в списки, і захищений сайт часто зустрічає такий IP капчею на першому ж запиті. Навіть чиста адреса після сотень звернень отримує відповідь 429 або сторінку перевірки.

    Мобільну адресу блокувати дорожче: за нею стоять звичайні абоненти оператора. Якщо ліміт усе-таки вичерпано, IP змінюється за посиланням: телефон на кілька секунд іде в режим польоту і повертається в мережу з новою адресою від оператора.

    Для обсягу потрібен пул із кількох телефонів. Скрипт нижче роздає адреси сторінок по проксі й змінює IP лише в того, що отримав блокування, поки решта продовжує працювати.

    Ціна

    Пул із п'яти телефонів на місяць

    Віджет відкрито на Professional, п'яти пристроях і 30 днях. Для парсингу головна відмінність тарифу у швидкості: до 100 Мбіт/с замість 5 Мбіт/с на Beginner. Від п'яти пристроїв діє знижка за кількість, собівартість одного проксі видно в рядку «За пристрій / місяць».

    Тарифний план
    Кількість пристроїв5
    Ще 5 пристр. до наступної знижки: вартість одного пристрою знизиться на 12%.
    Що більше пристроїв і довша підписка, то вигідніша вартість одного пристрою.
    Період оплати
    Що входить
    HTTP, SOCKS5 і UDPЗміна IP за посиланнямАвторизація за логіном і IPСписок дозволених адресЛіміти трафіку й потоківДоступ до API
    Разом
    $32.90
    за 30 днів · 5 пристроїв
    Ціна за добу$1.10
    За пристрій / місяць$6.58
    Знижка за обсяг−6%
    Оплата від 1 дня, без автопродовження
    Інструкція

    Як підключити пул до парсера

    Порядок однаковий для двох телефонів і для двадцяти.

    1. Підключіть телефони

      Встановіть Mobihub на Android-телефони із SIM-картками двох-трьох операторів і створіть на кожному проксі на тарифі Professional.

    2. Увімкніть «Унікальний IP»

      Під час зміни адреси телефон робить кілька спроб, доки не отримає IP, якого в цього проксі ще не було; кількість спроб задається в налаштуваннях. Парсер рідше потрапляє на адресу, яку сайт нещодавно заблокував.

    3. Зберіть proxies.csv

      Для кожного проксі візьміть у кабінеті адресу підключення і посилання зміни IP. У файлі три колонки: name, proxy і rotate_url.

    4. Задайте темп

      Почніть із паузи у дві-три секунди між запитами через один телефон і збільшуйте її, якщо блокувань багато. Часта зміна IP не замінює спокійного темпу.

    5. Запустіть скрипт і дивіться зведення

      У results.jsonl потрапляє кожна спроба. Наприкінці скрипт друкує по кожному проксі кількість запитів, блокувань і змін IP.

    Робочий код

    Скрипт: парсинг через пул із ротацією при блокуванні

    Скрипт роздає адреси з urls.txt по проксі з proxies.csv, по одному потоку на телефон. Відповідь 403, 429 або сторінка з капчею вважається блокуванням: адреса повертається в чергу, cookie скидаються, а для цього проксі викликається посилання зміни IP. Скрипт чекає на нову адресу і продовжує, решта телефонів у цей час працює. Якщо IP змінити не вдалося, телефон виходить із пулу, і його адреси забирають інші. Посилання на reCAPTCHA в коді сторінки блокуванням не вважаються: скрипт шукає текст перевірки, який бачить людина.

    Зведення скрипта по пулу проксі: запити, блокування і зміни IP по кожному телефону
    pool_scraper.pyPython
    import csv
    import json
    import queue
    import random
    import re
    import threading
    import time
    from concurrent.futures import ThreadPoolExecutor
    from datetime import datetime, timezone
    
    import requests
    
    PROXIES_FILE = "proxies.csv"
    URLS_FILE = "urls.txt"
    RESULTS_FILE = "results.jsonl"
    IP_ECHO = "https://api.ipify.org"
    BLOCK_CODES = {403, 429}
    BLOCK_PHRASES = ("verify you are human", "are you a robot", "unusual traffic", "access denied", "не робот")
    PAUSE = (1.5, 3.5)
    MAX_ATTEMPTS = 3
    ROTATE_TIMEOUT = 90
    REFUSED_WAIT = 60
    ROTATE_TRIES = 3
    HEADERS = {
        "User-Agent": "Mozilla/5.0 (Linux; Android 13; Pixel 7) AppleWebKit/537.36 "
        "(KHTML, like Gecko) Chrome/126.0 Mobile Safari/537.36",
    }
    
    write_lock = threading.Lock()
    
    
    def exit_ip(session):
        try:
            return session.get(IP_ECHO, timeout=15).text.strip()
        except requests.RequestException:
            return None
    
    
    def request_change(proxy):
        for attempt in range(ROTATE_TRIES):
            if attempt:
                time.sleep(REFUSED_WAIT)
            try:
                answer = requests.get(proxy["rotate_url"], timeout=15).json()
            except (requests.RequestException, ValueError):
                answer = {}
            if answer.get("result") == "Success":
                return True
        return False
    
    
    def rotate(proxy, session):
        previous = exit_ip(session)
        if not request_change(proxy):
            return False
        deadline = time.time() + ROTATE_TIMEOUT
        while time.time() < deadline:
            time.sleep(5)
            current = exit_ip(session)
            if current and current != previous:
                return True
        return False
    
    
    def visible_text(html):
        html = re.sub(r"(?is)<(script|style)\b.*?</\1>", " ", html[:20000])
        return re.sub(r"<[^>]+>", " ", html).lower()
    
    
    def blocked(response):
        if response.status_code in BLOCK_CODES:
            return True
        text = visible_text(response.text)
        return any(phrase in text for phrase in BLOCK_PHRASES)
    
    
    def handle(session, proxy, stats, tasks, url, attempt):
        record = {
            "at": datetime.now(timezone.utc).isoformat(timespec="seconds"),
            "url": url,
            "proxy": proxy["name"],
            "attempt": attempt,
        }
        retry = False
        usable = True
        try:
            response = session.get(url, timeout=30)
            stats["requests"] += 1
            record["status"] = response.status_code
            if blocked(response):
                stats["blocks"] += 1
                record["state"] = "blocked"
                retry = True
                session.cookies.clear()
                if rotate(proxy, session):
                    stats["rotations"] += 1
                else:
                    usable = False
            else:
                record["state"] = "ok"
                record["bytes"] = len(response.content)
        except requests.RequestException as error:
            record["state"] = f"error: {type(error).__name__}"
            retry = True
        if retry and attempt < MAX_ATTEMPTS:
            tasks.put((url, attempt + 1))
        return record, usable
    
    
    def worker(proxy, tasks, results):
        session = requests.Session()
        session.proxies = {"http": proxy["proxy"], "https": proxy["proxy"]}
        session.headers.update(HEADERS)
        stats = {"name": proxy["name"], "requests": 0, "blocks": 0, "rotations": 0}
        while True:
            try:
                url, attempt = tasks.get(timeout=1)
            except queue.Empty:
                if tasks.unfinished_tasks == 0:
                    return stats
                continue
            try:
                record, usable = handle(session, proxy, stats, tasks, url, attempt)
            finally:
                tasks.task_done()
            with write_lock:
                results.write(json.dumps(record, ensure_ascii=False) + "\n")
                results.flush()
            if not usable:
                print(f"{proxy['name']}: IP did not change, the proxy leaves the pool")
                return stats
            time.sleep(random.uniform(*PAUSE))
    
    
    def main():
        with open(PROXIES_FILE, newline="") as f:
            pool = list(csv.DictReader(f))
        tasks = queue.Queue()
        with open(URLS_FILE) as f:
            for line in f:
                if line.strip():
                    tasks.put((line.strip(), 1))
    
        with open(RESULTS_FILE, "a") as results, ThreadPoolExecutor(len(pool)) as executor:
            summary = list(executor.map(lambda proxy: worker(proxy, tasks, results), pool))
    
        print(f"{'proxy':<12}{'requests':>10}{'blocks':>8}{'rotations':>11}")
        for row in summary:
            print(f"{row['name']:<12}{row['requests']:>10}{row['blocks']:>8}{row['rotations']:>11}")
        if tasks.qsize():
            print(f"{tasks.qsize()} URLs left: every proxy in the pool is blocked")
    
    
    if __name__ == "__main__":
        main()

    Посилання зміни IP відповідає кодом 200 і пише в тілі Success або Failure. Failure приходить, наприклад, на занадто часту зміну: скрипт чекає хвилину і пробує ще двічі. Поки телефон у режимі польоту, його проксі недоступний, тому зміна займає десятки секунд.

    Тарифи

    Який тариф брати для парсингу

    Різниця між тарифами для парсингу зводиться до швидкості й економії трафіку.

    Beginner

    Перевірити сайт і налагодити скрипт

    Швидкості до 5 Мбіт/с вистачає, щоб подивитися, як сайт реагує на мобільну адресу, і налагодити парсер на невеликому списку сторінок.

    • $4 за пристрій на 30 днів
    • Швидкість до 5 Мбіт/с
    • Зміна IP за посиланням і за таймером
    • Вхід за логіном або списком IP
    Обрати Beginner
    Повне порівняння тарифів
    Поради

    Як збирати дані й не спалювати адреси

    Лише відкриті дані

    Збирайте те, що сайт показує без входу, дотримуйтеся його правил і законів про персональні дані. Зміна адреси не робить забороненого збору законним.

    Пауза важливіша за ротацію

    Сайт помічає темп раніше, ніж адресу. Випадкова пауза між запитами знижує кількість блокувань сильніше, ніж часта зміна IP.

    Cookie живуть з адресою

    Якщо сайт видає cookie під час першого заходу, тримайте їх у сесії одного проксі й скидайте разом зі зміною IP. Cookie, видані одній адресі, що прийшли з іншої, виглядають підозріло.

    Різні оператори в пулі

    SIM-картки двох-трьох операторів дають адреси з різних підмереж, і пул не зупиниться повністю, якщо в одного оператора почнуться проблеми.

    Лише потрібні байти

    Сторінка з картинками і скриптами важить мегабайти. Запитуйте HTML або API сайту без зайвих ресурсів, а на Professional поставте ліміт трафіку на підключення.

    FAQ

    Питання та відповіді

    Як часто можна змінювати IP за посиланням?

    Зміна триває стільки, скільки режим польоту, від 1 до 20 секунд, плюс близько 20 секунд на перепідключення телефона. Занадто часті запити посилання відхиляє відповіддю Failure. Автозміну за таймером можна поставити з інтервалом від трьох хвилин.

    Скільки потоків парсера пускати через один телефон?

    Почніть з одного-двох. Швидкість упирається в мобільну мережу, а сайт бачить усі потоки з однієї адреси і швидше її обмежує. Обсяг краще нарощувати кількістю телефонів у пулі. На Professional можна обмежити кількість одночасних з'єднань для кожного підключення.

    Чи працюють проксі із Selenium і Playwright?

    Так. Playwright приймає адресу, логін і пароль проксі в налаштуваннях запуску браузера. Для Selenium простіше додати IP свого сервера до списку дозволених і підключатися до проксі без пароля.

    Чи можна парсити сайти, які відкриваються лише з однієї країни?

    Так, якщо телефон із SIM-карткою місцевого оператора працює в цій країні: сайт бачить адресу оператора. Якщо свого телефона там немає, мобільний проксі потрібної країни можна орендувати на маркетплейсі Mobihub.

    Чому після зміни IP сайт продовжує блокувати?

    Сайт може впізнавати парсер не лише за адресою: за cookie, заголовками, відбитком браузера і темпом запитів. Скидайте сесію разом зі зміною IP, перевірте User-Agent і збільште паузу. Якщо блокування тримається на всіх адресах, обмежено сам сценарій збору.

    Чим мобільний проксі для парсингу кращий за серверний?

    Серверний проксі дешевший і швидший, але багато захищених сайтів обмежують підмережі дата-центрів цілком. Мобільну адресу ділять звичайні абоненти оператора, тому її блокують рідше. Для сайтів без захисту вистачить серверних адрес, для захищених мобільні заощаджують час на капчах і повторах.
    Рішення

    Мобільні проксі для інших завдань

    Мобільні проксі для InstagramСвій IP на кожну сесію і журнал входів для SMM-команди.Мобільні проксі для FacebookЧиста адреса для рекламних кабінетів і аудит пулу вашої SIM.Мобільні проксі для TikTokРегіон акаунта за місцем телефона і звірка гео перед публікацією.Мобільні проксі для АвітоАдреса оператора з вашого регіону і перевірка оголошень за розкладом.Мобільні проксі для антидетект-браузерівГотові списки для імпорту в Dolphin Anty, Octo, AdsPower та інші.Мобільні проксі для TelegramСвоя адреса оператора під акаунти й готові t.me/socks-посилання.Мобільні проксі для Google AdsКабінети клієнтів на різних адресах і перевірка посадкових з мобільної мережі.Мобільні проксі для YouTubeКанали клієнтів на різних адресах і перевірка відео в країні аудиторії.Мобільні проксі для SEOМобільна видача з регіону телефона і перевірка сайту в різних операторів.Мобільні проксі для перепродажуОкремий доступ і ліміти для кожного покупця, звіт за орендами й оплатами.Заробіток на мобільних проксі через маркетплейсКаталог приводить покупців, оренда похвилинна, дохід виводиться в USDT.Заробіток на старому телефоніСтарий Android із SIM-карткою здається в оренду як мобільний проксі.Своя ферма мобільних проксіТелефони, SIM-картки, живлення, витрати й моніторинг стійки.

    Перевірте свій сайт на мобільному IP

    Новим клієнтам підтримка вмикає 24 години безкоштовного доступу. Підключіть телефон, запустіть скрипт на невеликому списку сторінок і подивіться, скільки блокувань залишиться.