Мобильные прокси для парсинга
Парсеру нужен адрес, который сайт не отсечёт на первой сотне запросов. Внешний IP сотового оператора делят сотни абонентов, поэтому блокировать его сайту невыгодно. В Mobihub прокси работают на ваших телефонах: IP меняется по ссылке из скрипта или по таймеру, HTTP и SOCKS5 доступны на одном порту.
- от 3 мин
- интервал автосмены IP по таймеру
- 1 ссылка
- смена IP из вашего скрипта
- HTTP + SOCKS5
- на одном порту
- 100 Мбит/с
- скорость на тарифе Professional

Почему парсер упирается в блокировки
Сайты считают запросы с каждого адреса. Подсети дата-центров давно собраны в списки, и защищённый сайт часто встречает такой IP капчей на первом же запросе. Даже чистый адрес после сотен обращений получает ответ 429 или страницу проверки.
Мобильный адрес блокировать дороже: за ним стоят обычные абоненты оператора. Если лимит всё-таки исчерпан, IP меняется по ссылке: телефон на несколько секунд уходит в авиарежим и возвращается в сеть с новым адресом от оператора.
Для объёма нужен пул из нескольких телефонов. Скрипт ниже раздаёт адреса страниц по прокси и меняет IP только у той, что получила блокировку, пока остальные продолжают работать.
Пул из пяти телефонов на месяц
Виджет открыт на Professional, пяти устройствах и 30 днях. Для парсинга главное отличие тарифа в скорости: до 100 Мбит/с вместо 5 Мбит/с на Beginner. С пяти устройств действует скидка за количество, себестоимость одного прокси видна в строке «За устройство / месяц».
Как подключить пул к парсеру
Порядок один для двух телефонов и для двадцати.
Подключите телефоны
Установите Mobihub на Android-телефоны с SIM-картами двух-трёх операторов и создайте на каждом прокси на тарифе Professional.
Включите «Уникальный IP»
При смене адреса телефон делает несколько попыток, пока не получит IP, которого у этой прокси ещё не было; число попыток задаётся в настройках. Парсер реже попадает на адрес, который сайт недавно заблокировал.
Соберите proxies.csv
Для каждой прокси возьмите в кабинете адрес подключения и ссылку смены IP. В файле три колонки: name, proxy и rotate_url.
Задайте темп
Начните с паузы в две-три секунды между запросами через один телефон и увеличивайте её, если блокировок много. Частая смена IP не заменяет спокойный темп.
Запустите скрипт и смотрите сводку
В results.jsonl попадает каждая попытка. В конце скрипт печатает по каждой прокси число запросов, блокировок и смен IP.
Скрипт: парсинг через пул с ротацией по блокировке
Скрипт раздаёт адреса из urls.txt по прокси из proxies.csv, по одному потоку на телефон. Ответ 403, 429 или страница с капчей считается блокировкой: адрес возвращается в очередь, cookie сбрасываются, а у этой прокси вызывается ссылка смены IP. Скрипт дожидается нового адреса и продолжает, остальные телефоны в это время работают. Если IP сменить не удалось, телефон выходит из пула, и его адреса забирают остальные. Ссылки на reCAPTCHA в коде страницы блокировкой не считаются: скрипт ищет текст проверки, который видит человек.

import csv
import json
import queue
import random
import re
import threading
import time
from concurrent.futures import ThreadPoolExecutor
from datetime import datetime, timezone
import requests
PROXIES_FILE = "proxies.csv"
URLS_FILE = "urls.txt"
RESULTS_FILE = "results.jsonl"
IP_ECHO = "https://api.ipify.org"
BLOCK_CODES = {403, 429}
BLOCK_PHRASES = ("verify you are human", "are you a robot", "unusual traffic", "access denied", "не робот")
PAUSE = (1.5, 3.5)
MAX_ATTEMPTS = 3
ROTATE_TIMEOUT = 90
REFUSED_WAIT = 60
ROTATE_TRIES = 3
HEADERS = {
"User-Agent": "Mozilla/5.0 (Linux; Android 13; Pixel 7) AppleWebKit/537.36 "
"(KHTML, like Gecko) Chrome/126.0 Mobile Safari/537.36",
}
write_lock = threading.Lock()
def exit_ip(session):
try:
return session.get(IP_ECHO, timeout=15).text.strip()
except requests.RequestException:
return None
def request_change(proxy):
for attempt in range(ROTATE_TRIES):
if attempt:
time.sleep(REFUSED_WAIT)
try:
answer = requests.get(proxy["rotate_url"], timeout=15).json()
except (requests.RequestException, ValueError):
answer = {}
if answer.get("result") == "Success":
return True
return False
def rotate(proxy, session):
previous = exit_ip(session)
if not request_change(proxy):
return False
deadline = time.time() + ROTATE_TIMEOUT
while time.time() < deadline:
time.sleep(5)
current = exit_ip(session)
if current and current != previous:
return True
return False
def visible_text(html):
html = re.sub(r"(?is)<(script|style)\b.*?</\1>", " ", html[:20000])
return re.sub(r"<[^>]+>", " ", html).lower()
def blocked(response):
if response.status_code in BLOCK_CODES:
return True
text = visible_text(response.text)
return any(phrase in text for phrase in BLOCK_PHRASES)
def handle(session, proxy, stats, tasks, url, attempt):
record = {
"at": datetime.now(timezone.utc).isoformat(timespec="seconds"),
"url": url,
"proxy": proxy["name"],
"attempt": attempt,
}
retry = False
usable = True
try:
response = session.get(url, timeout=30)
stats["requests"] += 1
record["status"] = response.status_code
if blocked(response):
stats["blocks"] += 1
record["state"] = "blocked"
retry = True
session.cookies.clear()
if rotate(proxy, session):
stats["rotations"] += 1
else:
usable = False
else:
record["state"] = "ok"
record["bytes"] = len(response.content)
except requests.RequestException as error:
record["state"] = f"error: {type(error).__name__}"
retry = True
if retry and attempt < MAX_ATTEMPTS:
tasks.put((url, attempt + 1))
return record, usable
def worker(proxy, tasks, results):
session = requests.Session()
session.proxies = {"http": proxy["proxy"], "https": proxy["proxy"]}
session.headers.update(HEADERS)
stats = {"name": proxy["name"], "requests": 0, "blocks": 0, "rotations": 0}
while True:
try:
url, attempt = tasks.get(timeout=1)
except queue.Empty:
if tasks.unfinished_tasks == 0:
return stats
continue
try:
record, usable = handle(session, proxy, stats, tasks, url, attempt)
finally:
tasks.task_done()
with write_lock:
results.write(json.dumps(record, ensure_ascii=False) + "\n")
results.flush()
if not usable:
print(f"{proxy['name']}: IP did not change, the proxy leaves the pool")
return stats
time.sleep(random.uniform(*PAUSE))
def main():
with open(PROXIES_FILE, newline="") as f:
pool = list(csv.DictReader(f))
tasks = queue.Queue()
with open(URLS_FILE) as f:
for line in f:
if line.strip():
tasks.put((line.strip(), 1))
with open(RESULTS_FILE, "a") as results, ThreadPoolExecutor(len(pool)) as executor:
summary = list(executor.map(lambda proxy: worker(proxy, tasks, results), pool))
print(f"{'proxy':<12}{'requests':>10}{'blocks':>8}{'rotations':>11}")
for row in summary:
print(f"{row['name']:<12}{row['requests']:>10}{row['blocks']:>8}{row['rotations']:>11}")
if tasks.qsize():
print(f"{tasks.qsize()} URLs left: every proxy in the pool is blocked")
if __name__ == "__main__":
main()Ссылка смены IP отвечает кодом 200 и пишет в теле Success или Failure. Failure приходит, например, на слишком частую смену: скрипт ждёт минуту и пробует ещё два раза. Пока телефон в авиарежиме, его прокси недоступна, поэтому смена занимает десятки секунд.
Какой тариф брать для парсинга
Разница между тарифами для парсинга сводится к скорости и экономии трафика.
Проверить сайт и отладить скрипт
Скорости до 5 Мбит/с хватает, чтобы посмотреть, как сайт реагирует на мобильный адрес, и отладить парсер на небольшом списке страниц.
- $4 за устройство на 30 дней
- Скорость до 5 Мбит/с
- Смена IP по ссылке и по таймеру
- Вход по логину или списку IP
Постоянный сбор данных
До 100 Мбит/с на устройство, «Уникальный IP» и SmartRelay: телефон скачивает страницы через мобильную сеть, а отдаёт их на сервер через Wi‑Fi, и пакет SIM-карты тратится примерно вдвое медленнее.
- $7 за устройство на 30 дней
- Скорость до 100 Мбит/с
- «Уникальный IP» после смены
- SmartRelay и скидка за количество
Как собирать данные и не сжигать адреса
Только открытые данные
Собирайте то, что сайт показывает без входа, соблюдайте его правила и законы о персональных данных. Смена адреса не делает запрещённый сбор законным.
Пауза важнее ротации
Сайт замечает темп раньше, чем адрес. Случайная пауза между запросами снижает число блокировок сильнее, чем частая смена IP.
Cookie живут с адресом
Если сайт выдаёт cookie при первом заходе, держите их в сессии одной прокси и сбрасывайте вместе со сменой IP. Cookie, выданные одному адресу и пришедшие с другого, выглядят подозрительно.
Разные операторы в пуле
SIM-карты двух-трёх операторов дают адреса из разных подсетей, и пул не встанет целиком, если у одного оператора начнутся проблемы.
Только нужные байты
Страница с картинками и скриптами весит мегабайты. Запрашивайте HTML или API сайта без лишних ресурсов, а на Professional поставьте лимит трафика на подключение.
Вопросы и ответы
Как часто можно менять IP по ссылке?
Сколько потоков парсера пускать через один телефон?
Работают ли прокси с Selenium и Playwright?
Можно ли парсить сайты, которые открываются только из одной страны?
Почему после смены IP сайт продолжает блокировать?
Чем мобильный прокси для парсинга лучше серверного?
Мобильные прокси под другие задачи
Проверьте свой сайт на мобильном IP
Новым клиентам поддержка включает 24 часа бесплатного доступа. Подключите телефон, запустите скрипт на небольшом списке страниц и посмотрите, сколько блокировок останется.