Мобільні проксі для парсингу
Парсеру потрібна адреса, яку сайт не відсіче на першій сотні запитів. Зовнішній IP стільникового оператора ділять сотні абонентів, тому блокувати його сайту невигідно. У Mobihub проксі працюють на ваших телефонах: IP змінюється за посиланням зі скрипта або за таймером, HTTP і SOCKS5 доступні на одному порту.
- від 3 хв
- інтервал автозміни IP за таймером
- 1 посилання
- зміна IP з вашого скрипта
- HTTP + SOCKS5
- на одному порту
- 100 Мбіт/с
- швидкість на тарифі Professional

Чому парсер упирається в блокування
Сайти рахують запити з кожної адреси. Підмережі дата-центрів давно зібрані в списки, і захищений сайт часто зустрічає такий IP капчею на першому ж запиті. Навіть чиста адреса після сотень звернень отримує відповідь 429 або сторінку перевірки.
Мобільну адресу блокувати дорожче: за нею стоять звичайні абоненти оператора. Якщо ліміт усе-таки вичерпано, IP змінюється за посиланням: телефон на кілька секунд іде в режим польоту і повертається в мережу з новою адресою від оператора.
Для обсягу потрібен пул із кількох телефонів. Скрипт нижче роздає адреси сторінок по проксі й змінює IP лише в того, що отримав блокування, поки решта продовжує працювати.
Пул із п'яти телефонів на місяць
Віджет відкрито на Professional, п'яти пристроях і 30 днях. Для парсингу головна відмінність тарифу у швидкості: до 100 Мбіт/с замість 5 Мбіт/с на Beginner. Від п'яти пристроїв діє знижка за кількість, собівартість одного проксі видно в рядку «За пристрій / місяць».
Як підключити пул до парсера
Порядок однаковий для двох телефонів і для двадцяти.
Підключіть телефони
Встановіть Mobihub на Android-телефони із SIM-картками двох-трьох операторів і створіть на кожному проксі на тарифі Professional.
Увімкніть «Унікальний IP»
Під час зміни адреси телефон робить кілька спроб, доки не отримає IP, якого в цього проксі ще не було; кількість спроб задається в налаштуваннях. Парсер рідше потрапляє на адресу, яку сайт нещодавно заблокував.
Зберіть proxies.csv
Для кожного проксі візьміть у кабінеті адресу підключення і посилання зміни IP. У файлі три колонки: name, proxy і rotate_url.
Задайте темп
Почніть із паузи у дві-три секунди між запитами через один телефон і збільшуйте її, якщо блокувань багато. Часта зміна IP не замінює спокійного темпу.
Запустіть скрипт і дивіться зведення
У results.jsonl потрапляє кожна спроба. Наприкінці скрипт друкує по кожному проксі кількість запитів, блокувань і змін IP.
Скрипт: парсинг через пул із ротацією при блокуванні
Скрипт роздає адреси з urls.txt по проксі з proxies.csv, по одному потоку на телефон. Відповідь 403, 429 або сторінка з капчею вважається блокуванням: адреса повертається в чергу, cookie скидаються, а для цього проксі викликається посилання зміни IP. Скрипт чекає на нову адресу і продовжує, решта телефонів у цей час працює. Якщо IP змінити не вдалося, телефон виходить із пулу, і його адреси забирають інші. Посилання на reCAPTCHA в коді сторінки блокуванням не вважаються: скрипт шукає текст перевірки, який бачить людина.

import csv
import json
import queue
import random
import re
import threading
import time
from concurrent.futures import ThreadPoolExecutor
from datetime import datetime, timezone
import requests
PROXIES_FILE = "proxies.csv"
URLS_FILE = "urls.txt"
RESULTS_FILE = "results.jsonl"
IP_ECHO = "https://api.ipify.org"
BLOCK_CODES = {403, 429}
BLOCK_PHRASES = ("verify you are human", "are you a robot", "unusual traffic", "access denied", "не робот")
PAUSE = (1.5, 3.5)
MAX_ATTEMPTS = 3
ROTATE_TIMEOUT = 90
REFUSED_WAIT = 60
ROTATE_TRIES = 3
HEADERS = {
"User-Agent": "Mozilla/5.0 (Linux; Android 13; Pixel 7) AppleWebKit/537.36 "
"(KHTML, like Gecko) Chrome/126.0 Mobile Safari/537.36",
}
write_lock = threading.Lock()
def exit_ip(session):
try:
return session.get(IP_ECHO, timeout=15).text.strip()
except requests.RequestException:
return None
def request_change(proxy):
for attempt in range(ROTATE_TRIES):
if attempt:
time.sleep(REFUSED_WAIT)
try:
answer = requests.get(proxy["rotate_url"], timeout=15).json()
except (requests.RequestException, ValueError):
answer = {}
if answer.get("result") == "Success":
return True
return False
def rotate(proxy, session):
previous = exit_ip(session)
if not request_change(proxy):
return False
deadline = time.time() + ROTATE_TIMEOUT
while time.time() < deadline:
time.sleep(5)
current = exit_ip(session)
if current and current != previous:
return True
return False
def visible_text(html):
html = re.sub(r"(?is)<(script|style)\b.*?</\1>", " ", html[:20000])
return re.sub(r"<[^>]+>", " ", html).lower()
def blocked(response):
if response.status_code in BLOCK_CODES:
return True
text = visible_text(response.text)
return any(phrase in text for phrase in BLOCK_PHRASES)
def handle(session, proxy, stats, tasks, url, attempt):
record = {
"at": datetime.now(timezone.utc).isoformat(timespec="seconds"),
"url": url,
"proxy": proxy["name"],
"attempt": attempt,
}
retry = False
usable = True
try:
response = session.get(url, timeout=30)
stats["requests"] += 1
record["status"] = response.status_code
if blocked(response):
stats["blocks"] += 1
record["state"] = "blocked"
retry = True
session.cookies.clear()
if rotate(proxy, session):
stats["rotations"] += 1
else:
usable = False
else:
record["state"] = "ok"
record["bytes"] = len(response.content)
except requests.RequestException as error:
record["state"] = f"error: {type(error).__name__}"
retry = True
if retry and attempt < MAX_ATTEMPTS:
tasks.put((url, attempt + 1))
return record, usable
def worker(proxy, tasks, results):
session = requests.Session()
session.proxies = {"http": proxy["proxy"], "https": proxy["proxy"]}
session.headers.update(HEADERS)
stats = {"name": proxy["name"], "requests": 0, "blocks": 0, "rotations": 0}
while True:
try:
url, attempt = tasks.get(timeout=1)
except queue.Empty:
if tasks.unfinished_tasks == 0:
return stats
continue
try:
record, usable = handle(session, proxy, stats, tasks, url, attempt)
finally:
tasks.task_done()
with write_lock:
results.write(json.dumps(record, ensure_ascii=False) + "\n")
results.flush()
if not usable:
print(f"{proxy['name']}: IP did not change, the proxy leaves the pool")
return stats
time.sleep(random.uniform(*PAUSE))
def main():
with open(PROXIES_FILE, newline="") as f:
pool = list(csv.DictReader(f))
tasks = queue.Queue()
with open(URLS_FILE) as f:
for line in f:
if line.strip():
tasks.put((line.strip(), 1))
with open(RESULTS_FILE, "a") as results, ThreadPoolExecutor(len(pool)) as executor:
summary = list(executor.map(lambda proxy: worker(proxy, tasks, results), pool))
print(f"{'proxy':<12}{'requests':>10}{'blocks':>8}{'rotations':>11}")
for row in summary:
print(f"{row['name']:<12}{row['requests']:>10}{row['blocks']:>8}{row['rotations']:>11}")
if tasks.qsize():
print(f"{tasks.qsize()} URLs left: every proxy in the pool is blocked")
if __name__ == "__main__":
main()Посилання зміни IP відповідає кодом 200 і пише в тілі Success або Failure. Failure приходить, наприклад, на занадто часту зміну: скрипт чекає хвилину і пробує ще двічі. Поки телефон у режимі польоту, його проксі недоступний, тому зміна займає десятки секунд.
Який тариф брати для парсингу
Різниця між тарифами для парсингу зводиться до швидкості й економії трафіку.
Перевірити сайт і налагодити скрипт
Швидкості до 5 Мбіт/с вистачає, щоб подивитися, як сайт реагує на мобільну адресу, і налагодити парсер на невеликому списку сторінок.
- $4 за пристрій на 30 днів
- Швидкість до 5 Мбіт/с
- Зміна IP за посиланням і за таймером
- Вхід за логіном або списком IP
Постійний збір даних
До 100 Мбіт/с на пристрій, «Унікальний IP» і SmartRelay: телефон завантажує сторінки через мобільну мережу, а віддає їх на сервер через Wi‑Fi, і пакет SIM-картки витрачається приблизно вдвічі повільніше.
- $7 за пристрій на 30 днів
- Швидкість до 100 Мбіт/с
- «Унікальний IP» після зміни
- SmartRelay і знижка за кількість
Як збирати дані й не спалювати адреси
Лише відкриті дані
Збирайте те, що сайт показує без входу, дотримуйтеся його правил і законів про персональні дані. Зміна адреси не робить забороненого збору законним.
Пауза важливіша за ротацію
Сайт помічає темп раніше, ніж адресу. Випадкова пауза між запитами знижує кількість блокувань сильніше, ніж часта зміна IP.
Cookie живуть з адресою
Якщо сайт видає cookie під час першого заходу, тримайте їх у сесії одного проксі й скидайте разом зі зміною IP. Cookie, видані одній адресі, що прийшли з іншої, виглядають підозріло.
Різні оператори в пулі
SIM-картки двох-трьох операторів дають адреси з різних підмереж, і пул не зупиниться повністю, якщо в одного оператора почнуться проблеми.
Лише потрібні байти
Сторінка з картинками і скриптами важить мегабайти. Запитуйте HTML або API сайту без зайвих ресурсів, а на Professional поставте ліміт трафіку на підключення.
Питання та відповіді
Як часто можна змінювати IP за посиланням?
Скільки потоків парсера пускати через один телефон?
Чи працюють проксі із Selenium і Playwright?
Чи можна парсити сайти, які відкриваються лише з однієї країни?
Чому після зміни IP сайт продовжує блокувати?
Чим мобільний проксі для парсингу кращий за серверний?
Мобільні проксі для інших завдань
Перевірте свій сайт на мобільному IP
Новим клієнтам підтримка вмикає 24 години безкоштовного доступу. Підключіть телефон, запустіть скрипт на невеликому списку сторінок і подивіться, скільки блокувань залишиться.