Mobile Proxys für Web Scraping
Ein Scraper braucht eine Adresse, die die Website nicht schon nach den ersten hundert Anfragen abschneidet. Hunderte Kunden teilen sich die externe IP eines Mobilfunkanbieters, deshalb kommt die Website eine Sperre teuer zu stehen. Bei Mobihub laufen Proxys auf Ihren eigenen Handys: Die IP wechselt per Link aus Ihrem Skript oder nach Timer, und HTTP und SOCKS5 teilen sich einen Port.
- ab 3 Min.
- Intervall für IP-Wechsel per Timer
- 1 Link
- IP-Wechsel aus Ihrem Skript
- HTTP + SOCKS5
- auf einem Port
- 100 Mbps
- Geschwindigkeit im Professional-Tarif

Warum Scraper an Sperren stoßen
Websites zählen die Anfragen jeder Adresse. Subnetze von Rechenzentren stehen längst auf Listen, und eine geschützte Website empfängt eine solche IP oft schon bei der ersten Anfrage mit einem Captcha. Selbst eine saubere Adresse bekommt nach ein paar hundert Aufrufen einen 429 oder eine Prüfseite.
Eine mobile Adresse zu sperren ist teurer: Dahinter stehen ganz normale Kunden des Mobilfunkanbieters. Wird das Limit trotzdem erreicht, wechselt die IP per Link: Das Handy geht für einige Sekunden in den Flugmodus und kommt mit einer neuen Adresse vom Anbieter wieder online.
Für Volumen braucht es einen Pool aus mehreren Handys. Das Skript unten verteilt Seiten-URLs auf die Proxys und wechselt die IP nur bei dem, der gesperrt wurde, während die übrigen weiterarbeiten.
Ein Pool aus fünf Handys für einen Monat
Das Widget öffnet sich mit Professional, fünf Geräten und 30 Tagen. Beim Scraping ist der wichtigste Unterschied des Tarifs die Geschwindigkeit: bis zu 100 Mbps statt 5 Mbps bei Beginner. Fünf Geräte bringen einen Mengenrabatt, und die Zeile „Pro Gerät / Monat“ zeigt die Kosten eines Proxys.
So binden Sie einen Pool an einen Scraper an
Die Schritte sind für zwei Handys dieselben wie für zwanzig.
Handys verbinden
Installieren Sie Mobihub auf Android-Handys mit SIM-Karten von zwei oder drei Mobilfunkanbietern und erstellen Sie auf jedem einen Proxy im Professional-Tarif.
Unique IP einschalten
Beim Adresswechsel unternimmt das Handy mehrere Versuche, bis es eine IP bekommt, die dieser Proxy noch nicht hatte; die Zahl der Versuche legen Sie in den Einstellungen fest. So landet der Scraper seltener auf einer Adresse, die die Website kürzlich gesperrt hat.
proxies.csv anlegen
Nehmen Sie für jeden Proxy die Verbindungsadresse und den Link für den IP-Wechsel aus dem Kundenbereich. Die Datei hat drei Spalten: name, proxy und rotate_url.
Das Tempo festlegen
Beginnen Sie mit einer Pause von zwei bis drei Sekunden zwischen den Anfragen über ein Handy und erhöhen Sie sie, wenn Sperren häufig sind. Häufige IP-Wechsel ersetzen kein ruhiges Tempo.
Skript starten und Zusammenfassung lesen
Jeder Versuch landet in results.jsonl. Am Ende gibt das Skript für jeden Proxy die Zahl der Anfragen, Sperren und IP-Wechsel aus.
Skript: Scraping über einen Pool mit Rotation bei Sperren
Das Skript verteilt URLs aus urls.txt auf die Proxys in proxies.csv, ein Thread pro Handy. Ein 403, ein 429 oder eine Captcha-Seite gilt als Sperre: Die URL geht zurück in die Warteschlange, Cookies werden gelöscht und der Link für den IP-Wechsel des Proxys wird aufgerufen. Das Skript wartet auf die neue Adresse und macht weiter, während die anderen Handys weiterarbeiten. Wechselt die IP nicht, verlässt das Handy den Pool und die anderen übernehmen seine URLs. Ein reCAPTCHA-Skript im Seitencode gilt nicht als Sperre: Das Skript sucht nach dem Prüftext, den ein Mensch sieht.

import csv
import json
import queue
import random
import re
import threading
import time
from concurrent.futures import ThreadPoolExecutor
from datetime import datetime, timezone
import requests
PROXIES_FILE = "proxies.csv"
URLS_FILE = "urls.txt"
RESULTS_FILE = "results.jsonl"
IP_ECHO = "https://api.ipify.org"
BLOCK_CODES = {403, 429}
BLOCK_PHRASES = ("verify you are human", "are you a robot", "unusual traffic", "access denied", "не робот")
PAUSE = (1.5, 3.5)
MAX_ATTEMPTS = 3
ROTATE_TIMEOUT = 90
REFUSED_WAIT = 60
ROTATE_TRIES = 3
HEADERS = {
"User-Agent": "Mozilla/5.0 (Linux; Android 13; Pixel 7) AppleWebKit/537.36 "
"(KHTML, like Gecko) Chrome/126.0 Mobile Safari/537.36",
}
write_lock = threading.Lock()
def exit_ip(session):
try:
return session.get(IP_ECHO, timeout=15).text.strip()
except requests.RequestException:
return None
def request_change(proxy):
for attempt in range(ROTATE_TRIES):
if attempt:
time.sleep(REFUSED_WAIT)
try:
answer = requests.get(proxy["rotate_url"], timeout=15).json()
except (requests.RequestException, ValueError):
answer = {}
if answer.get("result") == "Success":
return True
return False
def rotate(proxy, session):
previous = exit_ip(session)
if not request_change(proxy):
return False
deadline = time.time() + ROTATE_TIMEOUT
while time.time() < deadline:
time.sleep(5)
current = exit_ip(session)
if current and current != previous:
return True
return False
def visible_text(html):
html = re.sub(r"(?is)<(script|style)\b.*?</\1>", " ", html[:20000])
return re.sub(r"<[^>]+>", " ", html).lower()
def blocked(response):
if response.status_code in BLOCK_CODES:
return True
text = visible_text(response.text)
return any(phrase in text for phrase in BLOCK_PHRASES)
def handle(session, proxy, stats, tasks, url, attempt):
record = {
"at": datetime.now(timezone.utc).isoformat(timespec="seconds"),
"url": url,
"proxy": proxy["name"],
"attempt": attempt,
}
retry = False
usable = True
try:
response = session.get(url, timeout=30)
stats["requests"] += 1
record["status"] = response.status_code
if blocked(response):
stats["blocks"] += 1
record["state"] = "blocked"
retry = True
session.cookies.clear()
if rotate(proxy, session):
stats["rotations"] += 1
else:
usable = False
else:
record["state"] = "ok"
record["bytes"] = len(response.content)
except requests.RequestException as error:
record["state"] = f"error: {type(error).__name__}"
retry = True
if retry and attempt < MAX_ATTEMPTS:
tasks.put((url, attempt + 1))
return record, usable
def worker(proxy, tasks, results):
session = requests.Session()
session.proxies = {"http": proxy["proxy"], "https": proxy["proxy"]}
session.headers.update(HEADERS)
stats = {"name": proxy["name"], "requests": 0, "blocks": 0, "rotations": 0}
while True:
try:
url, attempt = tasks.get(timeout=1)
except queue.Empty:
if tasks.unfinished_tasks == 0:
return stats
continue
try:
record, usable = handle(session, proxy, stats, tasks, url, attempt)
finally:
tasks.task_done()
with write_lock:
results.write(json.dumps(record, ensure_ascii=False) + "\n")
results.flush()
if not usable:
print(f"{proxy['name']}: IP did not change, the proxy leaves the pool")
return stats
time.sleep(random.uniform(*PAUSE))
def main():
with open(PROXIES_FILE, newline="") as f:
pool = list(csv.DictReader(f))
tasks = queue.Queue()
with open(URLS_FILE) as f:
for line in f:
if line.strip():
tasks.put((line.strip(), 1))
with open(RESULTS_FILE, "a") as results, ThreadPoolExecutor(len(pool)) as executor:
summary = list(executor.map(lambda proxy: worker(proxy, tasks, results), pool))
print(f"{'proxy':<12}{'requests':>10}{'blocks':>8}{'rotations':>11}")
for row in summary:
print(f"{row['name']:<12}{row['requests']:>10}{row['blocks']:>8}{row['rotations']:>11}")
if tasks.qsize():
print(f"{tasks.qsize()} URLs left: every proxy in the pool is blocked")
if __name__ == "__main__":
main()Der Link für den IP-Wechsel antwortet mit Code 200 und schreibt Success oder Failure in den Body. Failure kommt zum Beispiel, wenn Wechsel zu oft angefordert werden: Das Skript wartet eine Minute und versucht es noch zweimal. Solange das Handy im Flugmodus ist, ist sein Proxy nicht erreichbar, deshalb dauert ein Wechsel einige zehn Sekunden.
Welcher Tarif fürs Scraping
Beim Scraping läuft der Unterschied zwischen den Tarifen auf Geschwindigkeit und Traffic-Ersparnis hinaus.
Website testen und Skript debuggen
Bis zu 5 Mbps reichen, um zu sehen, wie die Website auf eine mobile Adresse reagiert, und den Scraper an einer kurzen Seitenliste zu debuggen.
- $4 pro Gerät für 30 Tage
- Geschwindigkeit bis 5 Mbps
- IP-Wechsel per Link und per Timer
- Zugang per Login oder Liste erlaubter IPs
Laufende Datenerfassung
Bis zu 100 Mbps pro Gerät, Unique IP und SmartRelay: Das Handy lädt Seiten über das Mobilfunknetz und schickt sie über WLAN an den Server, so wird das Datenvolumen der SIM etwa halb so schnell verbraucht.
- $7 pro Gerät für 30 Tage
- Geschwindigkeit bis 100 Mbps
- Unique IP nach einem Wechsel
- SmartRelay und Mengenrabatt
Daten sammeln, ohne Adressen zu verbrennen
Nur öffentliche Daten
Sammeln Sie, was die Website ohne Anmeldung zeigt, und halten Sie sich an ihre Nutzungsbedingungen und an Datenschutzgesetze. Ein Adresswechsel macht eine verbotene Erfassung nicht legal.
Tempo schlägt Rotation
Eine Website bemerkt das Tempo vor der Adresse. Eine zufällige Pause zwischen den Anfragen verringert Sperren stärker als häufige IP-Wechsel.
Cookies gehören zu einer Adresse
Setzt die Website beim ersten Besuch Cookies, behalten Sie sie in der Sitzung eines Proxys und löschen Sie sie bei jedem IP-Wechsel. Cookies, die für eine Adresse ausgestellt wurden und von einer anderen kommen, wirken verdächtig.
Mehrere Mobilfunkanbieter im Pool
SIM-Karten von zwei oder drei Anbietern liefern Adressen aus verschiedenen Subnetzen, und der Pool steht nicht komplett still, wenn ein Anbieter Probleme hat.
Nur die Bytes, die Sie brauchen
Eine Seite mit Bildern und Skripten wiegt Megabytes. Fragen Sie das HTML oder die API der Website ohne zusätzliche Ressourcen ab und setzen Sie bei Professional ein Traffic-Limit für die Verbindung.
Fragen und Antworten
Wie oft lässt sich die IP per Link wechseln?
Wie viele Scraper-Threads sollten über ein Handy laufen?
Funktionieren die Proxys mit Selenium und Playwright?
Kann ich Websites scrapen, die sich nur aus einem Land öffnen?
Warum sperrt die Website auch nach einem IP-Wechsel weiter?
Was macht einen mobilen Proxy fürs Scraping besser als einen Server-Proxy?
Mobile Proxys für andere Aufgaben
Testen Sie Ihre Website mit einer mobilen IP
Der Support gibt Neukunden 24 Stunden kostenlosen Zugang. Verbinden Sie ein Handy, starten Sie das Skript an einer kurzen Seitenliste und sehen Sie, wie viele Sperren übrig bleiben.