Zum Hauptinhalt springen
    Datenerfassung und Preisüberwachung

    Mobile Proxys für Web Scraping

    Ein Scraper braucht eine Adresse, die die Website nicht schon nach den ersten hundert Anfragen abschneidet. Hunderte Kunden teilen sich die externe IP eines Mobilfunkanbieters, deshalb kommt die Website eine Sperre teuer zu stehen. Bei Mobihub laufen Proxys auf Ihren eigenen Handys: Die IP wechselt per Link aus Ihrem Skript oder nach Timer, und HTTP und SOCKS5 teilen sich einen Port.

    ab 3 Min.
    Intervall für IP-Wechsel per Timer
    1 Link
    IP-Wechsel aus Ihrem Skript
    HTTP + SOCKS5
    auf einem Port
    100 Mbps
    Geschwindigkeit im Professional-Tarif
    Schema: drei Handys mit SIM-Karten versorgen einen Scraper; eine Antwort wechselt nach einem IP-Wechsel von 429 auf 200

    Warum Scraper an Sperren stoßen

    Websites zählen die Anfragen jeder Adresse. Subnetze von Rechenzentren stehen längst auf Listen, und eine geschützte Website empfängt eine solche IP oft schon bei der ersten Anfrage mit einem Captcha. Selbst eine saubere Adresse bekommt nach ein paar hundert Aufrufen einen 429 oder eine Prüfseite.

    Eine mobile Adresse zu sperren ist teurer: Dahinter stehen ganz normale Kunden des Mobilfunkanbieters. Wird das Limit trotzdem erreicht, wechselt die IP per Link: Das Handy geht für einige Sekunden in den Flugmodus und kommt mit einer neuen Adresse vom Anbieter wieder online.

    Für Volumen braucht es einen Pool aus mehreren Handys. Das Skript unten verteilt Seiten-URLs auf die Proxys und wechselt die IP nur bei dem, der gesperrt wurde, während die übrigen weiterarbeiten.

    Preise

    Ein Pool aus fünf Handys für einen Monat

    Das Widget öffnet sich mit Professional, fünf Geräten und 30 Tagen. Beim Scraping ist der wichtigste Unterschied des Tarifs die Geschwindigkeit: bis zu 100 Mbps statt 5 Mbps bei Beginner. Fünf Geräte bringen einen Mengenrabatt, und die Zeile „Pro Gerät / Monat“ zeigt die Kosten eines Proxys.

    Tarif
    Anzahl der Geräte5
    Verbinden Sie 5 weitere(s) Gerät(e), und der Preis pro Gerät sinkt um 12 %.
    Je mehr Geräte und je länger das Abo, desto günstiger wird ein einzelnes Gerät.
    Zahlungszeitraum
    Inklusive
    HTTP, SOCKS5 und UDPIP-Wechsel per LinkAutorisierung per Login und IPListe erlaubter AdressenTraffic- und Stream-LimitsAPI-Zugriff
    Gesamt
    $32.90
    für 30 Tage · 5 Geräte
    Preis pro Tag$1.10
    Pro Gerät / Monat$6.58
    Mengenrabatt−6%
    Zahlung ab 1 Tag, keine automatische Verlängerung
    Anleitung

    So binden Sie einen Pool an einen Scraper an

    Die Schritte sind für zwei Handys dieselben wie für zwanzig.

    1. Handys verbinden

      Installieren Sie Mobihub auf Android-Handys mit SIM-Karten von zwei oder drei Mobilfunkanbietern und erstellen Sie auf jedem einen Proxy im Professional-Tarif.

    2. Unique IP einschalten

      Beim Adresswechsel unternimmt das Handy mehrere Versuche, bis es eine IP bekommt, die dieser Proxy noch nicht hatte; die Zahl der Versuche legen Sie in den Einstellungen fest. So landet der Scraper seltener auf einer Adresse, die die Website kürzlich gesperrt hat.

    3. proxies.csv anlegen

      Nehmen Sie für jeden Proxy die Verbindungsadresse und den Link für den IP-Wechsel aus dem Kundenbereich. Die Datei hat drei Spalten: name, proxy und rotate_url.

    4. Das Tempo festlegen

      Beginnen Sie mit einer Pause von zwei bis drei Sekunden zwischen den Anfragen über ein Handy und erhöhen Sie sie, wenn Sperren häufig sind. Häufige IP-Wechsel ersetzen kein ruhiges Tempo.

    5. Skript starten und Zusammenfassung lesen

      Jeder Versuch landet in results.jsonl. Am Ende gibt das Skript für jeden Proxy die Zahl der Anfragen, Sperren und IP-Wechsel aus.

    Code-Beispiel

    Skript: Scraping über einen Pool mit Rotation bei Sperren

    Das Skript verteilt URLs aus urls.txt auf die Proxys in proxies.csv, ein Thread pro Handy. Ein 403, ein 429 oder eine Captcha-Seite gilt als Sperre: Die URL geht zurück in die Warteschlange, Cookies werden gelöscht und der Link für den IP-Wechsel des Proxys wird aufgerufen. Das Skript wartet auf die neue Adresse und macht weiter, während die anderen Handys weiterarbeiten. Wechselt die IP nicht, verlässt das Handy den Pool und die anderen übernehmen seine URLs. Ein reCAPTCHA-Skript im Seitencode gilt nicht als Sperre: Das Skript sucht nach dem Prüftext, den ein Mensch sieht.

    Zusammenfassung des Skripts für einen Proxy-Pool: Anfragen, Sperren und IP-Wechsel für jedes Handy
    pool_scraper.pyPython
    import csv
    import json
    import queue
    import random
    import re
    import threading
    import time
    from concurrent.futures import ThreadPoolExecutor
    from datetime import datetime, timezone
    
    import requests
    
    PROXIES_FILE = "proxies.csv"
    URLS_FILE = "urls.txt"
    RESULTS_FILE = "results.jsonl"
    IP_ECHO = "https://api.ipify.org"
    BLOCK_CODES = {403, 429}
    BLOCK_PHRASES = ("verify you are human", "are you a robot", "unusual traffic", "access denied", "не робот")
    PAUSE = (1.5, 3.5)
    MAX_ATTEMPTS = 3
    ROTATE_TIMEOUT = 90
    REFUSED_WAIT = 60
    ROTATE_TRIES = 3
    HEADERS = {
        "User-Agent": "Mozilla/5.0 (Linux; Android 13; Pixel 7) AppleWebKit/537.36 "
        "(KHTML, like Gecko) Chrome/126.0 Mobile Safari/537.36",
    }
    
    write_lock = threading.Lock()
    
    
    def exit_ip(session):
        try:
            return session.get(IP_ECHO, timeout=15).text.strip()
        except requests.RequestException:
            return None
    
    
    def request_change(proxy):
        for attempt in range(ROTATE_TRIES):
            if attempt:
                time.sleep(REFUSED_WAIT)
            try:
                answer = requests.get(proxy["rotate_url"], timeout=15).json()
            except (requests.RequestException, ValueError):
                answer = {}
            if answer.get("result") == "Success":
                return True
        return False
    
    
    def rotate(proxy, session):
        previous = exit_ip(session)
        if not request_change(proxy):
            return False
        deadline = time.time() + ROTATE_TIMEOUT
        while time.time() < deadline:
            time.sleep(5)
            current = exit_ip(session)
            if current and current != previous:
                return True
        return False
    
    
    def visible_text(html):
        html = re.sub(r"(?is)<(script|style)\b.*?</\1>", " ", html[:20000])
        return re.sub(r"<[^>]+>", " ", html).lower()
    
    
    def blocked(response):
        if response.status_code in BLOCK_CODES:
            return True
        text = visible_text(response.text)
        return any(phrase in text for phrase in BLOCK_PHRASES)
    
    
    def handle(session, proxy, stats, tasks, url, attempt):
        record = {
            "at": datetime.now(timezone.utc).isoformat(timespec="seconds"),
            "url": url,
            "proxy": proxy["name"],
            "attempt": attempt,
        }
        retry = False
        usable = True
        try:
            response = session.get(url, timeout=30)
            stats["requests"] += 1
            record["status"] = response.status_code
            if blocked(response):
                stats["blocks"] += 1
                record["state"] = "blocked"
                retry = True
                session.cookies.clear()
                if rotate(proxy, session):
                    stats["rotations"] += 1
                else:
                    usable = False
            else:
                record["state"] = "ok"
                record["bytes"] = len(response.content)
        except requests.RequestException as error:
            record["state"] = f"error: {type(error).__name__}"
            retry = True
        if retry and attempt < MAX_ATTEMPTS:
            tasks.put((url, attempt + 1))
        return record, usable
    
    
    def worker(proxy, tasks, results):
        session = requests.Session()
        session.proxies = {"http": proxy["proxy"], "https": proxy["proxy"]}
        session.headers.update(HEADERS)
        stats = {"name": proxy["name"], "requests": 0, "blocks": 0, "rotations": 0}
        while True:
            try:
                url, attempt = tasks.get(timeout=1)
            except queue.Empty:
                if tasks.unfinished_tasks == 0:
                    return stats
                continue
            try:
                record, usable = handle(session, proxy, stats, tasks, url, attempt)
            finally:
                tasks.task_done()
            with write_lock:
                results.write(json.dumps(record, ensure_ascii=False) + "\n")
                results.flush()
            if not usable:
                print(f"{proxy['name']}: IP did not change, the proxy leaves the pool")
                return stats
            time.sleep(random.uniform(*PAUSE))
    
    
    def main():
        with open(PROXIES_FILE, newline="") as f:
            pool = list(csv.DictReader(f))
        tasks = queue.Queue()
        with open(URLS_FILE) as f:
            for line in f:
                if line.strip():
                    tasks.put((line.strip(), 1))
    
        with open(RESULTS_FILE, "a") as results, ThreadPoolExecutor(len(pool)) as executor:
            summary = list(executor.map(lambda proxy: worker(proxy, tasks, results), pool))
    
        print(f"{'proxy':<12}{'requests':>10}{'blocks':>8}{'rotations':>11}")
        for row in summary:
            print(f"{row['name']:<12}{row['requests']:>10}{row['blocks']:>8}{row['rotations']:>11}")
        if tasks.qsize():
            print(f"{tasks.qsize()} URLs left: every proxy in the pool is blocked")
    
    
    if __name__ == "__main__":
        main()

    Der Link für den IP-Wechsel antwortet mit Code 200 und schreibt Success oder Failure in den Body. Failure kommt zum Beispiel, wenn Wechsel zu oft angefordert werden: Das Skript wartet eine Minute und versucht es noch zweimal. Solange das Handy im Flugmodus ist, ist sein Proxy nicht erreichbar, deshalb dauert ein Wechsel einige zehn Sekunden.

    Tarife

    Welcher Tarif fürs Scraping

    Beim Scraping läuft der Unterschied zwischen den Tarifen auf Geschwindigkeit und Traffic-Ersparnis hinaus.

    Beginner

    Website testen und Skript debuggen

    Bis zu 5 Mbps reichen, um zu sehen, wie die Website auf eine mobile Adresse reagiert, und den Scraper an einer kurzen Seitenliste zu debuggen.

    • $4 pro Gerät für 30 Tage
    • Geschwindigkeit bis 5 Mbps
    • IP-Wechsel per Link und per Timer
    • Zugang per Login oder Liste erlaubter IPs
    Auswählen Beginner
    Alle Tarife im Vergleich
    Tipps

    Daten sammeln, ohne Adressen zu verbrennen

    Nur öffentliche Daten

    Sammeln Sie, was die Website ohne Anmeldung zeigt, und halten Sie sich an ihre Nutzungsbedingungen und an Datenschutzgesetze. Ein Adresswechsel macht eine verbotene Erfassung nicht legal.

    Tempo schlägt Rotation

    Eine Website bemerkt das Tempo vor der Adresse. Eine zufällige Pause zwischen den Anfragen verringert Sperren stärker als häufige IP-Wechsel.

    Cookies gehören zu einer Adresse

    Setzt die Website beim ersten Besuch Cookies, behalten Sie sie in der Sitzung eines Proxys und löschen Sie sie bei jedem IP-Wechsel. Cookies, die für eine Adresse ausgestellt wurden und von einer anderen kommen, wirken verdächtig.

    Mehrere Mobilfunkanbieter im Pool

    SIM-Karten von zwei oder drei Anbietern liefern Adressen aus verschiedenen Subnetzen, und der Pool steht nicht komplett still, wenn ein Anbieter Probleme hat.

    Nur die Bytes, die Sie brauchen

    Eine Seite mit Bildern und Skripten wiegt Megabytes. Fragen Sie das HTML oder die API der Website ohne zusätzliche Ressourcen ab und setzen Sie bei Professional ein Traffic-Limit für die Verbindung.

    FAQ

    Fragen und Antworten

    Wie oft lässt sich die IP per Link wechseln?

    Ein Wechsel dauert so lange wie der Flugmodus, 1 bis 20 Sekunden, plus etwa 20 Sekunden, bis sich das Handy neu verbindet. Zu häufige Anfragen weist der Link mit der Antwort Failure ab. Einen Wechsel per Timer können Sie mit einem Intervall ab drei Minuten einstellen.

    Wie viele Scraper-Threads sollten über ein Handy laufen?

    Beginnen Sie mit einem oder zwei. Die Geschwindigkeit hängt am Mobilfunknetz, und die Website sieht jeden Thread von einer Adresse und begrenzt sie früher. Steigern Sie das Volumen lieber über die Zahl der Handys im Pool. Bei Professional können Sie gleichzeitige Verbindungen für jede Verbindung begrenzen.

    Funktionieren die Proxys mit Selenium und Playwright?

    Ja. Playwright nimmt Proxy-Adresse, Login und Passwort in den Startoptionen des Browsers entgegen. Bei Selenium ist es einfacher, die IP Ihres Servers zur Liste erlaubter IPs hinzuzufügen und sich ohne Passwort mit dem Proxy zu verbinden.

    Kann ich Websites scrapen, die sich nur aus einem Land öffnen?

    Ja, wenn das Handy mit der SIM eines lokalen Mobilfunkanbieters in diesem Land arbeitet: Die Website sieht die Adresse des Anbieters. Haben Sie dort kein Handy, können Sie auf Mobihub Market einen mobilen Proxy aus diesem Land mieten.

    Warum sperrt die Website auch nach einem IP-Wechsel weiter?

    Eine Website erkennt einen Scraper nicht nur an der Adresse: auch an Cookies, Headern, Browser-Fingerprint und Anfragetempo. Löschen Sie die Sitzung zusammen mit dem IP-Wechsel, prüfen Sie den User-Agent und verlängern Sie die Pause. Hält die Sperre auf jeder Adresse an, ist das Erfassungsmuster selbst eingeschränkt.

    Was macht einen mobilen Proxy fürs Scraping besser als einen Server-Proxy?

    Ein Server-Proxy ist günstiger und schneller, aber viele geschützte Websites begrenzen Subnetze von Rechenzentren pauschal. Eine mobile Adresse teilen sich normale Kunden des Mobilfunkanbieters, deshalb wird sie seltener gesperrt. Für ungeschützte Websites reichen Server-Adressen; bei geschützten sparen mobile Proxys Zeit für Captchas und Wiederholungen.

    Testen Sie Ihre Website mit einer mobilen IP

    Der Support gibt Neukunden 24 Stunden kostenlosen Zugang. Verbinden Sie ein Handy, starten Sie das Skript an einer kurzen Seitenliste und sehen Sie, wie viele Sperren übrig bleiben.