Aller au contenu principal
    Collecte de données et veille tarifaire

    Proxys mobiles pour le web scraping

    Un scraper a besoin d'une adresse que le site ne coupera pas dès la première centaine de requêtes. Des centaines d'abonnés partagent l'IP externe d'un opérateur, et la bloquer coûte trop cher au site. Chez Mobihub, les proxys tournent sur vos propres téléphones : l'IP change par un lien depuis votre script ou par minuterie, et HTTP et SOCKS5 partagent un seul port.

    dès 3 min
    intervalle de changement d'IP par minuterie
    1 lien
    changement d'IP depuis votre script
    HTTP + SOCKS5
    sur un seul port
    100 Mbps
    vitesse sur le forfait Professional
    Schéma : trois téléphones avec cartes SIM alimentent un scraper ; une réponse passe de 429 à 200 après un changement d'IP

    Pourquoi les scrapers se font bloquer

    Les sites comptent les requêtes de chaque adresse. Les sous-réseaux des data centers sont fichés depuis longtemps, et un site protégé accueille souvent une telle IP par un captcha dès la première requête. Même une adresse propre reçoit un 429 ou une page de vérification après quelques centaines d'accès.

    Une adresse mobile coûte plus cher à bloquer : derrière elle se trouvent des abonnés ordinaires de l'opérateur. Si la limite est quand même atteinte, l'IP change par un lien : le téléphone passe en mode avion quelques secondes et revient en ligne avec une nouvelle adresse de l'opérateur.

    Le volume demande un pool de plusieurs téléphones. Le script ci-dessous répartit les URL des pages entre les proxys et ne change l'IP que sur celui qui a été bloqué, pendant que les autres continuent de travailler.

    Tarifs

    Un pool de cinq téléphones pour un mois

    Le widget s'ouvre sur Professional, cinq appareils et 30 jours. Pour le scraping, la principale différence du forfait est la vitesse : jusqu'à 100 Mbps au lieu de 5 Mbps sur Beginner. Cinq appareils donnent droit à une remise sur volume, et la ligne « Par appareil / mois » montre le coût d'un proxy.

    Forfait
    Nombre d'appareils5
    Connectez 5 appareil(s) de plus et le prix par appareil baisse de 12 %.
    Plus il y a d'appareils et plus l'abonnement est long, moins un appareil coûte cher.
    Période de paiement
    Ce qui est inclus
    HTTP, SOCKS5 et UDPChangement d'IP par lienAuthentification par identifiant et IPListe d'adresses autoriséesLimites de trafic et de fluxAccès API
    Total
    $32.90
    pour 30 jours · 5 appareils
    Prix par jour$1.10
    Par appareil / mois$6.58
    Remise sur volume−6%
    Paiement dès 1 jour, sans renouvellement automatique
    Mode d'emploi

    Comment brancher un pool sur un scraper

    Les étapes sont les mêmes pour deux téléphones comme pour vingt.

    1. Connectez les téléphones

      Installez Mobihub sur des téléphones Android avec des cartes SIM de deux ou trois opérateurs et créez sur chacun un proxy au forfait Professional.

    2. Activez l'IP unique

      Lors du changement d'adresse, le téléphone fait plusieurs tentatives jusqu'à obtenir une IP que ce proxy n'a pas encore eue ; le nombre de tentatives se règle dans les paramètres. Le scraper tombe moins souvent sur une adresse que le site a récemment bloquée.

    3. Préparez proxies.csv

      Pour chaque proxy, prenez l'adresse de connexion et le lien de changement d'IP dans l'espace client. Le fichier a trois colonnes : name, proxy et rotate_url.

    4. Réglez le rythme

      Commencez par une pause de deux à trois secondes entre les requêtes via un même téléphone et augmentez-la si les blocages sont fréquents. Des changements d'IP fréquents ne remplacent pas un rythme calme.

    5. Lancez le script et lisez le bilan

      Chaque tentative est écrite dans results.jsonl. À la fin, le script affiche le nombre de requêtes, de blocages et de changements d'IP pour chaque proxy.

    Code prêt à l'emploi

    Script : scraping via un pool qui change d'IP sur blocage

    Le script répartit les URL de urls.txt entre les proxys de proxies.csv, un thread par téléphone. Un 403, un 429 ou une page de captcha compte comme un blocage : l'URL retourne dans la file, les cookies sont effacés et le lien de changement d'IP du proxy est appelé. Le script attend la nouvelle adresse et reprend pendant que les autres téléphones continuent. Si l'IP ne change pas, le téléphone quitte le pool et les autres reprennent ses URL. Un script reCAPTCHA dans le code de la page ne compte pas comme un blocage : le script cherche le texte de vérification que voit une personne.

    Bilan du script pour un pool de proxys : requêtes, blocages et changements d'IP pour chaque téléphone
    pool_scraper.pyPython
    import csv
    import json
    import queue
    import random
    import re
    import threading
    import time
    from concurrent.futures import ThreadPoolExecutor
    from datetime import datetime, timezone
    
    import requests
    
    PROXIES_FILE = "proxies.csv"
    URLS_FILE = "urls.txt"
    RESULTS_FILE = "results.jsonl"
    IP_ECHO = "https://api.ipify.org"
    BLOCK_CODES = {403, 429}
    BLOCK_PHRASES = ("verify you are human", "are you a robot", "unusual traffic", "access denied", "не робот")
    PAUSE = (1.5, 3.5)
    MAX_ATTEMPTS = 3
    ROTATE_TIMEOUT = 90
    REFUSED_WAIT = 60
    ROTATE_TRIES = 3
    HEADERS = {
        "User-Agent": "Mozilla/5.0 (Linux; Android 13; Pixel 7) AppleWebKit/537.36 "
        "(KHTML, like Gecko) Chrome/126.0 Mobile Safari/537.36",
    }
    
    write_lock = threading.Lock()
    
    
    def exit_ip(session):
        try:
            return session.get(IP_ECHO, timeout=15).text.strip()
        except requests.RequestException:
            return None
    
    
    def request_change(proxy):
        for attempt in range(ROTATE_TRIES):
            if attempt:
                time.sleep(REFUSED_WAIT)
            try:
                answer = requests.get(proxy["rotate_url"], timeout=15).json()
            except (requests.RequestException, ValueError):
                answer = {}
            if answer.get("result") == "Success":
                return True
        return False
    
    
    def rotate(proxy, session):
        previous = exit_ip(session)
        if not request_change(proxy):
            return False
        deadline = time.time() + ROTATE_TIMEOUT
        while time.time() < deadline:
            time.sleep(5)
            current = exit_ip(session)
            if current and current != previous:
                return True
        return False
    
    
    def visible_text(html):
        html = re.sub(r"(?is)<(script|style)\b.*?</\1>", " ", html[:20000])
        return re.sub(r"<[^>]+>", " ", html).lower()
    
    
    def blocked(response):
        if response.status_code in BLOCK_CODES:
            return True
        text = visible_text(response.text)
        return any(phrase in text for phrase in BLOCK_PHRASES)
    
    
    def handle(session, proxy, stats, tasks, url, attempt):
        record = {
            "at": datetime.now(timezone.utc).isoformat(timespec="seconds"),
            "url": url,
            "proxy": proxy["name"],
            "attempt": attempt,
        }
        retry = False
        usable = True
        try:
            response = session.get(url, timeout=30)
            stats["requests"] += 1
            record["status"] = response.status_code
            if blocked(response):
                stats["blocks"] += 1
                record["state"] = "blocked"
                retry = True
                session.cookies.clear()
                if rotate(proxy, session):
                    stats["rotations"] += 1
                else:
                    usable = False
            else:
                record["state"] = "ok"
                record["bytes"] = len(response.content)
        except requests.RequestException as error:
            record["state"] = f"error: {type(error).__name__}"
            retry = True
        if retry and attempt < MAX_ATTEMPTS:
            tasks.put((url, attempt + 1))
        return record, usable
    
    
    def worker(proxy, tasks, results):
        session = requests.Session()
        session.proxies = {"http": proxy["proxy"], "https": proxy["proxy"]}
        session.headers.update(HEADERS)
        stats = {"name": proxy["name"], "requests": 0, "blocks": 0, "rotations": 0}
        while True:
            try:
                url, attempt = tasks.get(timeout=1)
            except queue.Empty:
                if tasks.unfinished_tasks == 0:
                    return stats
                continue
            try:
                record, usable = handle(session, proxy, stats, tasks, url, attempt)
            finally:
                tasks.task_done()
            with write_lock:
                results.write(json.dumps(record, ensure_ascii=False) + "\n")
                results.flush()
            if not usable:
                print(f"{proxy['name']}: IP did not change, the proxy leaves the pool")
                return stats
            time.sleep(random.uniform(*PAUSE))
    
    
    def main():
        with open(PROXIES_FILE, newline="") as f:
            pool = list(csv.DictReader(f))
        tasks = queue.Queue()
        with open(URLS_FILE) as f:
            for line in f:
                if line.strip():
                    tasks.put((line.strip(), 1))
    
        with open(RESULTS_FILE, "a") as results, ThreadPoolExecutor(len(pool)) as executor:
            summary = list(executor.map(lambda proxy: worker(proxy, tasks, results), pool))
    
        print(f"{'proxy':<12}{'requests':>10}{'blocks':>8}{'rotations':>11}")
        for row in summary:
            print(f"{row['name']:<12}{row['requests']:>10}{row['blocks']:>8}{row['rotations']:>11}")
        if tasks.qsize():
            print(f"{tasks.qsize()} URLs left: every proxy in the pool is blocked")
    
    
    if __name__ == "__main__":
        main()

    Le lien de changement d'IP répond avec le code 200 et écrit Success ou Failure dans le corps. Failure arrive par exemple quand les changements sont demandés trop souvent : le script attend une minute et réessaie deux fois. Tant que le téléphone est en mode avion, son proxy est injoignable, donc un changement prend quelques dizaines de secondes.

    Forfaits

    Quel forfait choisir pour le scraping

    Pour le scraping, la différence entre les forfaits se résume à la vitesse et aux économies de trafic.

    Beginner

    Tester le site et déboguer le script

    Jusqu'à 5 Mbps suffisent pour voir comment le site réagit à une adresse mobile et pour déboguer le scraper sur une courte liste de pages.

    • $4 par appareil pour 30 jours
    • Vitesse jusqu'à 5 Mbps
    • Changement d'IP par lien et par minuterie
    • Accès par identifiant ou liste d'IP autorisées
    Choisir Beginner
    Comparer tous les forfaits
    Conseils

    Collecter des données sans griller les adresses

    Uniquement des données publiques

    Collectez ce que le site affiche sans connexion, respectez ses conditions et les lois sur les données personnelles. Changer d'adresse ne rend pas légale une collecte interdite.

    Le rythme compte plus que la rotation

    Un site remarque le rythme avant l'adresse. Une pause aléatoire entre les requêtes réduit davantage les blocages que des changements d'IP fréquents.

    Les cookies appartiennent à une adresse

    Si le site pose des cookies à la première visite, gardez-les dans la session d'un seul proxy et effacez-les à chaque changement d'IP. Des cookies émis pour une adresse qui arrivent d'une autre paraissent suspects.

    Plusieurs opérateurs dans le pool

    Des cartes SIM de deux ou trois opérateurs donnent des adresses de sous-réseaux différents, et le pool ne s'arrête pas complètement si un opérateur a un souci.

    Seulement les octets utiles

    Une page avec images et scripts pèse des mégaoctets. Demandez le HTML ou l'API du site sans ressources superflues, et en Professional fixez une limite de trafic sur la connexion.

    FAQ

    Questions et réponses

    À quelle fréquence peut-on changer l'IP par lien ?

    Un changement prend la durée du mode avion, de 1 à 20 secondes, plus environ 20 secondes pour que le téléphone se reconnecte. Le lien refuse les requêtes trop rapprochées avec une réponse Failure. Un changement par minuterie peut être réglé avec un intervalle à partir de trois minutes.

    Combien de threads de scraper faire passer par un téléphone ?

    Commencez par un ou deux. La vitesse dépend du réseau mobile, et le site voit tous les threads venir d'une seule adresse et les limite plus tôt. Augmentez plutôt le volume avec le nombre de téléphones du pool. En Professional, vous pouvez plafonner les connexions simultanées de chaque connexion.

    Les proxys fonctionnent-ils avec Selenium et Playwright ?

    Oui. Playwright prend l'adresse du proxy, l'identifiant et le mot de passe dans les options de lancement du navigateur. Pour Selenium, le plus simple est d'ajouter l'IP de votre serveur à la liste autorisée et de vous connecter au proxy sans mot de passe.

    Puis-je scraper des sites accessibles depuis un seul pays ?

    Oui, si le téléphone avec la SIM d'un opérateur local se trouve dans ce pays : le site voit l'adresse de l'opérateur. Si vous n'avez pas de téléphone là-bas, vous pouvez louer un proxy mobile de ce pays sur Mobihub Market.

    Pourquoi le site bloque-t-il encore après un changement d'IP ?

    Un site peut reconnaître un scraper à autre chose que son adresse : cookies, en-têtes, empreinte du navigateur et rythme des requêtes. Videz la session en même temps que vous changez d'IP, vérifiez le User-Agent et allongez la pause. Si le blocage tient sur toutes les adresses, c'est le schéma de collecte lui-même qui est limité.

    En quoi un proxy mobile est-il meilleur qu'un proxy serveur pour le scraping ?

    Un proxy serveur est moins cher et plus rapide, mais beaucoup de sites protégés limitent les sous-réseaux des data centers en bloc. Une adresse mobile est partagée par des abonnés ordinaires de l'opérateur, elle est donc bloquée moins souvent. Pour les sites non protégés, les adresses serveur suffisent ; pour les sites protégés, les proxys mobiles font gagner du temps sur les captchas et les nouvelles tentatives.
    Solutions

    Proxys mobiles pour d'autres usages

    Proxys mobiles pour InstagramUne IP neuve à chaque session et un journal des connexions pour votre équipe SMM.Proxys mobiles pour FacebookUne adresse propre pour les comptes publicitaires et un audit du pool d'IP de votre SIM.Proxys mobiles pour TikTokLa région du compte selon le lieu du téléphone et un contrôle de la géo avant de publier.Proxys mobiles pour AvitoUne adresse d'opérateur de votre région et des contrôles planifiés de vos annonces.Proxys mobiles pour navigateurs antidetectDes listes prêtes à importer pour Dolphin Anty, Octo, AdsPower et les autres.Proxys mobiles pour TelegramVotre propre adresse d'opérateur pour vos comptes et des liens t.me/socks prêts à l'emploi.Proxys mobiles pour Google AdsDes comptes clients sur des adresses séparées et le contrôle des pages de destination depuis un réseau mobile.Proxys mobiles pour YouTubeLes chaînes des clients sur des adresses séparées, les vidéos vérifiées dans le pays du public.Proxys mobiles pour le SEORésultats mobiles de la région du téléphone et tests du site selon l'opérateur.Revendre des proxys mobilesUn accès et des limites par acheteur, plus un rapport de locations et de paiements.Gagner de l'argent avec des proxys mobiles sur une marketplaceLe catalogue amène les acheteurs, la location est facturée à la minute, les revenus sont retirés en USDT.Rentabiliser un vieux téléphoneUn vieil Android avec une carte SIM se loue comme proxy mobile.Votre propre ferme de proxys mobilesTéléphones, cartes SIM, alimentation, coûts et surveillance du rack.

    Testez votre site sur une IP mobile

    Le support offre 24 heures d'accès gratuit aux nouveaux clients. Connectez un téléphone, lancez le script sur une courte liste de pages et voyez combien de blocages il reste.