Ana içeriğe geç
    Veri toplama ve fiyat takibi

    Web scraping için mobil proxy

    Bir scraper'ın, sitenin ilk yüz istekte kesmeyeceği bir adrese ihtiyacı vardır. Operatörün dış IP'sini yüzlerce abone paylaşır, bu yüzden onu engellemek siteye çok pahalıya mal olur. Mobihub'da proxy'ler kendi telefonlarınızda çalışır: IP betiğinizden bir bağlantıyla veya zamanlayıcıyla değişir, HTTP ve SOCKS5 aynı portu kullanır.

    3 dk'dan
    zamanlayıcıyla IP değişim aralığı
    1 bağlantı
    betiğinizden IP değişimi
    HTTP + SOCKS5
    tek portta
    100 Mbps
    Professional tarifesinde hız
    Şema: SIM kartlı üç telefon bir scraper'ı besliyor; IP değişiminden sonra bir yanıt 429'dan 200'e dönüyor

    Scraper'lar neden engellere takılır

    Siteler her adresten gelen istekleri sayar. Veri merkezi alt ağları çoktan listelere girdi ve korumalı bir site böyle bir IP'yi çoğu zaman daha ilk istekte captcha ile karşılar. Temiz bir adres bile birkaç yüz istekten sonra 429 veya doğrulama sayfası alır.

    Mobil adresi engellemek daha pahalıdır: arkasında operatörün sıradan aboneleri vardır. Limite yine de ulaşılırsa IP bir bağlantıyla değişir: telefon birkaç saniyeliğine uçak moduna geçer ve operatörden yeni bir adresle tekrar çevrimiçi olur.

    Hacim için birkaç telefonluk bir havuz gerekir. Aşağıdaki betik sayfa URL'lerini proxy'lere dağıtır ve IP'yi yalnızca engellenen proxy'de değiştirir, diğerleri çalışmaya devam eder.

    Fiyatlar

    Bir aylığına beş telefonluk havuz

    Hesaplayıcı Professional, beş cihaz ve 30 günle açılır. Scraping için tarifenin temel farkı hızdır: Beginner'daki 5 Mbps yerine 100 Mbps'ye kadar. Beş cihaz hacim indirimi getirir, “Cihaz başına / ay” satırı da tek bir proxy'nin maliyetini gösterir.

    Tarife planı
    Cihaz sayısı5
    5 cihaz daha bağlayın, cihaz başına fiyat %12 düşsün.
    Ne kadar çok cihaz ve ne kadar uzun abonelik, tek bir cihazın fiyatı o kadar düşük.
    Ödeme dönemi
    Neler dahil
    HTTP, SOCKS5 ve UDPBağlantıyla IP değişimiKullanıcı adı ve IP ile yetkilendirmeİzin verilen adres listesiTrafik ve akış limitleriAPI erişimi
    Toplam
    $32.90
    30 gün · 5 cihaz
    Günlük fiyat$1.10
    Cihaz başına / ay$6.58
    Hacim indirimi−6%
    1 günden itibaren ödeme, otomatik yenileme yok
    Kılavuz

    Havuz scraper'a nasıl bağlanır

    Adımlar iki telefon için de yirmi telefon için de aynı.

    1. Telefonları bağlayın

      İki ya da üç operatörün SIM kartlarının takılı olduğu Android telefonlara Mobihub'ı kurun ve her birinde Professional tarifesinde bir proxy oluşturun.

    2. Benzersiz IP'yi açın

      Adres değişirken telefon, bu proxy'de daha önce olmamış bir IP alana kadar birkaç deneme yapar; deneme sayısı ayarlardan belirlenir. Scraper, sitenin yakın zamanda engellediği bir adrese daha seyrek düşer.

    3. proxies.csv dosyasını hazırlayın

      Her proxy için bağlantı adresini ve IP değişim bağlantısını hesap panelinden alın. Dosyada üç sütun var: name, proxy ve rotate_url.

    4. Hızı ayarlayın

      Tek bir telefon üzerinden istekler arasında iki-üç saniyelik bir duraklamayla başlayın, engeller sıksa artırın. Sık IP değişimi sakin bir tempo yerine geçmez.

    5. Betiği çalıştırın ve özeti okuyun

      Her deneme results.jsonl dosyasına yazılır. Sonunda betik her proxy için istek, engel ve IP değişimi sayısını yazdırır.

    Çalışan kod

    Betik: engelde IP değiştiren havuzla scraping

    Betik urls.txt dosyasındaki URL'leri proxies.csv'deki proxy'lere dağıtır, her telefon için bir iş parçacığı. 403, 429 veya captcha sayfası engel sayılır: URL kuyruğa geri döner, çerezler temizlenir ve proxy'nin IP değişim bağlantısı çağrılır. Betik yeni adresi bekler ve devam eder, diğer telefonlar bu sırada çalışmayı sürdürür. IP değişmezse telefon havuzdan çıkar ve URL'lerini diğerleri alır. Sayfa kodundaki bir reCAPTCHA betiği engel sayılmaz: betik, bir insanın gördüğü doğrulama metnini arar.

    Proxy havuzu için betik özeti: her telefon için istekler, engeller ve IP değişimleri
    pool_scraper.pyPython
    import csv
    import json
    import queue
    import random
    import re
    import threading
    import time
    from concurrent.futures import ThreadPoolExecutor
    from datetime import datetime, timezone
    
    import requests
    
    PROXIES_FILE = "proxies.csv"
    URLS_FILE = "urls.txt"
    RESULTS_FILE = "results.jsonl"
    IP_ECHO = "https://api.ipify.org"
    BLOCK_CODES = {403, 429}
    BLOCK_PHRASES = ("verify you are human", "are you a robot", "unusual traffic", "access denied", "не робот")
    PAUSE = (1.5, 3.5)
    MAX_ATTEMPTS = 3
    ROTATE_TIMEOUT = 90
    REFUSED_WAIT = 60
    ROTATE_TRIES = 3
    HEADERS = {
        "User-Agent": "Mozilla/5.0 (Linux; Android 13; Pixel 7) AppleWebKit/537.36 "
        "(KHTML, like Gecko) Chrome/126.0 Mobile Safari/537.36",
    }
    
    write_lock = threading.Lock()
    
    
    def exit_ip(session):
        try:
            return session.get(IP_ECHO, timeout=15).text.strip()
        except requests.RequestException:
            return None
    
    
    def request_change(proxy):
        for attempt in range(ROTATE_TRIES):
            if attempt:
                time.sleep(REFUSED_WAIT)
            try:
                answer = requests.get(proxy["rotate_url"], timeout=15).json()
            except (requests.RequestException, ValueError):
                answer = {}
            if answer.get("result") == "Success":
                return True
        return False
    
    
    def rotate(proxy, session):
        previous = exit_ip(session)
        if not request_change(proxy):
            return False
        deadline = time.time() + ROTATE_TIMEOUT
        while time.time() < deadline:
            time.sleep(5)
            current = exit_ip(session)
            if current and current != previous:
                return True
        return False
    
    
    def visible_text(html):
        html = re.sub(r"(?is)<(script|style)\b.*?</\1>", " ", html[:20000])
        return re.sub(r"<[^>]+>", " ", html).lower()
    
    
    def blocked(response):
        if response.status_code in BLOCK_CODES:
            return True
        text = visible_text(response.text)
        return any(phrase in text for phrase in BLOCK_PHRASES)
    
    
    def handle(session, proxy, stats, tasks, url, attempt):
        record = {
            "at": datetime.now(timezone.utc).isoformat(timespec="seconds"),
            "url": url,
            "proxy": proxy["name"],
            "attempt": attempt,
        }
        retry = False
        usable = True
        try:
            response = session.get(url, timeout=30)
            stats["requests"] += 1
            record["status"] = response.status_code
            if blocked(response):
                stats["blocks"] += 1
                record["state"] = "blocked"
                retry = True
                session.cookies.clear()
                if rotate(proxy, session):
                    stats["rotations"] += 1
                else:
                    usable = False
            else:
                record["state"] = "ok"
                record["bytes"] = len(response.content)
        except requests.RequestException as error:
            record["state"] = f"error: {type(error).__name__}"
            retry = True
        if retry and attempt < MAX_ATTEMPTS:
            tasks.put((url, attempt + 1))
        return record, usable
    
    
    def worker(proxy, tasks, results):
        session = requests.Session()
        session.proxies = {"http": proxy["proxy"], "https": proxy["proxy"]}
        session.headers.update(HEADERS)
        stats = {"name": proxy["name"], "requests": 0, "blocks": 0, "rotations": 0}
        while True:
            try:
                url, attempt = tasks.get(timeout=1)
            except queue.Empty:
                if tasks.unfinished_tasks == 0:
                    return stats
                continue
            try:
                record, usable = handle(session, proxy, stats, tasks, url, attempt)
            finally:
                tasks.task_done()
            with write_lock:
                results.write(json.dumps(record, ensure_ascii=False) + "\n")
                results.flush()
            if not usable:
                print(f"{proxy['name']}: IP did not change, the proxy leaves the pool")
                return stats
            time.sleep(random.uniform(*PAUSE))
    
    
    def main():
        with open(PROXIES_FILE, newline="") as f:
            pool = list(csv.DictReader(f))
        tasks = queue.Queue()
        with open(URLS_FILE) as f:
            for line in f:
                if line.strip():
                    tasks.put((line.strip(), 1))
    
        with open(RESULTS_FILE, "a") as results, ThreadPoolExecutor(len(pool)) as executor:
            summary = list(executor.map(lambda proxy: worker(proxy, tasks, results), pool))
    
        print(f"{'proxy':<12}{'requests':>10}{'blocks':>8}{'rotations':>11}")
        for row in summary:
            print(f"{row['name']:<12}{row['requests']:>10}{row['blocks']:>8}{row['rotations']:>11}")
        if tasks.qsize():
            print(f"{tasks.qsize()} URLs left: every proxy in the pool is blocked")
    
    
    if __name__ == "__main__":
        main()

    IP değişim bağlantısı 200 koduyla yanıt verir ve gövdeye Success ya da Failure yazar. Failure örneğin değişiklik çok sık istendiğinde gelir: betik bir dakika bekler ve iki kez daha dener. Telefon uçak modundayken proxy'sine erişilemez, bu yüzden bir değişim onlarca saniye sürer.

    Tarifeler

    Scraping için hangi tarife

    Scraping için tarifeler arasındaki fark hıza ve trafik tasarrufuna iner.

    Beginner

    Siteyi test edin, betikteki hataları ayıklayın

    5 Mbps'ye kadar hız, sitenin mobil adrese nasıl tepki verdiğini görmeye ve scraper'ı kısa bir sayfa listesinde denemeye yeter.

    • 30 gün için cihaz başına $4
    • 5 Mbps'ye kadar hız
    • Bağlantıyla ve zamanlayıcıyla IP değişimi
    • Kullanıcı adı veya izinli IP listesiyle erişim
    Seç Beginner
    Tarifelerin tam karşılaştırması
    İpuçları

    Adresleri yakmadan veri nasıl toplanır

    Yalnızca herkese açık veriler

    Sitenin giriş yapmadan gösterdiklerini toplayın, kullanım koşullarına ve kişisel verilerin korunması mevzuatına uyun. Adres değiştirmek yasak bir veri toplamayı yasal hale getirmez.

    Tempo, rotasyondan önemlidir

    Site tempoyu adresten önce fark eder. İstekler arasındaki rastgele bir duraklama, engelleri sık IP değişiminden daha çok azaltır.

    Çerezler adrese aittir

    Site ilk ziyarette çerez bırakıyorsa onları tek bir proxy'nin oturumunda tutun ve her IP değişiminde temizleyin. Bir adrese verilen çerezlerin başka bir adresten gelmesi şüpheli görünür.

    Havuzda birkaç operatör

    İki ya da üç operatörün SIM kartları farklı alt ağlardan adresler verir; bir operatörde sorun çıkarsa havuz tamamen durmaz.

    Yalnızca gereken baytlar

    Görselleri ve betikleri olan bir sayfa megabaytlarca tutar. Sitenin HTML'ini veya API'sini fazladan kaynaklar olmadan isteyin, Professional'da da bağlantıya trafik limiti koyun.

    SSS

    Sorular ve cevaplar

    IP bağlantıyla ne sıklıkla değiştirilebilir?

    Bir değişim uçak modu süresi kadar, yani 1 ila 20 saniye, artı telefonun yeniden bağlanması için yaklaşık 20 saniye sürer. Bağlantı çok sık gelen istekleri Failure yanıtıyla reddeder. Zamanlayıcıyla değişim, üç dakikadan başlayan bir aralıkla ayarlanabilir.

    Bir telefondan kaç scraper iş parçacığı geçmeli?

    Bir ya da ikiyle başlayın. Hız mobil ağa bağlıdır ve site her iş parçacığını aynı adresten görür, bu yüzden onu daha erken sınırlar. Hacmi bunun yerine havuzdaki telefon sayısıyla büyütün. Professional'da her bağlantı için eşzamanlı bağlantı sayısını sınırlayabilirsiniz.

    Proxy'ler Selenium ve Playwright ile çalışır mı?

    Evet. Playwright proxy adresini, kullanıcı adını ve şifreyi tarayıcı başlatma seçeneklerinde alır. Selenium için sunucunuzun IP'sini izinli listeye eklemek ve proxy'ye şifresiz bağlanmak daha kolaydır.

    Yalnızca tek bir ülkeden açılan siteleri tarayabilir miyim?

    Evet, yerel operatör SIM'li telefon o ülkede çalışıyorsa: site operatörün adresini görür. Orada telefonunuz yoksa o ülkeden bir mobil proxy'yi Mobihub Market'te kiralayabilirsiniz.

    Site IP değişiminden sonra neden engellemeye devam ediyor?

    Bir site scraper'ı adresinden fazlasıyla tanıyabilir: çerezler, başlıklar, tarayıcı parmak izi ve istek temposu. IP değişimiyle birlikte oturumu temizleyin, User-Agent'ı kontrol edin ve duraklamayı artırın. Engel her adreste sürüyorsa sınırlanan, toplama düzeninin kendisidir.

    Scraping için mobil proxy'yi sunucu proxy'sinden üstün kılan ne?

    Sunucu proxy'si daha ucuz ve daha hızlıdır, ancak birçok korumalı site veri merkezi alt ağlarını topluca sınırlar. Mobil adresi operatörün sıradan aboneleri paylaşır, bu yüzden daha seyrek engellenir. Korumasız siteler için sunucu adresleri yeterlidir; korumalı sitelerde mobil proxy'ler captcha ve tekrar denemelerde zaman kazandırır.

    Sitenizi mobil IP'de test edin

    Destek ekibi yeni müşterilere 24 saat ücretsiz erişim verir. Bir telefon bağlayın, betiği kısa bir sayfa listesinde çalıştırın ve kaç engel kaldığını görün.