Web scraping için mobil proxy
Bir scraper'ın, sitenin ilk yüz istekte kesmeyeceği bir adrese ihtiyacı vardır. Operatörün dış IP'sini yüzlerce abone paylaşır, bu yüzden onu engellemek siteye çok pahalıya mal olur. Mobihub'da proxy'ler kendi telefonlarınızda çalışır: IP betiğinizden bir bağlantıyla veya zamanlayıcıyla değişir, HTTP ve SOCKS5 aynı portu kullanır.
- 3 dk'dan
- zamanlayıcıyla IP değişim aralığı
- 1 bağlantı
- betiğinizden IP değişimi
- HTTP + SOCKS5
- tek portta
- 100 Mbps
- Professional tarifesinde hız

Scraper'lar neden engellere takılır
Siteler her adresten gelen istekleri sayar. Veri merkezi alt ağları çoktan listelere girdi ve korumalı bir site böyle bir IP'yi çoğu zaman daha ilk istekte captcha ile karşılar. Temiz bir adres bile birkaç yüz istekten sonra 429 veya doğrulama sayfası alır.
Mobil adresi engellemek daha pahalıdır: arkasında operatörün sıradan aboneleri vardır. Limite yine de ulaşılırsa IP bir bağlantıyla değişir: telefon birkaç saniyeliğine uçak moduna geçer ve operatörden yeni bir adresle tekrar çevrimiçi olur.
Hacim için birkaç telefonluk bir havuz gerekir. Aşağıdaki betik sayfa URL'lerini proxy'lere dağıtır ve IP'yi yalnızca engellenen proxy'de değiştirir, diğerleri çalışmaya devam eder.
Bir aylığına beş telefonluk havuz
Hesaplayıcı Professional, beş cihaz ve 30 günle açılır. Scraping için tarifenin temel farkı hızdır: Beginner'daki 5 Mbps yerine 100 Mbps'ye kadar. Beş cihaz hacim indirimi getirir, “Cihaz başına / ay” satırı da tek bir proxy'nin maliyetini gösterir.
Havuz scraper'a nasıl bağlanır
Adımlar iki telefon için de yirmi telefon için de aynı.
Telefonları bağlayın
İki ya da üç operatörün SIM kartlarının takılı olduğu Android telefonlara Mobihub'ı kurun ve her birinde Professional tarifesinde bir proxy oluşturun.
Benzersiz IP'yi açın
Adres değişirken telefon, bu proxy'de daha önce olmamış bir IP alana kadar birkaç deneme yapar; deneme sayısı ayarlardan belirlenir. Scraper, sitenin yakın zamanda engellediği bir adrese daha seyrek düşer.
proxies.csv dosyasını hazırlayın
Her proxy için bağlantı adresini ve IP değişim bağlantısını hesap panelinden alın. Dosyada üç sütun var: name, proxy ve rotate_url.
Hızı ayarlayın
Tek bir telefon üzerinden istekler arasında iki-üç saniyelik bir duraklamayla başlayın, engeller sıksa artırın. Sık IP değişimi sakin bir tempo yerine geçmez.
Betiği çalıştırın ve özeti okuyun
Her deneme results.jsonl dosyasına yazılır. Sonunda betik her proxy için istek, engel ve IP değişimi sayısını yazdırır.
Betik: engelde IP değiştiren havuzla scraping
Betik urls.txt dosyasındaki URL'leri proxies.csv'deki proxy'lere dağıtır, her telefon için bir iş parçacığı. 403, 429 veya captcha sayfası engel sayılır: URL kuyruğa geri döner, çerezler temizlenir ve proxy'nin IP değişim bağlantısı çağrılır. Betik yeni adresi bekler ve devam eder, diğer telefonlar bu sırada çalışmayı sürdürür. IP değişmezse telefon havuzdan çıkar ve URL'lerini diğerleri alır. Sayfa kodundaki bir reCAPTCHA betiği engel sayılmaz: betik, bir insanın gördüğü doğrulama metnini arar.

import csv
import json
import queue
import random
import re
import threading
import time
from concurrent.futures import ThreadPoolExecutor
from datetime import datetime, timezone
import requests
PROXIES_FILE = "proxies.csv"
URLS_FILE = "urls.txt"
RESULTS_FILE = "results.jsonl"
IP_ECHO = "https://api.ipify.org"
BLOCK_CODES = {403, 429}
BLOCK_PHRASES = ("verify you are human", "are you a robot", "unusual traffic", "access denied", "не робот")
PAUSE = (1.5, 3.5)
MAX_ATTEMPTS = 3
ROTATE_TIMEOUT = 90
REFUSED_WAIT = 60
ROTATE_TRIES = 3
HEADERS = {
"User-Agent": "Mozilla/5.0 (Linux; Android 13; Pixel 7) AppleWebKit/537.36 "
"(KHTML, like Gecko) Chrome/126.0 Mobile Safari/537.36",
}
write_lock = threading.Lock()
def exit_ip(session):
try:
return session.get(IP_ECHO, timeout=15).text.strip()
except requests.RequestException:
return None
def request_change(proxy):
for attempt in range(ROTATE_TRIES):
if attempt:
time.sleep(REFUSED_WAIT)
try:
answer = requests.get(proxy["rotate_url"], timeout=15).json()
except (requests.RequestException, ValueError):
answer = {}
if answer.get("result") == "Success":
return True
return False
def rotate(proxy, session):
previous = exit_ip(session)
if not request_change(proxy):
return False
deadline = time.time() + ROTATE_TIMEOUT
while time.time() < deadline:
time.sleep(5)
current = exit_ip(session)
if current and current != previous:
return True
return False
def visible_text(html):
html = re.sub(r"(?is)<(script|style)\b.*?</\1>", " ", html[:20000])
return re.sub(r"<[^>]+>", " ", html).lower()
def blocked(response):
if response.status_code in BLOCK_CODES:
return True
text = visible_text(response.text)
return any(phrase in text for phrase in BLOCK_PHRASES)
def handle(session, proxy, stats, tasks, url, attempt):
record = {
"at": datetime.now(timezone.utc).isoformat(timespec="seconds"),
"url": url,
"proxy": proxy["name"],
"attempt": attempt,
}
retry = False
usable = True
try:
response = session.get(url, timeout=30)
stats["requests"] += 1
record["status"] = response.status_code
if blocked(response):
stats["blocks"] += 1
record["state"] = "blocked"
retry = True
session.cookies.clear()
if rotate(proxy, session):
stats["rotations"] += 1
else:
usable = False
else:
record["state"] = "ok"
record["bytes"] = len(response.content)
except requests.RequestException as error:
record["state"] = f"error: {type(error).__name__}"
retry = True
if retry and attempt < MAX_ATTEMPTS:
tasks.put((url, attempt + 1))
return record, usable
def worker(proxy, tasks, results):
session = requests.Session()
session.proxies = {"http": proxy["proxy"], "https": proxy["proxy"]}
session.headers.update(HEADERS)
stats = {"name": proxy["name"], "requests": 0, "blocks": 0, "rotations": 0}
while True:
try:
url, attempt = tasks.get(timeout=1)
except queue.Empty:
if tasks.unfinished_tasks == 0:
return stats
continue
try:
record, usable = handle(session, proxy, stats, tasks, url, attempt)
finally:
tasks.task_done()
with write_lock:
results.write(json.dumps(record, ensure_ascii=False) + "\n")
results.flush()
if not usable:
print(f"{proxy['name']}: IP did not change, the proxy leaves the pool")
return stats
time.sleep(random.uniform(*PAUSE))
def main():
with open(PROXIES_FILE, newline="") as f:
pool = list(csv.DictReader(f))
tasks = queue.Queue()
with open(URLS_FILE) as f:
for line in f:
if line.strip():
tasks.put((line.strip(), 1))
with open(RESULTS_FILE, "a") as results, ThreadPoolExecutor(len(pool)) as executor:
summary = list(executor.map(lambda proxy: worker(proxy, tasks, results), pool))
print(f"{'proxy':<12}{'requests':>10}{'blocks':>8}{'rotations':>11}")
for row in summary:
print(f"{row['name']:<12}{row['requests']:>10}{row['blocks']:>8}{row['rotations']:>11}")
if tasks.qsize():
print(f"{tasks.qsize()} URLs left: every proxy in the pool is blocked")
if __name__ == "__main__":
main()IP değişim bağlantısı 200 koduyla yanıt verir ve gövdeye Success ya da Failure yazar. Failure örneğin değişiklik çok sık istendiğinde gelir: betik bir dakika bekler ve iki kez daha dener. Telefon uçak modundayken proxy'sine erişilemez, bu yüzden bir değişim onlarca saniye sürer.
Scraping için hangi tarife
Scraping için tarifeler arasındaki fark hıza ve trafik tasarrufuna iner.
Siteyi test edin, betikteki hataları ayıklayın
5 Mbps'ye kadar hız, sitenin mobil adrese nasıl tepki verdiğini görmeye ve scraper'ı kısa bir sayfa listesinde denemeye yeter.
- 30 gün için cihaz başına $4
- 5 Mbps'ye kadar hız
- Bağlantıyla ve zamanlayıcıyla IP değişimi
- Kullanıcı adı veya izinli IP listesiyle erişim
Sürekli veri toplama
Cihaz başına 100 Mbps'ye kadar hız, Benzersiz IP ve SmartRelay: telefon sayfaları mobil ağ üzerinden indirir ve sunucuya Wi‑Fi üzerinden gönderir, böylece SIM'in veri paketi yaklaşık yarı hızda tükenir.
- 30 gün için cihaz başına $7
- 100 Mbps'ye kadar hız
- Değişimden sonra Benzersiz IP
- SmartRelay ve hacim indirimi
Adresleri yakmadan veri nasıl toplanır
Yalnızca herkese açık veriler
Sitenin giriş yapmadan gösterdiklerini toplayın, kullanım koşullarına ve kişisel verilerin korunması mevzuatına uyun. Adres değiştirmek yasak bir veri toplamayı yasal hale getirmez.
Tempo, rotasyondan önemlidir
Site tempoyu adresten önce fark eder. İstekler arasındaki rastgele bir duraklama, engelleri sık IP değişiminden daha çok azaltır.
Çerezler adrese aittir
Site ilk ziyarette çerez bırakıyorsa onları tek bir proxy'nin oturumunda tutun ve her IP değişiminde temizleyin. Bir adrese verilen çerezlerin başka bir adresten gelmesi şüpheli görünür.
Havuzda birkaç operatör
İki ya da üç operatörün SIM kartları farklı alt ağlardan adresler verir; bir operatörde sorun çıkarsa havuz tamamen durmaz.
Yalnızca gereken baytlar
Görselleri ve betikleri olan bir sayfa megabaytlarca tutar. Sitenin HTML'ini veya API'sini fazladan kaynaklar olmadan isteyin, Professional'da da bağlantıya trafik limiti koyun.
Sorular ve cevaplar
IP bağlantıyla ne sıklıkla değiştirilebilir?
Bir telefondan kaç scraper iş parçacığı geçmeli?
Proxy'ler Selenium ve Playwright ile çalışır mı?
Yalnızca tek bir ülkeden açılan siteleri tarayabilir miyim?
Site IP değişiminden sonra neden engellemeye devam ediyor?
Scraping için mobil proxy'yi sunucu proxy'sinden üstün kılan ne?
Diğer görevler için mobil proxy
Sitenizi mobil IP'de test edin
Destek ekibi yeni müşterilere 24 saat ücretsiz erişim verir. Bir telefon bağlayın, betiği kısa bir sayfa listesinde çalıştırın ve kaç engel kaldığını görün.