بروكسي موبايل لسحب بيانات المواقع
يحتاج السكرابر إلى عنوان لن يقطعه الموقع خلال أول مئة طلب. يتشارك مئات المشتركين عنوان IP الخارجي للمشغّل، لذا يكلّف حظره الموقع ثمنًا باهظًا. في Mobihub تعمل البروكسيات على هواتفك: يتغير IP برابط من السكربت أو بمؤقت، ويعمل HTTP وSOCKS5 على منفذ واحد.
- من 3 دقائق
- فاصل تغيير IP بالمؤقت
- رابط واحد
- لتغيير IP من السكربت
- HTTP + SOCKS5
- على منفذ واحد
- 100 Mbps
- السرعة على باقة Professional

لماذا تصطدم السكرابرات بالحظر
تحصي المواقع الطلبات من كل عنوان. شبكات مراكز البيانات مدرجة في القوائم منذ زمن، وكثيرًا ما يستقبل الموقع المحمي عنوانًا كهذا باختبار captcha من الطلب الأول. وحتى العنوان النظيف يتلقى 429 أو صفحة تحقق بعد بضع مئات من الطلبات.
حظر عنوان الموبايل أكثر كلفة: خلفه مشتركون عاديون لدى المشغّل. وإذا بلغت الحد رغم ذلك، يتغير IP برابط: يدخل الهاتف وضع الطيران لبضع ثوانٍ ثم يعود إلى الشبكة بعنوان جديد من المشغّل.
الحجم الكبير يحتاج إلى مجموعة من عدة هواتف. يوزّع السكربت أدناه روابط الصفحات على البروكسيات ويغيّر IP فقط على البروكسي الذي حُظر، بينما تواصل البقية العمل.
مجموعة من خمسة هواتف لمدة شهر
تفتح الأداة على باقة Professional بخمسة أجهزة و30 يومًا. الفرق الأساسي للباقة في سحب البيانات هو السرعة: حتى 100 Mbps بدلًا من 5 Mbps على Beginner. تمنح خمسة أجهزة خصم الكمية، ويُظهر سطر «لكل جهاز / شهريًا» تكلفة بروكسي واحد.
كيف تربط مجموعة بروكسيات بالسكرابر
الخطوات نفسها لهاتفين أو لعشرين هاتفًا.
اربط الهواتف
ثبّت Mobihub على هواتف Android بشرائح SIM من مشغّلَين أو ثلاثة، وأنشئ على كل منها بروكسي على باقة Professional.
فعّل IP فريد
عند تغيير العنوان يكرر الهاتف المحاولة حتى يحصل على IP لم يستخدمه هذا البروكسي من قبل؛ ويُضبط عدد المحاولات في الإعدادات. هكذا يقل وقوع السكرابر على عنوان حظره الموقع مؤخرًا.
أنشئ proxies.csv
خذ لكل بروكسي عنوان الاتصال ورابط تغيير IP من لوحة التحكم. يحتوي الملف على ثلاثة أعمدة: name وproxy وrotate_url.
اضبط الإيقاع
ابدأ بفاصل ثانيتين إلى ثلاث بين الطلبات عبر هاتف واحد، وزِده إذا تكرر الحظر. التغيير المتكرر لعنوان IP لا يغني عن إيقاع هادئ.
شغّل السكربت واقرأ الملخص
تُكتب كل محاولة في results.jsonl. في النهاية يطبع السكربت عدد الطلبات وحالات الحظر وتغييرات IP لكل بروكسي.
سكربت: سحب البيانات عبر مجموعة تغيّر العنوان عند الحظر
يوزّع السكربت الروابط من urls.txt على البروكسيات في proxies.csv، بخيط واحد لكل هاتف. يُعد الرمز 403 أو 429 أو صفحة captcha حظرًا: يعود الرابط إلى الطابور، وتُمسح ملفات cookies ويُستدعى رابط تغيير IP للبروكسي. ينتظر السكربت العنوان الجديد ويتابع، بينما تواصل الهواتف الأخرى العمل. إذا فشل تغيير IP، يخرج الهاتف من المجموعة وتأخذ الهواتف الأخرى روابطه. لا يُعد سكربت reCAPTCHA في شيفرة الصفحة حظرًا: يبحث السكربت عن نص الاختبار الذي يراه الإنسان.

import csv
import json
import queue
import random
import re
import threading
import time
from concurrent.futures import ThreadPoolExecutor
from datetime import datetime, timezone
import requests
PROXIES_FILE = "proxies.csv"
URLS_FILE = "urls.txt"
RESULTS_FILE = "results.jsonl"
IP_ECHO = "https://api.ipify.org"
BLOCK_CODES = {403, 429}
BLOCK_PHRASES = ("verify you are human", "are you a robot", "unusual traffic", "access denied", "не робот")
PAUSE = (1.5, 3.5)
MAX_ATTEMPTS = 3
ROTATE_TIMEOUT = 90
REFUSED_WAIT = 60
ROTATE_TRIES = 3
HEADERS = {
"User-Agent": "Mozilla/5.0 (Linux; Android 13; Pixel 7) AppleWebKit/537.36 "
"(KHTML, like Gecko) Chrome/126.0 Mobile Safari/537.36",
}
write_lock = threading.Lock()
def exit_ip(session):
try:
return session.get(IP_ECHO, timeout=15).text.strip()
except requests.RequestException:
return None
def request_change(proxy):
for attempt in range(ROTATE_TRIES):
if attempt:
time.sleep(REFUSED_WAIT)
try:
answer = requests.get(proxy["rotate_url"], timeout=15).json()
except (requests.RequestException, ValueError):
answer = {}
if answer.get("result") == "Success":
return True
return False
def rotate(proxy, session):
previous = exit_ip(session)
if not request_change(proxy):
return False
deadline = time.time() + ROTATE_TIMEOUT
while time.time() < deadline:
time.sleep(5)
current = exit_ip(session)
if current and current != previous:
return True
return False
def visible_text(html):
html = re.sub(r"(?is)<(script|style)\b.*?</\1>", " ", html[:20000])
return re.sub(r"<[^>]+>", " ", html).lower()
def blocked(response):
if response.status_code in BLOCK_CODES:
return True
text = visible_text(response.text)
return any(phrase in text for phrase in BLOCK_PHRASES)
def handle(session, proxy, stats, tasks, url, attempt):
record = {
"at": datetime.now(timezone.utc).isoformat(timespec="seconds"),
"url": url,
"proxy": proxy["name"],
"attempt": attempt,
}
retry = False
usable = True
try:
response = session.get(url, timeout=30)
stats["requests"] += 1
record["status"] = response.status_code
if blocked(response):
stats["blocks"] += 1
record["state"] = "blocked"
retry = True
session.cookies.clear()
if rotate(proxy, session):
stats["rotations"] += 1
else:
usable = False
else:
record["state"] = "ok"
record["bytes"] = len(response.content)
except requests.RequestException as error:
record["state"] = f"error: {type(error).__name__}"
retry = True
if retry and attempt < MAX_ATTEMPTS:
tasks.put((url, attempt + 1))
return record, usable
def worker(proxy, tasks, results):
session = requests.Session()
session.proxies = {"http": proxy["proxy"], "https": proxy["proxy"]}
session.headers.update(HEADERS)
stats = {"name": proxy["name"], "requests": 0, "blocks": 0, "rotations": 0}
while True:
try:
url, attempt = tasks.get(timeout=1)
except queue.Empty:
if tasks.unfinished_tasks == 0:
return stats
continue
try:
record, usable = handle(session, proxy, stats, tasks, url, attempt)
finally:
tasks.task_done()
with write_lock:
results.write(json.dumps(record, ensure_ascii=False) + "\n")
results.flush()
if not usable:
print(f"{proxy['name']}: IP did not change, the proxy leaves the pool")
return stats
time.sleep(random.uniform(*PAUSE))
def main():
with open(PROXIES_FILE, newline="") as f:
pool = list(csv.DictReader(f))
tasks = queue.Queue()
with open(URLS_FILE) as f:
for line in f:
if line.strip():
tasks.put((line.strip(), 1))
with open(RESULTS_FILE, "a") as results, ThreadPoolExecutor(len(pool)) as executor:
summary = list(executor.map(lambda proxy: worker(proxy, tasks, results), pool))
print(f"{'proxy':<12}{'requests':>10}{'blocks':>8}{'rotations':>11}")
for row in summary:
print(f"{row['name']:<12}{row['requests']:>10}{row['blocks']:>8}{row['rotations']:>11}")
if tasks.qsize():
print(f"{tasks.qsize()} URLs left: every proxy in the pool is blocked")
if __name__ == "__main__":
main()يرد رابط تغيير IP بالرمز 200 ويكتب Success أو Failure في المتن. تأتي Failure مثلًا عند طلب التغيير بكثرة: ينتظر السكربت دقيقة ويحاول مرتين أخريين. وما دام الهاتف في وضع الطيران فبروكسيه غير متاح، لذا يستغرق التغيير عشرات الثواني.
أي باقة تختار لسحب البيانات
في سحب البيانات يتلخص الفرق بين الباقتين في السرعة وتوفير الترافيك.
اختبار الموقع وتصحيح السكربت
تكفي سرعة حتى 5 Mbps لمعرفة كيف يتعامل الموقع مع عنوان موبايل ولتصحيح السكرابر على قائمة قصيرة من الصفحات.
- $4 للجهاز لمدة 30 يومًا
- سرعة حتى 5 Mbps
- تغيير IP برابط وبمؤقت
- الوصول باسم المستخدم أو بقائمة عناوين IP مسموح بها
جمع بيانات مستمر
حتى 100 Mbps لكل جهاز، وIP فريد وSmartRelay: ينزّل الهاتف الصفحات عبر شبكة الموبايل ويرسلها إلى الخادم عبر Wi‑Fi، فتُستهلك باقة بيانات شريحة SIM بنصف السرعة تقريبًا.
- $7 للجهاز لمدة 30 يومًا
- سرعة حتى 100 Mbps
- IP فريد بعد التغيير
- SmartRelay وخصم الكمية
كيف تجمع البيانات دون أن تحرق العناوين
البيانات العامة فقط
اجمع ما يعرضه الموقع دون تسجيل الدخول، والتزم بشروطه وبقوانين البيانات الشخصية. تغيير العنوان لا يجعل الجمع المحظور قانونيًا.
الإيقاع أهم من التدوير
يلاحظ الموقع الإيقاع قبل العنوان. الفاصل العشوائي بين الطلبات يقلل الحظر أكثر من التغيير المتكرر لعنوان IP.
ملفات cookies مرتبطة بالعنوان
إذا وضع الموقع cookies في الزيارة الأولى، فاحتفظ بها ضمن جلسة بروكسي واحد وامسحها مع كل تغيير لعنوان IP. وصول cookies صادرة لعنوان من عنوان آخر يبدو مريبًا.
عدة مشغّلين في المجموعة
تمنح شرائح SIM من مشغّلَين أو ثلاثة عناوين من شبكات فرعية مختلفة، ولن تتوقف المجموعة كليًا إذا واجه أحد المشغّلين مشكلة.
البايتات التي تحتاجها فقط
تزن الصفحة بصورها وسكربتاتها عدة ميغابايتات. اطلب HTML الموقع أو API دون موارد زائدة، وعلى Professional اضبط حد الترافيك على الاتصال.
أسئلة وأجوبة
كم مرة يمكن تغيير IP برابط؟
كم خيطًا للسكرابر يجب أن يمر عبر هاتف واحد؟
هل تعمل البروكسيات مع Selenium وPlaywright؟
هل يمكنني سحب بيانات مواقع لا تُفتح إلا من دولة واحدة؟
لماذا يستمر الموقع في الحظر بعد تغيير IP؟
ما الذي يجعل بروكسي الموبايل أفضل من بروكسي الخوادم لسحب البيانات؟
بروكسيات موبايل لمهام أخرى
اختبر موقعك على IP موبايل
يمنح الدعم الفني العملاء الجدد 24 ساعة من الوصول المجاني. اربط هاتفًا، وشغّل السكربت على قائمة قصيرة من الصفحات، وانظر كم حالة حظر تبقى.