פרוקסי סלולרי לסקרייפינג
סקרייפר צריך כתובת שהאתר לא יחסום כבר במאה הבקשות הראשונות. מאות מנויים חולקים את ה-IP החיצוני של ספק הסלולר, ולכן חסימה שלו עולה לאתר יותר מדי. ב-Mobihub הפרוקסי רץ על הטלפונים שלך: ה-IP מתחלף בקישור מתוך הסקריפט או לפי טיימר, ו-HTTP ו-SOCKS5 חולקים פורט אחד.
- מ-3 דק'
- מרווח החלפת IP לפי טיימר
- קישור 1
- החלפת IP מתוך הסקריפט
- HTTP + SOCKS5
- על פורט אחד
- 100 Mbps
- מהירות בתוכנית Professional

למה סקרייפרים נתקלים בחסימות
אתרים סופרים את הבקשות מכל כתובת. רשתות משנה של מרכזי נתונים נמצאות ברשימות מזמן, ואתר מוגן מקבל IP כזה לעיתים קרובות עם captcha כבר בבקשה הראשונה. גם כתובת נקייה מקבלת 429 או דף אתגר אחרי כמה מאות פניות.
כתובת סלולרית יקרה יותר לחסימה: מאחוריה עומדים מנויים רגילים של ספק הסלולר. אם המגבלה בכל זאת הושגה, ה-IP מתחלף בקישור: הטלפון עובר למצב טיסה לכמה שניות וחוזר לרשת עם כתובת חדשה מהספק.
נפח עבודה דורש מאגר של כמה טלפונים. הסקריפט שלמטה מחלק כתובות דפים בין הפרוקסי ומחליף IP רק בזה שנחסם, בזמן שהשאר ממשיכים לעבוד.
מאגר של חמישה טלפונים לחודש
הווידג'ט נפתח על Professional, חמישה מכשירים ו-30 יום. לסקרייפינג ההבדל העיקרי של התוכנית הוא המהירות: עד 100 Mbps במקום 5 Mbps ב-Beginner. חמישה מכשירים מזכים בהנחת כמות, והשורה “למכשיר / חודש” מראה את המחיר של פרוקסי אחד.
איך לחבר מאגר לסקרייפר
השלבים זהים לשני טלפונים ולעשרים.
לחבר את הטלפונים
התקן את Mobihub בטלפוני Android עם כרטיסי SIM של שניים או שלושה ספקים וצור בכל אחד פרוקסי בתוכנית Professional.
להפעיל IP ייחודי
בהחלפת כתובת הטלפון מבצע כמה ניסיונות עד שהוא מקבל IP שלא היה לפרוקסי הזה; מספר הניסיונות נקבע בהגדרות. הסקרייפר נופל פחות על כתובת שהאתר חסם לאחרונה.
לבנות proxies.csv
לכל פרוקסי קח מהאזור האישי את כתובת החיבור ואת קישור החלפת ה-IP. בקובץ שלוש עמודות: name, proxy ו-rotate_url.
לקבוע את הקצב
התחל בהפסקה של שתיים עד שלוש שניות בין בקשות דרך טלפון אחד והגדל אותה אם החסימות תכופות. החלפות IP תכופות לא מחליפות קצב רגוע.
להריץ את הסקריפט ולקרוא את הסיכום
כל ניסיון נרשם ב-results.jsonl. בסוף הסקריפט מדפיס את מספר הבקשות, החסימות והחלפות ה-IP לכל פרוקסי.
סקריפט: סקרייפינג דרך מאגר שמתחלף בחסימות
הסקריפט מחלק כתובות מ-urls.txt בין הפרוקסי שב-proxies.csv, תהליכון אחד לכל טלפון. תשובת 403, 429 או דף captcha נחשבים חסימה: הכתובת חוזרת לתור, העוגיות נמחקות ונקרא קישור החלפת ה-IP של הפרוקסי. הסקריפט מחכה לכתובת החדשה וממשיך, בזמן ששאר הטלפונים עובדים. אם ה-IP לא מתחלף, הטלפון יוצא מהמאגר והאחרים לוקחים את הכתובות שלו. סקריפט reCAPTCHA בקוד הדף לא נחשב חסימה: הסקריפט מחפש את טקסט האתגר שאדם רואה.

import csv
import json
import queue
import random
import re
import threading
import time
from concurrent.futures import ThreadPoolExecutor
from datetime import datetime, timezone
import requests
PROXIES_FILE = "proxies.csv"
URLS_FILE = "urls.txt"
RESULTS_FILE = "results.jsonl"
IP_ECHO = "https://api.ipify.org"
BLOCK_CODES = {403, 429}
BLOCK_PHRASES = ("verify you are human", "are you a robot", "unusual traffic", "access denied", "не робот")
PAUSE = (1.5, 3.5)
MAX_ATTEMPTS = 3
ROTATE_TIMEOUT = 90
REFUSED_WAIT = 60
ROTATE_TRIES = 3
HEADERS = {
"User-Agent": "Mozilla/5.0 (Linux; Android 13; Pixel 7) AppleWebKit/537.36 "
"(KHTML, like Gecko) Chrome/126.0 Mobile Safari/537.36",
}
write_lock = threading.Lock()
def exit_ip(session):
try:
return session.get(IP_ECHO, timeout=15).text.strip()
except requests.RequestException:
return None
def request_change(proxy):
for attempt in range(ROTATE_TRIES):
if attempt:
time.sleep(REFUSED_WAIT)
try:
answer = requests.get(proxy["rotate_url"], timeout=15).json()
except (requests.RequestException, ValueError):
answer = {}
if answer.get("result") == "Success":
return True
return False
def rotate(proxy, session):
previous = exit_ip(session)
if not request_change(proxy):
return False
deadline = time.time() + ROTATE_TIMEOUT
while time.time() < deadline:
time.sleep(5)
current = exit_ip(session)
if current and current != previous:
return True
return False
def visible_text(html):
html = re.sub(r"(?is)<(script|style)\b.*?</\1>", " ", html[:20000])
return re.sub(r"<[^>]+>", " ", html).lower()
def blocked(response):
if response.status_code in BLOCK_CODES:
return True
text = visible_text(response.text)
return any(phrase in text for phrase in BLOCK_PHRASES)
def handle(session, proxy, stats, tasks, url, attempt):
record = {
"at": datetime.now(timezone.utc).isoformat(timespec="seconds"),
"url": url,
"proxy": proxy["name"],
"attempt": attempt,
}
retry = False
usable = True
try:
response = session.get(url, timeout=30)
stats["requests"] += 1
record["status"] = response.status_code
if blocked(response):
stats["blocks"] += 1
record["state"] = "blocked"
retry = True
session.cookies.clear()
if rotate(proxy, session):
stats["rotations"] += 1
else:
usable = False
else:
record["state"] = "ok"
record["bytes"] = len(response.content)
except requests.RequestException as error:
record["state"] = f"error: {type(error).__name__}"
retry = True
if retry and attempt < MAX_ATTEMPTS:
tasks.put((url, attempt + 1))
return record, usable
def worker(proxy, tasks, results):
session = requests.Session()
session.proxies = {"http": proxy["proxy"], "https": proxy["proxy"]}
session.headers.update(HEADERS)
stats = {"name": proxy["name"], "requests": 0, "blocks": 0, "rotations": 0}
while True:
try:
url, attempt = tasks.get(timeout=1)
except queue.Empty:
if tasks.unfinished_tasks == 0:
return stats
continue
try:
record, usable = handle(session, proxy, stats, tasks, url, attempt)
finally:
tasks.task_done()
with write_lock:
results.write(json.dumps(record, ensure_ascii=False) + "\n")
results.flush()
if not usable:
print(f"{proxy['name']}: IP did not change, the proxy leaves the pool")
return stats
time.sleep(random.uniform(*PAUSE))
def main():
with open(PROXIES_FILE, newline="") as f:
pool = list(csv.DictReader(f))
tasks = queue.Queue()
with open(URLS_FILE) as f:
for line in f:
if line.strip():
tasks.put((line.strip(), 1))
with open(RESULTS_FILE, "a") as results, ThreadPoolExecutor(len(pool)) as executor:
summary = list(executor.map(lambda proxy: worker(proxy, tasks, results), pool))
print(f"{'proxy':<12}{'requests':>10}{'blocks':>8}{'rotations':>11}")
for row in summary:
print(f"{row['name']:<12}{row['requests']:>10}{row['blocks']:>8}{row['rotations']:>11}")
if tasks.qsize():
print(f"{tasks.qsize()} URLs left: every proxy in the pool is blocked")
if __name__ == "__main__":
main()קישור החלפת ה-IP עונה בקוד 200 וכותב בגוף התשובה Success או Failure. Failure מגיע, למשל, כשמבקשים החלפות לעיתים קרובות מדי: הסקריפט מחכה דקה ומנסה עוד פעמיים. כשהטלפון במצב טיסה הפרוקסי שלו לא זמין, ולכן החלפה לוקחת עשרות שניות.
איזו תוכנית לקחת לסקרייפינג
בסקרייפינג ההבדל בין התוכניות מסתכם במהירות ובחיסכון בתעבורה.
לבדוק את האתר ולנפות באגים בסקריפט
עד 5 Mbps מספיקים כדי לראות איך האתר מגיב לכתובת סלולרית ולנפות באגים בסקרייפר על רשימה קצרה של דפים.
- $4 למכשיר ל-30 יום
- מהירות עד 5 Mbps
- החלפת IP בקישור ולפי טיימר
- גישה בסיסמה או לפי רשימת IP מורשים
איסוף נתונים שוטף
עד 100 Mbps למכשיר, IP ייחודי ו-SmartRelay: הטלפון מוריד דפים ברשת הסלולרית ושולח אותם לשרת דרך Wi‑Fi, כך שחבילת הנתונים של ה-SIM מתרוקנת בערך פי שניים לאט יותר.
- $7 למכשיר ל-30 יום
- מהירות עד 100 Mbps
- IP ייחודי אחרי החלפה
- SmartRelay והנחת כמות
איך לאסוף נתונים בלי לשרוף כתובות
רק נתונים ציבוריים
אסוף את מה שהאתר מציג בלי התחברות, ופעל לפי תנאי השימוש שלו ודיני הגנת המידע האישי. החלפת כתובת לא הופכת איסוף אסור לחוקי.
קצב חשוב יותר מרוטציה
אתר מבחין בקצב לפני הכתובת. הפסקה אקראית בין בקשות מצמצמת חסימות יותר מהחלפות IP תכופות.
עוגיות שייכות לכתובת
אם האתר שומר עוגיות בביקור הראשון, החזק אותן בסשן של פרוקסי אחד ומחק אותן בכל החלפת IP. עוגיות שהונפקו לכתובת אחת ומגיעות מאחרת נראות חשודות.
כמה ספקים במאגר
כרטיסי SIM של שניים או שלושה ספקים נותנים כתובות מרשתות משנה שונות, והמאגר לא ייעצר לגמרי אם לספק אחד יש תקלה.
רק הבתים שאתה צריך
דף עם תמונות וסקריפטים שוקל מגה-בייטים. בקש את ה-HTML או ה-API של האתר בלי משאבים מיותרים, וב-Professional הגדר מגבלת תעבורה לחיבור.
שאלות ותשובות
באיזו תדירות אפשר להחליף IP בקישור?
כמה תהליכוני סקרייפר להעביר דרך טלפון אחד?
האם הפרוקסי עובד עם Selenium ו-Playwright?
אפשר לגרד אתרים שנפתחים רק ממדינה אחת?
למה האתר ממשיך לחסום אחרי החלפת IP?
במה פרוקסי סלולרי עדיף לסקרייפינג על פרוקסי שרת?
פרוקסי סלולרי למשימות אחרות
לבדוק את האתר שלך על IP סלולרי
התמיכה נותנת ללקוחות חדשים 24 שעות גישה חינם. חבר טלפון, הרץ את הסקריפט על רשימה קצרה של דפים ותראה כמה חסימות נשארו.