דילוג לתוכן הראשי
    איסוף נתונים ומעקב מחירים

    פרוקסי סלולרי לסקרייפינג

    סקרייפר צריך כתובת שהאתר לא יחסום כבר במאה הבקשות הראשונות. מאות מנויים חולקים את ה-IP החיצוני של ספק הסלולר, ולכן חסימה שלו עולה לאתר יותר מדי. ב-Mobihub הפרוקסי רץ על הטלפונים שלך: ה-IP מתחלף בקישור מתוך הסקריפט או לפי טיימר, ו-HTTP ו-SOCKS5 חולקים פורט אחד.

    מ-3 דק'
    מרווח החלפת IP לפי טיימר
    קישור 1
    החלפת IP מתוך הסקריפט
    HTTP + SOCKS5
    על פורט אחד
    100 Mbps
    מהירות בתוכנית Professional
    תרשים: שלושה טלפונים עם כרטיסי SIM מזינים סקרייפר; תשובה אחת משתנה מ-429 ל-200 אחרי החלפת IP

    למה סקרייפרים נתקלים בחסימות

    אתרים סופרים את הבקשות מכל כתובת. רשתות משנה של מרכזי נתונים נמצאות ברשימות מזמן, ואתר מוגן מקבל IP כזה לעיתים קרובות עם captcha כבר בבקשה הראשונה. גם כתובת נקייה מקבלת 429 או דף אתגר אחרי כמה מאות פניות.

    כתובת סלולרית יקרה יותר לחסימה: מאחוריה עומדים מנויים רגילים של ספק הסלולר. אם המגבלה בכל זאת הושגה, ה-IP מתחלף בקישור: הטלפון עובר למצב טיסה לכמה שניות וחוזר לרשת עם כתובת חדשה מהספק.

    נפח עבודה דורש מאגר של כמה טלפונים. הסקריפט שלמטה מחלק כתובות דפים בין הפרוקסי ומחליף IP רק בזה שנחסם, בזמן שהשאר ממשיכים לעבוד.

    מחירים

    מאגר של חמישה טלפונים לחודש

    הווידג'ט נפתח על Professional, חמישה מכשירים ו-30 יום. לסקרייפינג ההבדל העיקרי של התוכנית הוא המהירות: עד 100 Mbps במקום 5 Mbps ב-Beginner. חמישה מכשירים מזכים בהנחת כמות, והשורה “למכשיר / חודש” מראה את המחיר של פרוקסי אחד.

    תוכנית
    מספר מכשירים5
    חבר עוד 5 מכשירים, והמחיר לכל מכשיר יירד ב-12%.
    ככל שיש יותר מכשירים והמנוי ארוך יותר, כך מכשיר בודד זול יותר.
    תקופת תשלום
    מה כלול
    HTTP, SOCKS5 ו-UDPהחלפת IP לפי קישורהרשאה לפי שם משתמש ולפי IPרשימת כתובות מורשותמגבלות תעבורה וזרמיםגישה ל-API
    סה"כ
    $32.90
    ל-30 ימים · 5 מכשירים
    מחיר ליום$1.10
    למכשיר / חודש$6.58
    הנחת כמות−6%
    תשלום מיום אחד, ללא חידוש אוטומטי
    מדריך

    איך לחבר מאגר לסקרייפר

    השלבים זהים לשני טלפונים ולעשרים.

    1. לחבר את הטלפונים

      התקן את Mobihub בטלפוני Android עם כרטיסי SIM של שניים או שלושה ספקים וצור בכל אחד פרוקסי בתוכנית Professional.

    2. להפעיל IP ייחודי

      בהחלפת כתובת הטלפון מבצע כמה ניסיונות עד שהוא מקבל IP שלא היה לפרוקסי הזה; מספר הניסיונות נקבע בהגדרות. הסקרייפר נופל פחות על כתובת שהאתר חסם לאחרונה.

    3. לבנות proxies.csv

      לכל פרוקסי קח מהאזור האישי את כתובת החיבור ואת קישור החלפת ה-IP. בקובץ שלוש עמודות: name, proxy ו-rotate_url.

    4. לקבוע את הקצב

      התחל בהפסקה של שתיים עד שלוש שניות בין בקשות דרך טלפון אחד והגדל אותה אם החסימות תכופות. החלפות IP תכופות לא מחליפות קצב רגוע.

    5. להריץ את הסקריפט ולקרוא את הסיכום

      כל ניסיון נרשם ב-results.jsonl. בסוף הסקריפט מדפיס את מספר הבקשות, החסימות והחלפות ה-IP לכל פרוקסי.

    קוד עובד

    סקריפט: סקרייפינג דרך מאגר שמתחלף בחסימות

    הסקריפט מחלק כתובות מ-urls.txt בין הפרוקסי שב-proxies.csv, תהליכון אחד לכל טלפון. תשובת 403, 429 או דף captcha נחשבים חסימה: הכתובת חוזרת לתור, העוגיות נמחקות ונקרא קישור החלפת ה-IP של הפרוקסי. הסקריפט מחכה לכתובת החדשה וממשיך, בזמן ששאר הטלפונים עובדים. אם ה-IP לא מתחלף, הטלפון יוצא מהמאגר והאחרים לוקחים את הכתובות שלו. סקריפט reCAPTCHA בקוד הדף לא נחשב חסימה: הסקריפט מחפש את טקסט האתגר שאדם רואה.

    סיכום הסקריפט למאגר פרוקסי: בקשות, חסימות והחלפות IP לכל טלפון
    pool_scraper.pyPython
    import csv
    import json
    import queue
    import random
    import re
    import threading
    import time
    from concurrent.futures import ThreadPoolExecutor
    from datetime import datetime, timezone
    
    import requests
    
    PROXIES_FILE = "proxies.csv"
    URLS_FILE = "urls.txt"
    RESULTS_FILE = "results.jsonl"
    IP_ECHO = "https://api.ipify.org"
    BLOCK_CODES = {403, 429}
    BLOCK_PHRASES = ("verify you are human", "are you a robot", "unusual traffic", "access denied", "не робот")
    PAUSE = (1.5, 3.5)
    MAX_ATTEMPTS = 3
    ROTATE_TIMEOUT = 90
    REFUSED_WAIT = 60
    ROTATE_TRIES = 3
    HEADERS = {
        "User-Agent": "Mozilla/5.0 (Linux; Android 13; Pixel 7) AppleWebKit/537.36 "
        "(KHTML, like Gecko) Chrome/126.0 Mobile Safari/537.36",
    }
    
    write_lock = threading.Lock()
    
    
    def exit_ip(session):
        try:
            return session.get(IP_ECHO, timeout=15).text.strip()
        except requests.RequestException:
            return None
    
    
    def request_change(proxy):
        for attempt in range(ROTATE_TRIES):
            if attempt:
                time.sleep(REFUSED_WAIT)
            try:
                answer = requests.get(proxy["rotate_url"], timeout=15).json()
            except (requests.RequestException, ValueError):
                answer = {}
            if answer.get("result") == "Success":
                return True
        return False
    
    
    def rotate(proxy, session):
        previous = exit_ip(session)
        if not request_change(proxy):
            return False
        deadline = time.time() + ROTATE_TIMEOUT
        while time.time() < deadline:
            time.sleep(5)
            current = exit_ip(session)
            if current and current != previous:
                return True
        return False
    
    
    def visible_text(html):
        html = re.sub(r"(?is)<(script|style)\b.*?</\1>", " ", html[:20000])
        return re.sub(r"<[^>]+>", " ", html).lower()
    
    
    def blocked(response):
        if response.status_code in BLOCK_CODES:
            return True
        text = visible_text(response.text)
        return any(phrase in text for phrase in BLOCK_PHRASES)
    
    
    def handle(session, proxy, stats, tasks, url, attempt):
        record = {
            "at": datetime.now(timezone.utc).isoformat(timespec="seconds"),
            "url": url,
            "proxy": proxy["name"],
            "attempt": attempt,
        }
        retry = False
        usable = True
        try:
            response = session.get(url, timeout=30)
            stats["requests"] += 1
            record["status"] = response.status_code
            if blocked(response):
                stats["blocks"] += 1
                record["state"] = "blocked"
                retry = True
                session.cookies.clear()
                if rotate(proxy, session):
                    stats["rotations"] += 1
                else:
                    usable = False
            else:
                record["state"] = "ok"
                record["bytes"] = len(response.content)
        except requests.RequestException as error:
            record["state"] = f"error: {type(error).__name__}"
            retry = True
        if retry and attempt < MAX_ATTEMPTS:
            tasks.put((url, attempt + 1))
        return record, usable
    
    
    def worker(proxy, tasks, results):
        session = requests.Session()
        session.proxies = {"http": proxy["proxy"], "https": proxy["proxy"]}
        session.headers.update(HEADERS)
        stats = {"name": proxy["name"], "requests": 0, "blocks": 0, "rotations": 0}
        while True:
            try:
                url, attempt = tasks.get(timeout=1)
            except queue.Empty:
                if tasks.unfinished_tasks == 0:
                    return stats
                continue
            try:
                record, usable = handle(session, proxy, stats, tasks, url, attempt)
            finally:
                tasks.task_done()
            with write_lock:
                results.write(json.dumps(record, ensure_ascii=False) + "\n")
                results.flush()
            if not usable:
                print(f"{proxy['name']}: IP did not change, the proxy leaves the pool")
                return stats
            time.sleep(random.uniform(*PAUSE))
    
    
    def main():
        with open(PROXIES_FILE, newline="") as f:
            pool = list(csv.DictReader(f))
        tasks = queue.Queue()
        with open(URLS_FILE) as f:
            for line in f:
                if line.strip():
                    tasks.put((line.strip(), 1))
    
        with open(RESULTS_FILE, "a") as results, ThreadPoolExecutor(len(pool)) as executor:
            summary = list(executor.map(lambda proxy: worker(proxy, tasks, results), pool))
    
        print(f"{'proxy':<12}{'requests':>10}{'blocks':>8}{'rotations':>11}")
        for row in summary:
            print(f"{row['name']:<12}{row['requests']:>10}{row['blocks']:>8}{row['rotations']:>11}")
        if tasks.qsize():
            print(f"{tasks.qsize()} URLs left: every proxy in the pool is blocked")
    
    
    if __name__ == "__main__":
        main()

    קישור החלפת ה-IP עונה בקוד 200 וכותב בגוף התשובה Success או Failure. Failure מגיע, למשל, כשמבקשים החלפות לעיתים קרובות מדי: הסקריפט מחכה דקה ומנסה עוד פעמיים. כשהטלפון במצב טיסה הפרוקסי שלו לא זמין, ולכן החלפה לוקחת עשרות שניות.

    תוכניות

    איזו תוכנית לקחת לסקרייפינג

    בסקרייפינג ההבדל בין התוכניות מסתכם במהירות ובחיסכון בתעבורה.

    Beginner

    לבדוק את האתר ולנפות באגים בסקריפט

    עד 5 Mbps מספיקים כדי לראות איך האתר מגיב לכתובת סלולרית ולנפות באגים בסקרייפר על רשימה קצרה של דפים.

    • $4 למכשיר ל-30 יום
    • מהירות עד 5 Mbps
    • החלפת IP בקישור ולפי טיימר
    • גישה בסיסמה או לפי רשימת IP מורשים
    לבחור Beginner
    השוואה מלאה של התוכניות
    טיפים

    איך לאסוף נתונים בלי לשרוף כתובות

    רק נתונים ציבוריים

    אסוף את מה שהאתר מציג בלי התחברות, ופעל לפי תנאי השימוש שלו ודיני הגנת המידע האישי. החלפת כתובת לא הופכת איסוף אסור לחוקי.

    קצב חשוב יותר מרוטציה

    אתר מבחין בקצב לפני הכתובת. הפסקה אקראית בין בקשות מצמצמת חסימות יותר מהחלפות IP תכופות.

    עוגיות שייכות לכתובת

    אם האתר שומר עוגיות בביקור הראשון, החזק אותן בסשן של פרוקסי אחד ומחק אותן בכל החלפת IP. עוגיות שהונפקו לכתובת אחת ומגיעות מאחרת נראות חשודות.

    כמה ספקים במאגר

    כרטיסי SIM של שניים או שלושה ספקים נותנים כתובות מרשתות משנה שונות, והמאגר לא ייעצר לגמרי אם לספק אחד יש תקלה.

    רק הבתים שאתה צריך

    דף עם תמונות וסקריפטים שוקל מגה-בייטים. בקש את ה-HTML או ה-API של האתר בלי משאבים מיותרים, וב-Professional הגדר מגבלת תעבורה לחיבור.

    FAQ

    שאלות ותשובות

    באיזו תדירות אפשר להחליף IP בקישור?

    החלפה לוקחת את זמן מצב הטיסה, 1 עד 20 שניות, ועוד כ-20 שניות עד שהטלפון מתחבר מחדש. הקישור דוחה בקשות תכופות מדי בתשובת Failure. החלפה לפי טיימר אפשר להגדיר במרווח של שלוש דקות ומעלה.

    כמה תהליכוני סקרייפר להעביר דרך טלפון אחד?

    התחל באחד או שניים. המהירות מוגבלת ברשת הסלולרית, והאתר רואה את כל התהליכונים מכתובת אחת ומגביל אותה מהר יותר. הגדל את הנפח דרך מספר הטלפונים במאגר. ב-Professional אפשר להגביל חיבורים בו-זמניים לכל חיבור.

    האם הפרוקסי עובד עם Selenium ו-Playwright?

    כן. Playwright מקבל את כתובת הפרוקסי, שם המשתמש והסיסמה באפשרויות הפעלת הדפדפן. ב-Selenium פשוט יותר להוסיף את ה-IP של השרת שלך לרשימת המורשים ולהתחבר לפרוקסי בלי סיסמה.

    אפשר לגרד אתרים שנפתחים רק ממדינה אחת?

    כן, אם הטלפון עם SIM של ספק מקומי עובד באותה מדינה: האתר רואה את כתובת הספק. אם אין לך טלפון שם, אפשר לשכור פרוקסי סלולרי מאותה מדינה ב-Mobihub Market.

    למה האתר ממשיך לחסום אחרי החלפת IP?

    אתר יכול לזהות סקרייפר לא רק לפי הכתובת: עוגיות, כותרות, טביעת אצבע של הדפדפן וקצב הבקשות. נקה את הסשן יחד עם החלפת ה-IP, בדוק את ה-User-Agent והגדל את ההפסקה. אם החסימה נשארת בכל כתובת, דפוס האיסוף עצמו מוגבל.

    במה פרוקסי סלולרי עדיף לסקרייפינג על פרוקסי שרת?

    פרוקסי שרת זול ומהיר יותר, אבל אתרים מוגנים רבים מגבילים רשתות משנה של מרכזי נתונים כולן. כתובת סלולרית משותפת למנויים רגילים של ספק הסלולר, ולכן נחסמת לעיתים רחוקות יותר. לאתרים לא מוגנים מספיקות כתובות שרת; במוגנים פרוקסי סלולרי חוסך זמן על captcha וניסיונות חוזרים.
    פתרונות

    פרוקסי סלולרי למשימות אחרות

    פרוקסי סלולרי ל-InstagramIP חדש לכל סשן ויומן התחברויות לצוות ה-SMM שלך.פרוקסי סלולרי ל-Facebookכתובת נקייה לחשבונות מודעות ובדיקה של מאגר ה-IP של ה-SIM שלך.פרוקסי סלולרי ל-TikTokאזור החשבון לפי מיקום הטלפון ובדיקת מדינה לפני הפרסום.פרוקסי סלולרי ל-Avitoכתובת של ספק סלולר מהאזור שלך ובדיקות מודעות לפי לוח זמנים.פרוקסי סלולרי לדפדפני אנטי-דיטקטרשימות ייבוא מוכנות ל-Dolphin Anty, Octo, AdsPower ואחרים.פרוקסי סלולרי ל-Telegramכתובת משלך של ספק סלולר לחשבונות וקישורי t.me/socks מוכנים.פרוקסי סלולרי ל-Google Adsחשבונות לקוחות על כתובות נפרדות ובדיקת דפי נחיתה מרשת סלולרית.פרוקסי סלולרי ל-YouTubeערוצי לקוחות בכתובות נפרדות ובדיקת סרטונים במדינת הקהל.פרוקסי סלולרי לקידום אתריםתוצאות חיפוש בנייד מאזור הטלפון ובדיקת האתר אצל ספקים שונים.פרוקסי סלולרי למכירה חוזרתגישה ומגבלות נפרדות לכל קונה, ועוד דוח השכרות ותשלומים.לעשות כסף מפרוקסי סלולרי במרקטפלייסהקטלוג מביא קונים, השכרות מחויבות לפי דקות, וההכנסה נמשכת ב-USDT.להרוויח מטלפון ישןAndroid ישן עם כרטיס SIM מושכר כפרוקסי סלולרי.חוות פרוקסי סלולרי משלךטלפונים, כרטיסי SIM, חשמל, עלויות וניטור של המדף.

    לבדוק את האתר שלך על IP סלולרי

    התמיכה נותנת ללקוחות חדשים 24 שעות גישה חינם. חבר טלפון, הרץ את הסקריפט על רשימה קצרה של דפים ותראה כמה חסימות נשארו.