跳到主要内容
    数据采集与价格监控

    适用于网页抓取和数据采集的移动代理

    爬虫需要一个不会在前一百次请求内就被网站封掉的地址。运营商的一个外部 IP 由数百名用户共享,封锁它对网站来说代价太大。在 Mobihub 中,代理运行在您自己的手机上:IP 可通过脚本调用链接或按定时器更换,HTTP 和 SOCKS5 共用一个端口。

    3 分钟起
    定时更换 IP 的间隔
    1 个链接
    从脚本更换 IP
    HTTP + SOCKS5
    共用一个端口
    100 Mbps
    Professional 套餐的速度
    示意图:三部插有 SIM 卡的手机为爬虫提供代理;更换 IP 后,其中一个响应从 429 变为 200

    爬虫为什么会遇到封锁

    网站会统计每个地址的请求数。数据中心的网段早已被列入名单,受保护的网站往往在第一次请求时就对这类 IP 弹出验证码。即使是干净的地址,几百次访问后也会收到 429 或验证页面。

    移动地址的封锁成本更高:它背后是运营商的普通用户。即使达到了限制,也可以通过链接更换 IP:手机进入飞行模式几秒钟,再以运营商分配的新地址重新上线。

    大批量采集需要由几部手机组成的代理池。下面的脚本把页面 URL 分发给各个代理,只在被封锁的那个代理上更换 IP,其余代理继续工作。

    价格

    五部手机的代理池,用一个月

    计算器默认打开 Professional 套餐、五台设备和 30 天。对抓取来说,这个套餐的主要区别是速度:最高 100 Mbps,而 Beginner 为 5 Mbps。五台设备可享受批量折扣,“每台设备 / 月”一行显示单个代理的费用。

    套餐
    设备数量5
    再连接 5 台设备,每台设备的价格将降低 12%。
    设备越多、订阅越长,单台设备的价格就越低。
    付费周期
    包含内容
    HTTP、SOCKS5 和 UDP通过链接更换 IP用户名和 IP 认证IP 白名单流量和线程限额API 访问
    合计
    $32.90
    30 天 · 5 台设备
    每日价格$1.10
    每台设备 / 月$6.58
    批量折扣−6%
    最短 1 天起付,不自动续费
    操作指南

    如何把代理池接入爬虫

    无论是两部手机还是二十部,步骤都一样。

    1. 连接手机

      在插有两三家运营商 SIM 卡的 Android 手机上安装 Mobihub,并在每部手机上创建 Professional 套餐的代理。

    2. 开启 Unique IP

      更换地址时,手机会多次尝试,直到获得该代理此前未使用过的 IP;尝试次数在设置中指定。这样爬虫较少碰到网站最近封锁过的地址。

    3. 编写 proxies.csv

      为每个代理从控制台复制连接地址和 IP 更换链接。文件有三列:name、proxy 和 rotate_url。

    4. 设定请求节奏

      先在通过同一部手机的请求之间停顿两到三秒,如果封锁频繁再加长。频繁更换 IP 代替不了平稳的节奏。

    5. 运行脚本并查看汇总

      每次尝试都会写入 results.jsonl。脚本最后会输出每个代理的请求数、封锁次数和 IP 更换次数。

    可用代码

    脚本:通过遇封锁即换 IP 的代理池进行抓取

    脚本把 urls.txt 中的 URL 分发给 proxies.csv 中的代理,每部手机一个线程。403、429 或验证码页面都算作封锁:该 URL 回到队列,清除 cookies,并调用该代理的 IP 更换链接。脚本等待新地址后继续工作,其他手机照常运行。如果 IP 没能更换,这部手机会退出代理池,由其他手机接手它的 URL。页面代码中的 reCAPTCHA 脚本不算封锁:脚本查找的是用户能看到的验证提示文字。

    代理池的脚本汇总:每部手机的请求数、封锁次数和 IP 更换次数
    pool_scraper.pyPython
    import csv
    import json
    import queue
    import random
    import re
    import threading
    import time
    from concurrent.futures import ThreadPoolExecutor
    from datetime import datetime, timezone
    
    import requests
    
    PROXIES_FILE = "proxies.csv"
    URLS_FILE = "urls.txt"
    RESULTS_FILE = "results.jsonl"
    IP_ECHO = "https://api.ipify.org"
    BLOCK_CODES = {403, 429}
    BLOCK_PHRASES = ("verify you are human", "are you a robot", "unusual traffic", "access denied", "не робот")
    PAUSE = (1.5, 3.5)
    MAX_ATTEMPTS = 3
    ROTATE_TIMEOUT = 90
    REFUSED_WAIT = 60
    ROTATE_TRIES = 3
    HEADERS = {
        "User-Agent": "Mozilla/5.0 (Linux; Android 13; Pixel 7) AppleWebKit/537.36 "
        "(KHTML, like Gecko) Chrome/126.0 Mobile Safari/537.36",
    }
    
    write_lock = threading.Lock()
    
    
    def exit_ip(session):
        try:
            return session.get(IP_ECHO, timeout=15).text.strip()
        except requests.RequestException:
            return None
    
    
    def request_change(proxy):
        for attempt in range(ROTATE_TRIES):
            if attempt:
                time.sleep(REFUSED_WAIT)
            try:
                answer = requests.get(proxy["rotate_url"], timeout=15).json()
            except (requests.RequestException, ValueError):
                answer = {}
            if answer.get("result") == "Success":
                return True
        return False
    
    
    def rotate(proxy, session):
        previous = exit_ip(session)
        if not request_change(proxy):
            return False
        deadline = time.time() + ROTATE_TIMEOUT
        while time.time() < deadline:
            time.sleep(5)
            current = exit_ip(session)
            if current and current != previous:
                return True
        return False
    
    
    def visible_text(html):
        html = re.sub(r"(?is)<(script|style)\b.*?</\1>", " ", html[:20000])
        return re.sub(r"<[^>]+>", " ", html).lower()
    
    
    def blocked(response):
        if response.status_code in BLOCK_CODES:
            return True
        text = visible_text(response.text)
        return any(phrase in text for phrase in BLOCK_PHRASES)
    
    
    def handle(session, proxy, stats, tasks, url, attempt):
        record = {
            "at": datetime.now(timezone.utc).isoformat(timespec="seconds"),
            "url": url,
            "proxy": proxy["name"],
            "attempt": attempt,
        }
        retry = False
        usable = True
        try:
            response = session.get(url, timeout=30)
            stats["requests"] += 1
            record["status"] = response.status_code
            if blocked(response):
                stats["blocks"] += 1
                record["state"] = "blocked"
                retry = True
                session.cookies.clear()
                if rotate(proxy, session):
                    stats["rotations"] += 1
                else:
                    usable = False
            else:
                record["state"] = "ok"
                record["bytes"] = len(response.content)
        except requests.RequestException as error:
            record["state"] = f"error: {type(error).__name__}"
            retry = True
        if retry and attempt < MAX_ATTEMPTS:
            tasks.put((url, attempt + 1))
        return record, usable
    
    
    def worker(proxy, tasks, results):
        session = requests.Session()
        session.proxies = {"http": proxy["proxy"], "https": proxy["proxy"]}
        session.headers.update(HEADERS)
        stats = {"name": proxy["name"], "requests": 0, "blocks": 0, "rotations": 0}
        while True:
            try:
                url, attempt = tasks.get(timeout=1)
            except queue.Empty:
                if tasks.unfinished_tasks == 0:
                    return stats
                continue
            try:
                record, usable = handle(session, proxy, stats, tasks, url, attempt)
            finally:
                tasks.task_done()
            with write_lock:
                results.write(json.dumps(record, ensure_ascii=False) + "\n")
                results.flush()
            if not usable:
                print(f"{proxy['name']}: IP did not change, the proxy leaves the pool")
                return stats
            time.sleep(random.uniform(*PAUSE))
    
    
    def main():
        with open(PROXIES_FILE, newline="") as f:
            pool = list(csv.DictReader(f))
        tasks = queue.Queue()
        with open(URLS_FILE) as f:
            for line in f:
                if line.strip():
                    tasks.put((line.strip(), 1))
    
        with open(RESULTS_FILE, "a") as results, ThreadPoolExecutor(len(pool)) as executor:
            summary = list(executor.map(lambda proxy: worker(proxy, tasks, results), pool))
    
        print(f"{'proxy':<12}{'requests':>10}{'blocks':>8}{'rotations':>11}")
        for row in summary:
            print(f"{row['name']:<12}{row['requests']:>10}{row['blocks']:>8}{row['rotations']:>11}")
        if tasks.qsize():
            print(f"{tasks.qsize()} URLs left: every proxy in the pool is blocked")
    
    
    if __name__ == "__main__":
        main()

    IP 更换链接返回代码 200,并在响应正文中写明 Success 或 Failure。例如请求更换过于频繁时会返回 Failure:脚本会等待一分钟,再重试两次。手机处于飞行模式时其代理不可用,因此一次更换需要几十秒。

    套餐

    网页抓取该选哪个套餐

    对抓取来说,两个套餐的区别在于速度和流量节省。

    Beginner

    测试网站、调试脚本

    最高 5 Mbps 足以观察网站对移动地址的反应,并用一小批页面调试爬虫。

    • 每台设备 $4,30 天
    • 速度最高 5 Mbps
    • 通过链接和定时器更换 IP
    • 登录验证或 IP 白名单访问
    选择 Beginner
    完整套餐对比
    建议

    如何采集数据而不把地址用废

    只采集公开数据

    只采集网站无需登录即可显示的内容,遵守网站条款和个人数据相关法律。更换地址并不能让被禁止的采集变得合法。

    节奏比轮换更重要

    网站先注意到的是请求节奏,而不是地址。请求之间随机停顿,比频繁更换 IP 更能减少封锁。

    Cookies 属于地址

    如果网站在首次访问时设置了 cookies,请把它们保留在同一个代理的会话中,并在每次更换 IP 时清除。为一个地址签发的 cookies 从另一个地址发来,会显得可疑。

    代理池里放几家运营商

    两三家运营商的 SIM 卡提供来自不同网段的地址,即使一家运营商出问题,代理池也不会整体停摆。

    只下载需要的数据

    带图片和脚本的页面有好几 MB。只请求网站的 HTML 或 API,不加载多余资源;在 Professional 套餐上还可以为连接设置流量上限。

    常见问题

    问题与解答

    通过链接多久可以更换一次 IP?

    一次更换需要飞行模式的时间(1 到 20 秒),再加上手机重新联网的约 20 秒。请求过于频繁时,链接会以 Failure 回应拒绝。按定时器更换可设置 3 分钟起的间隔。

    一部手机应该跑多少个爬虫线程?

    先从一两个开始。速度受移动网络限制,而网站会看到所有线程来自同一个地址,更快触发限制。扩大采集量应靠增加代理池中的手机数量。在 Professional 套餐上,可以为每个连接限制同时连接数。

    代理能配合 Selenium 和 Playwright 使用吗?

    可以。Playwright 在浏览器启动参数中填写代理地址、用户名和密码即可。Selenium 更简单的做法是把您服务器的 IP 加入白名单,无需密码直接连接代理。

    能抓取只在某个国家才能打开的网站吗?

    可以,只要插有当地运营商 SIM 卡的手机在该国运行:网站看到的是运营商的地址。如果您在那里没有手机,可以在 Mobihub Market 上租用该国的移动代理。

    为什么更换 IP 后网站仍然封锁?

    网站识别爬虫不只看地址,还看 cookies、请求头、浏览器指纹和请求节奏。更换 IP 的同时清除会话,检查 User-Agent,并加长停顿。如果每个地址都被封锁,那么受限的是采集方式本身。

    抓取时移动代理比服务器代理好在哪里?

    服务器代理更便宜、更快,但许多受保护的网站会整体限制数据中心网段。移动地址由运营商的普通用户共享,因此被封锁的次数更少。没有防护的网站用服务器地址就够了;对于受保护的网站,移动代理能省下应付验证码和重试的时间。

    用移动 IP 测试您的目标网站

    客服为新客户提供 24 小时免费使用。连接一部手机,用一小批页面运行脚本,看看还剩多少封锁。