
搞动态网页抓取,最头疼的从来不是写选择器,而是反爬。IP被封、动态渲染慢、验证码拦截、账户风控,这些问题搞下来,时间全耗在写重试逻辑和中间件上了。传统的Scrapy加上Splash或者Selenium,配置起来繁琐不说,遇到稍微现代一点的前端框架,照样跪。
现在大模型能力上去了,用提示词工程(Prompt Engineering)指挥AI帮我们写框架代码、调优中间件,已经成了效率翻倍的常规操作。特别是用 Claude 3.5 Sonnet 或者 GPT-4o 这种级别的模型,结合 Playwright 的无头浏览器能力和 Scrapy 的高并发管道,能搭出一套战斗力极强的采集流水线。今天不扯虚的,直接上硬核的提示词架构和实操落地步骤。
一、 核心痛点与大模型选型对比
在反爬对抗中,我们需要AI生成的代码具备高鲁棒性。不同的主流大模型在处理复杂代码生成和反爬逻辑时的表现有明显差异。
| 模型名称 | 代码生成能力 | 逻辑严密性 | 反爬对抗思路广度 | 适用场景 |
|---|---|---|---|---|
| Claude 3.5 Sonnet | 极高,代码格式规范 | 严谨,极少出现语法硬伤 | 极强,擅长处理异步与中间件逻辑 | 编写复杂的 Scrapy 管道与 Playwright 整合脚本 |
| GPT-4o | 高,API生态理解深 | 较高 | 强,对各种反爬策略的应对方案丰富 | 快速生成基础架构代码与正则提取规则 |
| Gemini 1.5 Pro | 中高,长文本上下文好 | 中高 | 良好,适合长篇日志分析与调试 | 分析大段的网页源码与报错日志 |
在实际操作中,首选 Claude 3.5 Sonnet 来编写核心架构,因为它的代码缩进、异步处理(Asyncio)以及异常捕获机制写得比其他模型更干净。
二、 实操第一步:用提示词生成 Scrapy + Playwright 基础架构
不要一上来就让AI写整个项目,那样代码太臃肿。我们需要用结构化提示词分步构建。Scrapy 默认是基于 Twisted 异步框架的,而 Playwright 是基于 Asyncio 的,这两者结合需要通过 `scrapy-playwright` 中间件或者自定义下载器来处理。
这里给出一套经过实测的高效系统提示词(System Prompt)模板,你可以直接喂给 AI:
# Role
你是一个精通 Python、Scrapy 框架、Playwright 异步无头浏览器以及反爬虫对抗的资深爬虫工程师。
# Task
请帮我编写一段集成 Scrapy 与 Playwright 的下载器中间件(Downloader Middleware)或 Spider 代码。要求能够处理动态加载页面的滚动加载、Cookie 自动维护以及随机 User-Agent。
# Constraints
1. 必须使用 Python 3.10+ 语法,采用异步 async/await 编写。
2. 必须包含完善的异常捕获(如超时、页面崩溃、元素未找到)。
3. 代码中要有针对常见反爬(如 webdriver 特征隐藏、navigator.plugins 伪装)的应对逻辑。
4. 不要返回任何多余的解释性废话,只输出可以直接运行的代码块。
拿到这个基础框架后,我们需要重点解决反爬对抗。
三、 核心对抗:用提示词攻克动态反爬与浏览器指纹
动态网页最喜欢检测 `navigator.webdriver` 属性。如果直接用默认的 Playwright 启动,分分钟被 Cloudflare 或 Akamai 拦截。我们需要让 AI 帮我们写针对性的防检测脚本。
1. 反检测补丁提示词
在和 AI 交互时,必须把具体痛点说透。以下是用于生成防检测脚本的 Prompt 模板:
我正在使用 Playwright 抓取一个受安全网关保护的动态网页。
目标网站通过检测以下特征来封禁爬虫:
1. navigator.webdriver 的值为 true。
2. 缺少 chrome 运行时对象。
3. 自动化运行时的控制台日志特征。
请编写一段 Python 代码,使用 Playwright 的 context.add_init_script() 方法注入 JavaScript 补丁,彻底抹去这些自动化痕迹。代码必须简洁高效。
2. 实测生成的防检测核心代码片段
AI 基于上述提示词,通常会吐出类似下面这段核心注入代码:
async def setup_stealth_browser(playwright, proxy_url=None):
# 启动浏览器,关闭自动化标志
browser = await playwright.chromium.launch(
headless=False, # 初期调试建议设为 False
args=[
"--disable-blink-features=AutomationControlled",
"--disable-infobars",
"--no-sandbox",
],
)
# 创建上下文并注入反爬补丁
context = await browser.new_context(
user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
proxy={"server": proxy_url} if proxy_url else None
)
# 核心:通过初始化脚本隐藏 webdriver 特征
await context.add_init_script("""
Object.defineProperty(navigator, 'webdriver', {
get: () => undefined
});
// 伪装插件和语言
Object.defineProperty(navigator, 'plugins', {
get: () => [1, 2, 3, 4, 5]
});
window.navigator.chrome = {
runtime: {}
};
""")
return browser, context
四、 高频采集性能调优:工作流与参数设置
在高频采集场景下,单机性能往往受限于内存和 CPU。把 Playwright 和 Scrapy 结合时,如果不加限制,电脑内存会在几分钟内被耗尽。
我们需要通过提示词让 AI 帮我们配置合理的并发参数和资源回收机制。
1. 资源回收与并发控制提示词
我的 Scrapy + Playwright 爬虫项目在运行高频采集时,出现了明显的内存泄漏和浏览器进程残留问题。
目前配置:
- CONCURRENT_REQUESTS = 32
- DOWNLOAD_DELAY = 0.5
请帮我修改 Scrapy 的 settings.py 文件以及中间件逻辑,实现:
1. 限制同时运行的 Playwright 浏览器实例数量(最大不超过 8 个)。
2. 每个页面抓取完成后,强制释放页面资源和上下文。
3. 设置合理的超时时间(Page Timeout 取 30 秒)。
提供具体的配置项和修改后的中间件代码。
2. 关键参数配置建议
在实际生产环境中,以下几个参数必须在 Scrapy 的 `settings.py` 中严格把控:
•`CONCURRENT_REQUESTS`:不要无限制拉高。Playwright 是重资源消耗进程,结合无头浏览器时,单机并发建议控制在 `4` 到 `8` 之间,过高会导致页面加载超时反而降低效率。
•`DOWNLOAD_TIMEOUT`:动态网页渲染较慢,建议设为 `30` 到 `45` 秒,避免因为页面没加载完就触发异常重试。
•`RANDOMIZE_DOWNLOAD_DELAY`:开启随机延迟(设为 1 到 3 秒),配合代理 IP 池,能有效降低被风控系统识别为高频攻击的概率。
五、 避坑指南:大模型生成代码的常见陷阱
虽然大模型写代码快,但在爬虫领域有几个天然短板,必须由人类工程师手动把关:
1.异步死锁问题:AI 有时会混淆 Scrapy 的同步调度与 Playwright 的异步协程。如果发现程序卡死在某个 Request 响应处,检查中间件里是否有未加 `await` 的异步调用。
2.选择器动态变化:动态网页经常改版,类名(Class Name)是随机生成的。不要让 AI 写过于依赖特定 Class 的 XPath,尽量让它编写基于文本内容(如 `text()`)或层级结构的选择器。
3.代理 IP 认证失效:如果购买的高匿代理需要账密认证,Playwright 的 `proxy` 参数设置方式和 requests 库完全不同。需要明确提示 AI 使用 `context.set_extra_http_headers` 配合 Proxy-Authorization 标头。
六、 总结与排错工作流 SOP
当你的 Scrapy + Playwright 采集任务再次遭遇封禁或报错时,请按照以下标准工作流(SOP)来让大模型协助排查:
1.截取真实的错误日志:把 Scrapy 抛出的 `Traceback` 完整复制给 AI,不要只截取错误信息。
2.提供网页的网络请求快照:如果是数据拿不到,用 Playwright 的 `page.on(“response”, …)` 抓取后台真实的 API 接口,直接让 AI 分析接口参数的加密规则,能绕过前端渲染直接抓 API 接口,就永远不要用无头浏览器去硬刚 DOM 渲染。
3.分段重构:遇到复杂的反爬,不要试图让 AI 一次性写完整个项目。先搞定代理池接入,再搞定浏览器指纹对抗,最后落地数据清洗与入库。每一步验证通过后再进行下一步。

评论前必须登录!
立即登录 注册