速率限制
网页抓取定义
速率限制是网站和 API 用来控制客户端在给定时间段内可发起请求数量的一种技术。它可防止服务器过载，并抵御滥用性抓取。
与 CrawlForge 的关联
负责任的网页抓取需要遵守速率限制。在过短时间内发起过多请求会压垮服务器，并导致你的 IP 被永久封禁。速率限制也是一种常见的反爬虫措施，会返回 429（请求过多）HTTP 状态码。
CrawlForge 工具会通过限流请求并在触及限制时实施指数退避，自动处理速率限制。这意味着你的抓取任务能够可靠完成，无需人工干预来管理请求时机。
相关 CrawlForge 工具
相关术语
代理轮换
代理轮换是指在发起网页请求时循环使用多个代理 IP 地址的做法。它将请求分散到不同的 IP，以规避速率限制和基于 IP 的封禁。
Robots.txt
Robots.txt 是放置在网站根目录的标准文本文件，它告诉网络爬虫哪些页面允许或禁止访问。它是机器人排除协议（Robots Exclusion Protocol）的一部分。
HTTP 请求头
HTTP 请求头是随 HTTP 请求和响应一同发送的键值对，提供有关本次通信的元数据。在抓取中，User-Agent、Accept 和 Cookie 等请求头对请求成功与否至关重要。
验证码破解
验证码破解是指用于绕过网站用来区分人类与机器人的验证码（CAPTCHA）挑战的自动化技术。这包括图像识别、基于令牌的破解以及浏览器指纹模拟。