API 端点
数据定义
API 端点是 API 接收请求的特定 URL。每个端点执行特定功能,例如获取数据、创建记录或触发操作。
与 CrawlForge 的关联
许多网站拥有提供与其页面所显示相同数据的 API,且通常以更干净的 JSON 格式提供。发现并使用这些 API 端点,可能比抓取渲染后的 HTML 更高效、更可靠。
CrawlForge 本身就作为一组 API 端点运行——其 23 个工具中的每一个都可通过 REST 端点访问。在抓取时,fetch_url 既可以访问网页,也可以访问 API 端点,返回原始 JSON 响应以供程序化处理。
相关 CrawlForge 工具
相关术语
REST API
REST API(Representational State Transfer,表征状态转移)是一种使用标准 HTTP 方法对资源执行操作的 Web 服务架构。它是 Web 服务最常见的 API 风格。
Webhook
Webhook 是一种 HTTP 回调,会在事件发生时将数据投递到指定的 URL。与轮询不同,webhook 实时推送数据,从而支持事件驱动的架构。
JSON
JSON(JavaScript Object Notation)是一种轻量级的数据交换格式,易于人类阅读、便于机器解析。它是 API 响应和结构化数据交换的标准格式。
HTTP 请求头
HTTP 请求头是随 HTTP 请求和响应一同发送的键值对,提供有关本次通信的元数据。在抓取中,User-Agent、Accept 和 Cookie 等请求头对请求成功与否至关重要。