CrawlForge CLI
El comando crawlforge se incluye con el paquete crawlforge-mcp-server, por lo que una sola instalación global le ofrece tanto el servidor MCP como un CLI independiente para comandos puntuales y scripting, sin necesidad de un cliente MCP. Establezca una API key y estará scrapeando en segundos.
Instalar y autenticar
Instale crawlforge-mcp-server globalmente: el comando crawlforge se incluye. La forma más rápida de autenticarse es el asistente de configuración, que guarda su clave en ~/.crawlforge/config.json para que el CLI la lea automáticamente. Obtenga una clave desde su panel de API Keys.
CRAWLFORGE_API_KEY=cf_live_... en su ~/.zshrc / ~/.bashrc, o pase --api-key cf_live_... en cualquier comando. Prioridad: --api-key > variable de entorno > configuración guardada.Comandos
Los 15 comandos de herramientas a continuación cubren las 23 herramientas de CrawlForge (algunos comandos exponen varias herramientas mediante flags). Ejecute crawlforge <command> --help para ver los flags y las opciones de cualquier comando.
| Comando | Propósito |
|---|---|
scrape | Obtiene una URL (fetch_url); agregue --extract para texto/markdown limpio |
search | Búsqueda web (--provider crawlforge o searxng) |
crawl | Rastreo profundo de varias páginas con controles de profundidad/páginas/concurrencia |
map | Genera un mapa de sitio (--format json o xml) |
extract | Extracción estructurada mediante --schema (CSS) o --prompt (LLM) |
track | Rastrea cambios de contenido (--selector, --threshold) |
analyze | Análisis de sentimiento, entidades y legibilidad |
research | Investigación profunda de múltiples fuentes con verificación de fuentes |
stealth | Modo de navegador antibot (--engine playwright o camoufox) |
batch | Scrapea muchas URLs desde un archivo delimitado por saltos de línea |
actions | Automatización del navegador a partir de un script de acciones JSON (--script) |
localize | Obtención según configuración regional/geográfica (--locale, --country, --currency) |
llmstxt | Genera llms.txt y llms-full.txt (--include-full) |
template | Ejecuta una plantilla de sitio prediseñada (--list muestra las 10) |
monitor | Monitoreo programado de cambios (--interval, --webhook) |
Instaladores de skills
Dos comandos auxiliares copian los archivos de skills de CrawlForge en su herramienta de codificación con IA para que sepa cómo usar cada comando de CrawlForge.
| Comando | Propósito |
|---|---|
install-skills | Instala las skills de CrawlForge en Claude Code, Cursor o VS Code (--target, --dry-run) |
uninstall-skills | Elimina los archivos de skills de CrawlForge instalados (--target) |
crawlforge mcp (alias crawlforge serve). Los clientes MCP normalmente lo inician por usted; consulte las guías de Claude Desktop y Cursor.Ejemplos
1. Scrapear una página como markdown limpio
Sin --extract, el comando ejecuta fetch_url (encabezados + cuerpo sin procesar); con él, extract_content devuelve texto o markdown limpio. Agregue --pretty para imprimir JSON con sangría.
2. Ejecutar investigación profunda con varias fuentes
Analiza hasta 10 fuentes, verifica las citas y emite un informe de investigación estructurado. La profundidad es basic, standard o deep. Cuesta 10 credits.
3. Usar una plantilla de sitio prediseñada
Las plantillas extraen un esquema conocido para sitios populares (repositorios de GitHub, productos de Amazon, videos de YouTube y más) sin que usted escriba selectores. La URL objetivo es un argumento posicional.
4. Canalizar JSON hacia otras herramientas
--json emite JSON en una sola línea para pipelines de shell y CI; --quiet devuelve solo un código de salida.
Flags globales
Estos flags funcionan con cualquier comando y determinan cómo se entrega la salida.
| Flag | Descripción |
|---|---|
--json | Genera JSON compacto (apto para canalización) |
--pretty | Genera JSON con formato legible |
--quiet | Suprime toda la salida estándar (solo código de salida) |
--api-key <key> | Anula la variable de entorno CRAWLFORGE_API_KEY |
--timeout <ms> | Tiempo de espera global de la solicitud en ms (predeterminado: 30000) |