Herramienta de IA5 credits

generate_llms_txt

Rastree un sitio, analice su estructura y emita un archivo llms.txt (y opcionalmente llms-full.txt) conforme al estándar que define cómo deben interactuar los modelos de IA con su contenido. Niveles de cumplimiento desde permisivo hasta estricto.

Casos de uso

Publique documentación lista para IA

Publique llms.txt junto con su documentación para que Claude, ChatGPT y otros rastreadores lean directrices claras.

Publicación de cumplimiento para IA

Use el cumplimiento estricto para establecer reglas de datos de entrenamiento, caché y atribución en un solo lugar.

Generación de políticas para bots

Agregue directrices y restricciones personalizadas para agentes de usuario de IA específicos en su dominio.

Endpoint

POST/api/v1/tools/generate_llms_txt

Auth Required

2 req/s en el plan Free

5 credits

Parameters

Operación pesada: Esta herramienta puede rastrear hasta 500 páginas. Usa el sistema de reservas, por lo que los credits se retienen durante toda la duración del trabajo.

Name	Type	Required	Default	Description
url	string	Required	-	La URL del sitio web para la que generar llms.txt Example: https://example.com
format	string	Optional	both	Formato de salida: "both" \| "llms-txt" \| "llms-full-txt" Example: both
complianceLevel	string	Optional	standard	Nivel de cumplimiento para las directrices generadas: "basic" \| "standard" \| "strict" Example: standard
analysisOptions	object	Optional	-	Opciones de análisis del sitio web (maxDepth 1-5, maxPages 10-500, respectRobots, detectAPIs, analyzeContent, checkSecurity) Example: {"maxDepth": 3, "maxPages": 100, "detectAPIs": true}
outputOptions	object	Optional	-	Personalización de la salida (organizationName, contactEmail, customGuidelines, customRestrictions, includeDetailed, includeAnalysis) Example: {"organizationName": "Example Inc.", "contactEmail": "ai@example.com"}

Ejemplos de solicitud

cURL — ambos formatos, cumplimiento estándar

terminalBash

TypeScript — estricto con directrices personalizadas

generateLlmsTxt.tsTypescript

Python

generate_llms_txt.pyPython

Ejemplo de respuesta

200 OK4.1s

{
  "success": true,
  "data": {
    "url": "https://example.com",
    "hostname": "example.com",
    "compliance_level": "standard",
    "files": {
      "llms.txt": "# llms.txt for Example Inc.\n# Generated by CrawlForge — compliance: standard\n\nUser-Agent: *\nAllow: /\n\nContact: ai@example.com",
      "llms-full.txt": "# llms.txt for Example Inc.\n..."
    }
  },
  "credits_used": 5,
  "credits_remaining": 995,
  "processing_time": 4100
}

Field Descriptions

data.filesContenido de texto listo para publicar para cada archivo

data.compliance_levelRefleja el nivel que solicitó

credits_used5 credits fijos por llamada, independientemente de las páginas rastreadas

Costo en credits

5 credits

5 credits por solicitud

5 credits fijos sin importar cuántas páginas visite el rastreador.

Consejo: Combínela con map_site (2 credits) cuando solo necesite el inventario de URLs antes de generar las directrices.

Herramientas relacionadas

map_site

Descubra URLs antes de generar llms.txt (2 credits)

crawl_deep

Rastreo BFS profundo con extracción de contenido (4 credits)

¿Listo para publicar directrices de interacción para IA? Regístrese gratis y obtenga 1,000 credits.