LangChain
Integración con LangChain
Integre CrawlForge MCP con LangChain para crear potentes agentes de IA con capacidades de web scraping. Úselo como cargador de documentos, herramienta o cadena de recuperación personalizada.
Casos de uso
Cargadores de documentos
Cargue páginas web como documentos para almacenes vectoriales y aplicaciones de RAG
Agentes de IA
Dé a los agentes herramientas de web scraping para obtener datos en tiempo real
Cadenas de recuperación
Cree cadenas personalizadas que obtienen y procesan contenido web
Pipelines de investigación
Cree flujos de trabajo de investigación automatizados con la herramienta deep_research
Instalación
Instale LangChain y el adaptador de CrawlForge MCP.
Bash
También necesitará una API key de CrawlForge desde el panel.
Cargador de documentos
Use CrawlForge como cargador de documentos para obtener páginas web para aplicaciones de RAG.
Typescript
Buena práctica: Use
extract_text para contenido limpio o extract_content para la extracción de artículos.Pipeline de RAG con almacén vectorial
Cree un pipeline de RAG completo con el cargador de documentos de CrawlForge y un almacén vectorial.
Typescript
Herramientas para agentes
Dé a los agentes de LangChain capacidades de web scraping con las herramientas de CrawlForge.
Typescript
Consejos para agentes: Use nombres y descripciones de herramientas descriptivos para ayudar al LLM a elegir la herramienta adecuada. Establezca
verbose=true para ver el razonamiento del agente.Cadena de recuperación personalizada
Cree una cadena personalizada que busca, obtiene y resume contenido web.
Typescript
Buenas prácticas
- Elija la herramienta adecuada — Use
extract_text(1 credit) para contenido sencillo,deep_research(10 credits) para un análisis exhaustivo - Implemente caché — Almacene en caché los documentos obtenidos para evitar llamadas a la API redundantes y ahorrar credits
- Maneje los límites de tasa — Implemente lógica de reintento con retroceso exponencial para aplicaciones en producción
- Monitoree el uso de credits — Compruebe los metadatos de los documentos para conocer el uso de credits y configure alertas en su panel
¿Listo para crear con LangChain?
Explore las 23 herramientas de CrawlForge o consulte otras integraciones.