Token
IA / MCPDefinición
Un token es la unidad básica de texto que procesan los modelos de lenguaje. El texto se divide en tokens (aproximadamente 4 caracteres o 0.75 palabras cada uno) antes de ser procesado por el modelo. El recuento de tokens determina los costos y los límites de contexto.
Cómo se relaciona con CrawlForge
Comprender los tokens es importante al usar CrawlForge con agentes de IA, porque el contenido extraído consume espacio de la ventana de contexto. Una página web extensa podría producir miles de tokens, llenando potencialmente el contexto del agente y aumentando los costos de la API.
Las herramientas de CrawlForge como extract_text y summarize_content ayudan a gestionar el uso de tokens. extract_text devuelve solo el contenido principal sin elementos repetitivos, y summarize_content condensa las páginas largas en resúmenes concisos, reduciendo la huella de tokens enviada a tu LLM.
Herramientas de CrawlForge relacionadas
Términos relacionados
Ventana de contexto
La ventana de contexto es la cantidad máxima de texto (medida en tokens) que un modelo de lenguaje puede procesar en una sola petición. Incluye tanto el prompt de entrada como la salida generada.
Gran modelo de lenguaje (LLM)
Un gran modelo de lenguaje es una red neuronal entrenada con enormes cantidades de datos de texto que puede comprender y generar lenguaje humano. Los LLM impulsan asistentes de IA, generadores de código y agentes autónomos.
Ingeniería de prompts
La ingeniería de prompts es la práctica de diseñar y refinar las instrucciones que se dan a los modelos de lenguaje para lograr los resultados deseados. Implica elaborar prompts de sistema, ejemplos de pocos disparos y consultas estructuradas.
Fine-Tuning
El fine-tuning es el proceso de seguir entrenando un modelo de lenguaje preentrenado con un conjunto de datos específico para especializar su comportamiento en una tarea o dominio concreto. Adapta los modelos de uso general a casos de uso específicos.
Empieza a hacer scraping con 1,000 créditos gratis
Empieza a usar CrawlForge hoy mismo. No se requiere tarjeta de crédito.
Empieza a hacer scraping con 1,000 créditos gratis