La web transformada en datos para tus IA, en Francia
Crawl4AI explora los sitios web y los convierte en Markdown limpio, estructurado y listo para tus LLM. El motor ideal para alimentar un RAG. Instalado y mantenido por DINAO, en nuestros servidores franceses.
¿Qué es Crawl4AI?
Crawl4AI es un crawler y scraper web de código abierto diseñado específicamente para la inteligencia artificial. Donde las herramientas clásicas producen HTML crudo difícil de aprovechar, Crawl4AI limpia las páginas, elimina el ruido y genera un Markdown limpio y estructurado, directamente digerible por los grandes modelos de lenguaje y los pipelines RAG.
El motor se basa en un navegador headless capaz de ejecutar JavaScript, gestionar sesiones, hooks e interacciones, lo que le permite hacer crawl de sitios dinámicos enteros de forma fiable y paralelizada, con gestión de proxies. Para la extracción estructurada, ofrece estrategias por selectores CSS, XPath o esquema dirigido por LLM, devueltas en formato JSON.
Expuesto a través de una API REST y un cliente Python, Crawl4AI se integra naturalmente en las cadenas de procesamiento de IA para constituir bases de conocimiento o alimentar agentes. Alojado por DINAO en Francia, te proporciona una materia prima web limpia mientras mantiene los objetivos y los datos extraídos en el territorio.
Aloja Crawl4AI en DINAO
Niveles de recursos compatibles con los requisitos de Crawl4AI (mínimo 2 vCPU / 2 Go / 5 Go). Alojado en Francia, gestionado.
- 2 vCPU dedicados
- 4 Go de RAM
- 40 Go NVMe
- Copias de seguridad diarias
- Gestionado y supervisado por DINAO
- 4 vCPU dedicados
- 8 Go de RAM
- 80 Go NVMe
- Copias de seguridad diarias
- Gestionado y supervisado por DINAO
- 8 vCPU dedicados
- 16 Go de RAM
- 160 Go NVMe
- Copias de seguridad diarias
- Gestionado y supervisado por DINAO
1 nivel(es) oculto(s) (recursos insuficientes para esta app) : Découverte
Esta aplicación utiliza IA
El contenedor aloja la aplicación, no el motor de IA (que exige GPUs dedicadas) : la inferencia se conecta externamente, con tu propia clave de proveedor. Prioriza un motor soberano — Mistral AI, NumSpot, Scaleway o OVHcloud AI Endpoints (Francia, GDPR) ; un actor internacional (OpenAI, Anthropic…) solo si una capacidad específica lo exige. Suscripciones de inferencia no incluidas en el alojamiento.
Detalles técnicos
Te preguntas…
¿Para qué sirve Crawl4AI?
Crawl4AI explora sitios web y los transforma en Markdown limpio y estructurado, directamente utilizable por LLM. Es el motor ideal para constituir la base de conocimiento de un sistema RAG o alimentar un agente IA.
¿Gestiona los sitios dinámicos en JavaScript?
Sí. Crawl4AI utiliza un navegador headless que ejecuta JavaScript, gestiona sesiones e interacciones, lo que le permite hacer crawl de páginas dinámicas que los scrapers clásicos no ven.
¿Cómo extraer campos precisos?
Definir una estrategia de extracción por selectores CSS, XPath, o por un esquema dirigido por LLM. Crawl4AI devuelve entonces los datos estructurados en formato JSON.
¿Permanecen mis datos extraídos en Francia?
Sí. El motor se ejecuta en la infraestructura DINAO en Francia y los contenidos extraídos se almacenan en el territorio. Ver la nota de soberanía más abajo sobre el uso de APIs LLM externas.
¿Es necesario un LLM para usar Crawl4AI?
No para el crawl y la extracción por CSS/XPath, que no requieren ningún modelo. Un LLM interviene solo si eliges la extracción por esquema dirigido por IA; puede entonces ser local (soberano) o externo.
