Il web trasformato in dati per le tue IA, in Francia
Crawl4AI esplora i siti web e li converte in Markdown pulito, strutturato e pronto per i tuoi LLM. Il motore ideale per alimentare un RAG. Installato e mantenuto da DINAO, sui nostri server francesi.
Cos'è Crawl4AI ?
Crawl4AI è un crawler e scraper web open source progettato specificamente per l'intelligenza artificiale. Laddove gli strumenti classici producono HTML grezzo difficile da sfruttare, Crawl4AI pulisce le pagine, rimuove il rumore e genera un Markdown pulito e strutturato, direttamente digeribile dai grandi modelli linguistici e dai pipeline RAG.
Il motore si basa su un navigatore headless in grado di eseguire JavaScript, gestire sessioni, hook e interazioni, consentendogli di crawlare interi siti dinamici in modo affidabile e parallelizzato, con gestione dei proxy. Per l'estrazione strutturata, propone strategie basate su selettori CSS, XPath o schema guidato da LLM, restituite in formato JSON.
Esposto tramite un'API REST e un client Python, Crawl4AI si integra naturalmente nelle catene di elaborazione IA per costituire basi di conoscenza o alimentare agenti. Ospitato da DINAO in Francia, ti fornisce una materia prima web pulita mantenendo target e dati estratti sul territorio.
Alloggia Crawl4AI su DINAO
Livelli di risorse compatibili con i requisiti di Crawl4AI (2 vCPU / 2 Go / 5 Go minimo). Ospitato in Francia, fully managed.
- 2 vCPU dedicati
- 4 Go di RAM
- 40 Go NVMe
- Backup quotidiani
- Fully managed & supervisionato da DINAO
- 4 vCPU dedicati
- 8 Go di RAM
- 80 Go NVMe
- Backup quotidiani
- Fully managed & supervisionato da DINAO
- 8 vCPU dedicati
- 16 Go di RAM
- 160 Go NVMe
- Backup quotidiani
- Fully managed & supervisionato da DINAO
1 livello/i nascosto/i (risorse insufficienti per questa app) : Découverte
Questa applicazione utilizza l'IA
Il contenitore ospita l'applicazione, non il motore di IA (che richiede GPU dedicate) : l'inferenza si collega dall'esterno, con la tua chiave del fornitore. Priorità a un motore sovrano — Mistral AI, NumSpot, Scaleway o OVHcloud AI Endpoints (Francia, GDPR) ; un attore internazionale (OpenAI, Anthropic…) solo se una capacità specifica lo richiede. Abbonamenti all'inferenza non inclusi nell'hosting.
Dettagli tecnici
Ti chiedi…
A cosa serve Crawl4AI?
Crawl4AI esplora i siti web e li trasforma in Markdown pulito e strutturato, direttamente utilizzabile da LLM. È il motore ideale per costituire la base di conoscenza di un sistema RAG o alimentare un agente IA.
Gestisce i siti dinamici in JavaScript?
Sì. Crawl4AI utilizza un navigatore headless che esegue JavaScript, gestisce le sessioni e le interazioni, consentendogli di crawlare pagine dinamiche che gli scraper classici non vedono.
Come estrarre campi precisi?
Definisci una strategia di estrazione tramite selettori CSS, XPath, o tramite uno schema guidato da LLM. Crawl4AI restituisce quindi i dati strutturati in formato JSON.
I miei dati estratti rimangono in Francia?
Sì. Il motore viene eseguito sull'infrastruttura DINAO in Francia e i contenuti estratti sono archiviati sul territorio. Vedi la nota sulla sovranità di seguito per quanto riguarda l'uso di API LLM esterne.
È necessario un LLM per utilizzare Crawl4AI?
No per il crawl e l'estrazione tramite CSS/XPath, che non richiedono alcun modello. Un LLM interviene solo se scegli l'estrazione tramite schema guidata dall'IA; può quindi essere locale (sovrano) o esterno.
