Das Web wird zu Daten für Ihre KI, in Frankreich
Crawl4AI durchsucht Websites und wandelt sie in sauberes, strukturiertes Markdown, bereit für Ihre LLMs um. Der ideale Motor zur Versorgung eines RAG-Systems. Von DINAO installiert und gewartet auf unseren französischen Servern.
Was ist Crawl4AI?
Crawl4AI ist ein Open-Source-Webcrawler und Scraper, der speziell für Künstliche Intelligenz entwickelt wurde. Wo herkömmliche Tools schwer verwertbares HTML liefern, reinigt Crawl4AI die Seiten, entfernt Rauschen und erzeugt sauberes, strukturiertes Markdown, das direkt von großen Sprachmodellen und RAG-Pipelines verarbeitet werden kann.
Die Engine basiert auf einem Headless-Browser, der JavaScript ausführen, Sitzungen, Hooks und Interaktionen verwalten kann. Dies ermöglicht das zuverlässige und parallele Crawlen ganzer dynamischer Websites mit Proxy-Verwaltung. Für die strukturierte Extraktion bietet sie Strategien über CSS-Selektoren, XPath oder LLM-gesteuerte Schemata an, die im JSON-Format zurückgegeben werden.
Durch eine REST-API und einen Python-Client integriert sich Crawl4AI nahtlos in KI-Verarbeitungsketten, um Wissensdatenbanken aufzubauen oder Agenten zu speisen. Von DINAO in Frankreich gehostet, liefert es Ihnen saubere Rohdaten aus dem Web, während die Ziel- und extrahierten Daten im Land verbleiben.
Hosten Sie Crawl4AI bei DINAO
Ressourcenstufen kompatibel mit den Anforderungen von Crawl4AI (min. 2 vCPU / 2 Go / 5 Go). In Frankreich gehostet, vollständig gemanagt.
- 2 dedizierte vCPUs
- 4 Go RAM
- 40 GB NVMe
- Tägliche Backups
- Gemanagt & überwacht von DINAO
- 4 dedizierte vCPUs
- 8 Go RAM
- 80 GB NVMe
- Tägliche Backups
- Gemanagt & überwacht von DINAO
- 8 dedizierte vCPUs
- 16 Go RAM
- 160 GB NVMe
- Tägliche Backups
- Gemanagt & überwacht von DINAO
1 verborgene Stufe(n) (unzureichende Ressourcen für diese App) : Découverte
Diese Anwendung nutzt KI
Der Container hostet die Anwendung, nicht die KI-Engine (die dedizierte GPUs erfordert) : Die Inferenz erfolgt extern, mit Ihrem eigenen Anbieter-Schlüssel. Bevorzugen Sie eine souveräne Engine — Mistral AI, NumSpot, Scaleway oder OVHcloud AI Endpoints (Frankreich, DSGVO) ; ein internationaler Anbieter (OpenAI, Anthropic…) nur, wenn eine spezifische Anforderung dies erfordert. Inferenz-Abonnements sind im Hosting nicht enthalten.
Technische Details
Sie fragen sich…
Wofür wird Crawl4AI verwendet?
Crawl4AI durchsucht Websites und wandelt sie in sauberes, strukturiertes Markdown um, das direkt von LLMs verwertet werden kann. Es ist der ideale Motor, um die Wissensbasis eines RAG-Systems aufzubauen oder einen KI-Agenten zu speisen.
Verwaltet es dynamische JavaScript-Seiten?
Ja. Crawl4AI verwendet einen Headless-Browser, der JavaScript ausführt, Sitzungen und Interaktionen verwaltet, wodurch er dynamische Seiten crawlen kann, die herkömmliche Scraper nicht sehen.
Wie extrahiere ich präzise Felder?
Sie definieren eine Extraktionsstrategie über CSS-Selektoren, XPath oder ein LLM-gesteuertes Schema. Crawl4AI gibt dann die strukturierten Daten im JSON-Format zurück.
Bleiben meine extrahierten Daten in Frankreich?
Ja. Die Engine läuft auf der DINAO-Infrastruktur in Frankreich und die extrahierten Inhalte werden im Land gespeichert. Siehe den Hinweis zur Souveränität unten bezüglich der Nutzung externer LLM-APIs.
Benötigt man ein LLM, um Crawl4AI zu nutzen?
Nein, nicht für das Crawling und die CSS/XPath-Extraktion, die keine Modelle erfordern. Ein LLM ist nur involviert, wenn Sie die Extraktion über LLM-gesteuerte Schemata wählen; es kann dann lokal (souverän) oder extern sein.
