Technische FAQ

Die Hardware-Anforderungen hängen von der Größe des gewählten LLM-Modells (z.B. 8B, 70B Parameter) und der Anzahl der parallelen Anfragen ab. Hier sind die Richtwerte für einen flüssigen Betrieb im Unternehmen:

Komponente	Mindestanforderung (8B Modell)	Empfohlen (70B High-End Modell)
GPU (VRAM)	1x NVIDIA RTX 4090 (24GB VRAM)	2x NVIDIA A100 oder H100 (80GB VRAM)
System-RAM	32 GB DDR5 RAM	128 GB DDR5 RAM oder höher
Speicher	NVMe SSD (min. 100 GB frei)	NVMe Enterprise SSD (min. 500 GB frei)

Das HoheitKI Protokoll ist nativ für **"Air-Gapped"-Umgebungen** konzipiert. Nach dem initialen Deployment werden alle Docker-Container so konfiguriert, dass sie in einem isolierten lokalen Netzwerk-Stack operieren. Sie können und sollten den Server auf Firewall-Ebene (Hardware-Firewall) vollständig vom externen Internet trennen. Das Modell benötigt keinen externen API-Call, keinen Lizenz-Server-Check und keine Cloud-Verbindung, um Prompts zu verarbeiten.

Modell-Updates (z.B. neue Gewichte oder optimierte Modellversionen) sowie Software-Patches werden als **verschlüsselte Offline-Pakete (Tarballs/Docker Images)** über ein sicheres Kundenportal bereitgestellt. Ihr Systemadministrator kann diese Pakete herunterladen, per USB-Safe-Drive oder internem Deployment-Server in die Air-Gapped-Umgebung übertragen und über ein einfaches CLI-Kommando einspielen. Der laufende Betrieb wird dabei minimiert unterbrochen.

Ja. Das Protokoll enthält ein integriertes **RAG-Modul (Retrieval-Augmented Generation)** inklusive einer lokalen Vektordatenbank (z.B. Qdrant oder Milvus). Über sichere lokale Konnektoren können interne Netzlaufwerke (SharePoint Local, SMB-Freigaben) oder relationale Datenbanken (PostgreSQL, MySQL) indiziert werden. Die Vektorisierung (Embedding) findet vollständig lokal statt.