Private AI und Corporate LLMs: Unterschied zwischen den Versionen
Glanz (Diskussion | Beiträge) |
Glanz (Diskussion | Beiträge) |
||
| Zeile 104: | Zeile 104: | ||
{{:BRK}} | {{:BRK}} | ||
== Open WebUI + Ollama (Docker-Compose, Checkliste) == | == Open WebUI + Ollama (Docker-Compose, Checkliste) == | ||
Docker/Compose installieren → Open-WebUI- und Ollama-Container definieren → Volumes (Modelle/Uploads) → Healthchecks → Reverse-Proxy (Caddy) → SSO/Secrets als ENV → RBAC/Policies in Open WebUI pflegen. | Docker/Compose installieren → Open-WebUI- und Ollama-Container definieren → Volumes (Modelle/Uploads) → Healthchecks → Reverse-Proxy (Caddy) → SSO/Secrets als ENV → RBAC/Policies in Open WebUI pflegen. | ||
{{:BRK}} | {{:BRK}} | ||
== Caddy als Reverse Proxy (Automatic HTTPS) == | == Caddy als Reverse Proxy (Automatic HTTPS) == | ||
'''Caddy''' übernimmt Zertifikatserwerb und -erneuerung automatisch (ACME/Let’s Encrypt/ZeroSSL), inklusive HTTP→HTTPS-Redirects und modernen Defaults; feinsteuerbar über Caddyfile-Direktiven. | '''Caddy''' übernimmt Zertifikatserwerb und -erneuerung automatisch (ACME/Let’s Encrypt/ZeroSSL), inklusive HTTP→HTTPS-Redirects und modernen Defaults; feinsteuerbar über Caddyfile-Direktiven. | ||
{{:BRK}} | {{:BRK}} | ||
== Watchtower für Container-Updates == | == Watchtower für Container-Updates == | ||
'''Watchtower''' überwacht Images, zieht Updates, fährt Container kontrolliert neu und erhält Start-Optionen; wähle für Produktion Monitoring-only oder gestaffelte Rollouts. | '''Watchtower''' überwacht Images, zieht Updates, fährt Container kontrolliert neu und erhält Start-Optionen; wähle für Produktion Monitoring-only oder gestaffelte Rollouts. | ||
{{:BRK}} | {{:BRK}} | ||
== Vektor-DB Qdrant (RAG-Baustein) == | == Vektor-DB Qdrant (RAG-Baustein) == | ||
[[Qdrant]] speichert Embeddings, unterstützt Filterung, Hybrid-Suche und Reranking; Local-Quickstart & Tutorials erleichtern den Einstieg in skalierbare Retrieval-Workflows. | [[Qdrant]] speichert Embeddings, unterstützt Filterung, Hybrid-Suche und Reranking; Local-Quickstart & Tutorials erleichtern den Einstieg in skalierbare Retrieval-Workflows. | ||
{{:BRK}} | {{:BRK}} | ||
== Tailscale (WireGuard-Overlay, MagicDNS) == | == Tailscale (WireGuard-Overlay, MagicDNS) == | ||
'''Tailscale''' verbindet lokale GPUs/Server sicher (WireGuard) und vereinfacht Namensauflösung mit '''MagicDNS''' (Hostnamen statt IPs) – ideal für hybride Corporate-LLM-Topologien. | '''Tailscale''' verbindet lokale GPUs/Server sicher (WireGuard) und vereinfacht Namensauflösung mit '''MagicDNS''' (Hostnamen statt IPs) – ideal für hybride Corporate-LLM-Topologien. | ||
{{:BRK}} | {{:BRK}} | ||
== Hosting & DPA (Hetzner) == | == Hosting & DPA (Hetzner) == | ||
Für DSGVO-Konformität ist bei Auftragsverarbeitung ein '''DPA''' mit dem Hoster notwendig; EU-Standorte wählen und TOMs dokumentieren. Hetzner stellt dafür Standard-DPA und Hilfeseiten bereit. | Für DSGVO-Konformität ist bei Auftragsverarbeitung ein '''DPA''' mit dem Hoster notwendig; EU-Standorte wählen und TOMs dokumentieren. Hetzner stellt dafür Standard-DPA und Hilfeseiten bereit. | ||
{{:BRK}} | {{:BRK}} | ||
= Sicherheit, Compliance & Betrieb = | = Sicherheit, Compliance & Betrieb = | ||
Version vom 24. November 2025, 21:47 Uhr


Private AI und Corporate LLMs
Einleitung
Dieser aiMOOC führt Dich systematisch in Private AI und Corporate LLMs ein – also in KI-Systeme, die lokal auf Deinem Rechner oder auf eigener Infrastruktur (On-Premises, Private Cloud) laufen. Der Fokus liegt auf Datensicherheit (DSGVO-Konformität), Kostenkontrolle und Unabhängigkeit von hyperskaligen US-Clouds. Du erhältst fundierte theoretische Grundlagen (Parameter, Quantisierung, Formate), konkrete Architektur-Blueprints (Open-Source-Stack mit Open WebUI, Ollama, Qdrant, Caddy u. a.), rechtliche Leitplanken (EU AI Act, Datenübermittlungen in Drittländer) sowie fünf durchgehende Praxis-Use-Cases – vom unternehmensweiten Chat-Workspace über RAG-Workflows bis hin zu OMR-Automatisierung in sensiblen Kontexten. Damit kannst Du Private-AI-Lösungen professionell planen, implementieren und betreiben. :contentReference[oaicite:0]{index=0}
Videozusammenfassung (Executive Summary)
Das verlinkte Video argumentiert, dass Standard-Abos (z. B. ChatGPT-Team-Lizenzen) bei Skalierung teuer werden und datenschutzrechtlich problematisch sein können. Stattdessen empfiehlt der Sprecher Corporate LLMs auf eigener Infrastruktur (On-Prem/Private Cloud), sodass Daten das Unternehmen nicht verlassen und Richtlinien (RBAC, SSO, Freigaben) zentral durchgesetzt werden. Er definiert sauber: Private KI (Oberbegriff für KI auf eigener Hardware), lokales LLM (vollständig offline auf Endgerät, z. B. via Ollama), self-hosted LLM (eigene Server/Private Cloud) und Corporate LLM (unternehmensweit verwaltetes System mit Governance). Anschaulich erklärt er die Funktionsweise neuronaler Netze, die Bedeutung von Parametern und die Quantisierung (z. B. Q4_K_M als guter Kompromiss für Alltags-Workloads). Hardware-Leitlinien: 7–8B-Modelle laufen auf moderner Laptop-Hardware, 14–20B erfordern mehr RAM/VRAM, 70B+ meist Server/Mehr-GPU. Fünf Use-Cases werden im Detail demonstriert: 1) Open-WebUI-Workspace mit Caddy-Reverse-Proxy, Watchtower-Updates und Microsoft Entra ID-SSO; 2) n8n-Automatisierung mit RAG (Embeddings via Ollama, Vektoren in Qdrant); 3) lokaler Sprachassistent mit Whisper/whisper.cpp und Hotkey-Steuerung; 4) Kanzlei-Pipeline zur Dokumentenextraktion und Gutachtenerstellung (inkl. Parallel-Modelle und Feedback); 5) OMR-Auswertung mit Poppler/pdftoppm und Tesseract für hunderte Papierfragebögen. Ein Experten-Interview betont, dass spezialisierte kleinere Modelle in klar umrissenen Domänen oft besser und datenschutzfreundlicher performen als riesige Cloud-Modelle. Das Fazit: Corporate LLMs sind keine Mode, sondern Kern-Infrastruktur für Rechtssicherheit, Kosteneffizienz und IP-Schutz.
Grundlagen & Rechtsrahmen
EU AI Act: Zeitplan und Bedeutung für Private AI
Der EU AI Act tritt gestaffelt in Kraft. Verbotene Nutzungen gelten bereits seit 02.02.2025; Pflichten für General-Purpose-AI (GPAI) laufen seit 02.08.2025 an. Weitere Teile – inklusive hochriskanter Systeme und nationale Sandboxes – folgen bis 2026/2027. Für Private-AI-Deployments bedeuten die Übergangsfristen: rechtzeitig Governance (Risikomanagement, Logging, Dokumentation) etablieren, Domänenrisiken bewerten und Transparenzpflichten prüfen. :contentReference[oaicite:1]{index=1}
Internationale Datentransfers: Schrems II & EU-US Data Privacy Framework
Das Schrems-II-Urteil (C-311/18) erklärte 2020 Privacy Shield für ungültig; SCCs bleiben nutzbar, aber nur mit strengen Zusatzprüfungen. 2023 folgte die Angemessenheitsentscheidung für das EU-US Data Privacy Framework (DPF). Unternehmen müssen dennoch sorgfältig prüfen, ob DPF/SCCs den konkreten Verarbeitungsvorgang abdecken. Private AI reduziert die Exponierung, indem sensible Verarbeitung lokal/in der EU bleibt. :contentReference[oaicite:2]{index=2}
Begriffe: Private KI, Lokal, Self-Hosted, Corporate LLM
Private KI ist der Oberbegriff für KI auf eigener Hardware (On-Device, On-Prem, Private Cloud). Ein lokales LLM läuft vollständig offline auf dem Endgerät (z. B. mit Ollama). Self-Hosted LLMs residieren auf kontrollierten Servern (z. B. EU-Rechenzentrum), und Corporate LLMs fassen dies als verwaltete Unternehmens-Plattform mit SSO, RBAC, Audit-Logs, Richtlinien und Tool-Integrationen zusammen. Open WebUI und Ollama bilden dafür eine verbreitete Open-Source-Kombination. :contentReference[oaicite:3]{index=3}
Technische Grundlagen: Parameter, Quantisierung & Formate
Größere Parameter-Zahlen korrelieren oft mit Leistungsfähigkeit, benötigen aber viel RAM/VRAM. Quantisierung (z. B. 16-Bit → 4-Bit) senkt Speicherbedarf und beschleunigt Inferenz – mit begrenztem Genauigkeitsverlust. In llama.cpp/GGUF sind K-Quants wie Q4_K_M weit verbreitet (guter Qualitäts-/Geschwindigkeitskompromiss); Tabellen belegen die Bits-pro-Gewicht-Profile. Für produktive Workloads sollte man Varianten gegeneinander testen (K-Quants vs. neuere IQ-Quants) und die Zielhardware berücksichtigen. :contentReference[oaicite:4]{index=4}
Hardware & Architektur
Hardware-Leitplanken (Daumenwerte, Q4-Quantisierung)
Für 7B–8B-Modelle reichen häufig 4–8 GB VRAM (oder entsprechend viel System-RAM bei CPU-Inferenz) für flüssige Interaktionen; 14B–20B profitieren von 8–16 GB VRAM bzw. 32–64 GB RAM; 70B+ verlangen in der Regel Server- bzw. Multi-GPU-Setups. Passe Kontextfenster, Batch-Größen und quantisierte Gewichte an die verfügbare Speicherbandbreite an, teste mehrere Quant-Profile (z. B. Q4_K_M vs. Q5_K_M). (Technisch untermauert durch Messdaten und Tabellen aus der GGUF-/llama.cpp-Welt.) :contentReference[oaicite:5]{index=5}
Architektur-Blueprint (EU-konformer Self-Hosted-Stack)
Ein praxistauglicher Blueprint umfasst: Interface mit Open WebUI (Chat, RAG, Prompt-Bibliothek, RBAC, Gruppen, Upload-Wissen), Model-Runner via Ollama (lokal/Server), Vektor-DB Qdrant für Embeddings und semantische Suche, Reverse Proxy Caddy (Automatic HTTPS/ACME), Updates via Watchtower, sicheres Overlay-Netz über Tailscale (WireGuard, MagicDNS) zur Kopplung lokaler GPUs mit dem zentralen Web-Workspace, Hosting bei EU-Anbietern (z. B. Hetzner mit DPA). :contentReference[oaicite:6]{index=6}
Praxis: Fünf Use Cases Schritt für Schritt
Use Case 1 – Corporate LLM Workspace (Open WebUI)
Ziel: Unternehmensweiter Chat-Workspace (ChatGPT-ähnliche UX), self-hosted auf EU-Servern. Kernschritte:
- Server (z. B. Hetzner Cloud) bereitstellen, DPA abschließen, Domain konfigurieren.
- Open WebUI und Ollama per Docker Compose deployen; Volumes für Modelle/Uploads anlegen.
- Caddy als Reverse-Proxy davorsetzen; Automatic HTTPS per ACME/Let’s Encrypt.
- Watchtower für automatisierte Container-Updates; Wartungsfenster/Canary-Rollouts definieren.
- SSO via Microsoft Entra ID (OIDC) einrichten; optional Passwort-Login deaktivieren (SSO-only).
- RBAC/Teams in Open WebUI pflegen (z. B. Marketing → leistungsstärkeres Modell, Dev → Code-Modelle); Richtlinie: primär lokale Modelle, Fallback nur für nicht-sensitive Spitzenlasten.
Use Case 2 – Lokale Automatisierung & RAG-Agents (n8n)
Ziel: Self-hosted Workflows mit sensiblen Daten (Alternative zu Zapier/Make) und RAG-Q&A über interne Dokumente. Kernschritte:
- n8n über Docker/Docker-Compose self-hosten; Ressourcen, Backups und Zugriff absichern.
- Pipeline: PDF-Import → Chunking → Embeddings (Ollama) → Vektorisierung in Qdrant → Chat-Agent (Retrieval + Antwortformulierung).
- Automatisierung: Datei-Watcher importiert neue Dokumente, re-embeddet geänderte Dateien und invalidiert Caches.
Use Case 3 – Lokaler Sprachassistent (Voice Agent)
Ziel: Offline-Diktiergerät & Voice-Kommandos (Hotkey), besonders geeignet für Berufsgeheimnisträger. Kernschritte:
- Whisper/whisper.cpp lokal betreiben (GPU-beschleunigt, Apple Silicon/NVIDIA/CPU-Modi verfügbar).
- Hotkey-Recorder: Aufnahme → Transkript in Zwischenablage oder als Trigger für n8n-Flows (z. B. Kalender, Tickets).
- Qualität & Risiken: Stichproben-QS, Prompt-Vorlagen für Korrektur-Heuristiken; Hinweis auf mögliche Fehltranskriptionen/Halluzinationen in sensiblen Domänen.
Use Case 4 – Custom Corporate LLM für Kanzleien (Dokumentenanalytik)
Ziel: Massen-Extraktion juristisch relevanter Variablen aus Beschlüssen/Anträgen und automatisierte Gutachten per Template. Pipeline (Beispiel): Upload → OCR/Parsing → Extraktion (LLM, Regelsätze als Guardrails) → Parallel-Analyse mit zwei Modellen (Qualitätssicherung) → Feedback (Daumen hoch/runter) → Template-Engine (Word/PDF) → Audit-Logs. Compliance: Verarbeitung On-Prem/EU, lückenlose Protokollierung, Rechte-/Rollenkonzepte, manuelle Freigabe vor externer Kommunikation.
Use Case 5 – OMR für psychische Gefährdungsbeurteilung (ohne generative KI)
Ziel: Hunderte Papierfragebögen automatisiert digitalisieren – robust, kosteneffizient, datensparsam. Kernschritte:
- Rasterisierung mit Poppler/pdftoppm, Vorverarbeitung (Thresholding, Morphologie).
- Checkbox-/Markenerkennung und Texte mit Tesseract/PyTesseract; Export nach CSV/Excel.
- Optional: Vision-Modelle nur für Freitextfelder (mit lokaler Inferenz).
Setup-Rezepte (Kurz & präzise)
Open WebUI + Ollama (Docker-Compose, Checkliste)
Docker/Compose installieren → Open-WebUI- und Ollama-Container definieren → Volumes (Modelle/Uploads) → Healthchecks → Reverse-Proxy (Caddy) → SSO/Secrets als ENV → RBAC/Policies in Open WebUI pflegen.
Caddy als Reverse Proxy (Automatic HTTPS)
Caddy übernimmt Zertifikatserwerb und -erneuerung automatisch (ACME/Let’s Encrypt/ZeroSSL), inklusive HTTP→HTTPS-Redirects und modernen Defaults; feinsteuerbar über Caddyfile-Direktiven.
Watchtower für Container-Updates
Watchtower überwacht Images, zieht Updates, fährt Container kontrolliert neu und erhält Start-Optionen; wähle für Produktion Monitoring-only oder gestaffelte Rollouts.
Vektor-DB Qdrant (RAG-Baustein)
Qdrant speichert Embeddings, unterstützt Filterung, Hybrid-Suche und Reranking; Local-Quickstart & Tutorials erleichtern den Einstieg in skalierbare Retrieval-Workflows.
Tailscale (WireGuard-Overlay, MagicDNS)
Tailscale verbindet lokale GPUs/Server sicher (WireGuard) und vereinfacht Namensauflösung mit MagicDNS (Hostnamen statt IPs) – ideal für hybride Corporate-LLM-Topologien.
Hosting & DPA (Hetzner)
Für DSGVO-Konformität ist bei Auftragsverarbeitung ein DPA mit dem Hoster notwendig; EU-Standorte wählen und TOMs dokumentieren. Hetzner stellt dafür Standard-DPA und Hilfeseiten bereit.
Sicherheit, Compliance & Betrieb
Datenschutz & Governance
Erstelle ein Verzeichnis von Verarbeitungstätigkeiten, definiere Rechtsgrundlagen und Zwecke, halte Logging/Audit und Risikomanagement (AI-Act-konform) vor. Für internationale Transfers nutze SCCs/DPF nur nach Einzelfallprüfung – Private-AI-Verarbeitung in der EU minimiert Risiken. :contentReference[oaicite:17]{index=17}
Härtung und Betriebs-Best-Practices
- Netzwerkzugriffe minimieren (VPN/Tailscale), Admin-UIs hinter SSO, Firewall-Policies restriktiv.
- RBAC streng nach Least-Privilege; Modellzugriffe team-/mandantenweise trennen.
- Secret-Management (z. B. Vault/KMS), versionierte Prompts, Backups der Vektor-DB und Uploads.
- Qualitätssicherung (human-in-the-loop), Evaluations-Sätze, Modell-/Prompt-Drift überwachen.
- Dokumentiere Grenzen (z. B. ASR-Fehler/Halluzinationen) bei sensiblen Workflows. :contentReference[oaicite:18]{index=18}
Interaktive Aufgaben
Quiz: Teste Dein Wissen
Was ist das zentrale Ziel von Corporate LLMs in Unternehmen? (Schutz sensibler Daten bei gleichzeitiger Kosten- und Infrastrukturkontrolle) (!Maximale Abhängigkeit von externen Cloud-APIs) (!Verzicht auf jegliche Authentifizierung) (!Austausch aller Fachverfahren durch ein einziges Modell)
Welche Aussage zur Quantisierung (z. B. Q4_K_M) trifft zu? (Reduzierter Speicherbedarf und schnellere Inferenz bei moderatem Genauigkeitsverlust) (!Hat nur Einfluss auf das Training, nicht auf die Inferenz) (!Erhöht die Modellgröße) (!Ist ausschließlich für Bildmodelle relevant)
Welche Komponente liefert Automatic HTTPS ab Werk? (Caddy) (!Watchtower) (!Qdrant) (!Tailscale)
Welche Aufgabe übernimmt Qdrant in einer RAG-Pipeline? (Semantische Vektorsuche über Embeddings mit Filtermöglichkeiten) (!Automatisches TLS-Zertifikatsmanagement) (!Transkription von Audioaufnahmen) (!Bereitstellung eines Reverse-Proxys)
Wofür eignet sich Watchtower im Betrieb? (Automatisierte Aktualisierung laufender Container-Images mit kontrolliertem Neustart) (!Hardware-Monitoring von GPU-Temperaturen) (!SAML-basierte Single-Sign-On-Anmeldung) (!Indexierung von Vektoren)
Was beschreibt MagicDNS in Tailscale? (Automatische Hostnamen-Zuweisung für Geräte im privaten Netz) (!Ein proprietäres Zertifikatsformat) (!Ein OCR-Modul zur Formularerkennung) (!Ein proprietärer Reverse-Proxy)
Welche Rechtsfolge hatte Schrems II? (Privacy Shield wurde für ungültig erklärt; SCCs bleiben mit Auflagen nutzbar) (!Sämtliche Datentransfers in die USA wurden ohne Ausnahme erlaubt) (!Die DSGVO wurde ausgesetzt) (!Das EU-US Data Privacy Framework trat 2020 in Kraft)
Welche Pflicht betrifft GPAI-Modelle laut EU AI Act besonders? (Transparenz- und Governance-Pflichten mit schrittweiser Anwendung ab August 2025) (!Pflicht zur Open-Source-Lizenzierung aller Modelle) (!Verbot der Modellquantisierung) (!Zwangshosting in US-Rechenzentren)
Was ist ein Corporate-LLM-Hybridbetrieb? (Primär lokale Inferenz, mit wohldefiniertem Fallback auf externe APIs für nicht-sensitive Spitzenlasten) (!Gleichzeitige Nutzung beliebiger externer APIs ohne Richtlinien) (!Ausschließlicher Betrieb in der Public Cloud) (!Nur CPU-basierte Inferenz ohne GPU)
Welches Risiko ist bei Offline-ASR (Whisper) zu beachten? (Mögliche Fehltranskriptionen/Halluzinationen, daher QS und kritische Nutzungshinweise) (!Automatische Rechtskonformität ohne weitere Maßnahmen) (!Notwendigkeit permanenter Internetverbindung) (!Unvereinbarkeit mit DSGVO)
Memory
Erstelle passende Paare:
| Private KI | Verarbeitung auf eigener Infrastruktur (On-Prem/Private Cloud) |
| Corporate LLM | Zentral verwaltete Unternehmensplattform mit SSO/RBAC |
| Open WebUI | Chat-Oberfläche mit RAG, Prompt-Bibliothek und Gruppenrechten |
| Ollama | Lokaler Model-Runner für LLMs (GGUF/Quantisierung) |
| Qdrant | Vektordatenbank für Embeddings und semantische Suche |
| Caddy | Reverse Proxy mit Automatic HTTPS (ACME) |
| Watchtower | Automatisierte Updates für laufende Container |
| Tailscale | WireGuard-Overlay-Netz mit MagicDNS |
| Whisper | Offline-ASR für Sprach-zu-Text |
Drag and Drop
| Ordne die richtigen Begriffe zu. | Thema |
|---|---|
| Qdrant | Vektordatenbank für semantische Suche |
| Caddy | Reverse Proxy mit Automatic HTTPS |
| Whisper | Lokale ASR-Transkription ohne Cloud |
| Watchtower | Automatisierte Container-Image-Updates |
| Tailscale | WireGuard-Overlay-Netz mit MagicDNS |
...
Kreuzworträtsel
| datenschutz | Welches Ziel verfolgt Private AI in erster Linie? |
| quantisierung | Wie heißt der Prozess zur Reduktion der Gewichtspräzision großer Modelle? |
| caddyserver | Welcher Webserver bietet Automatic HTTPS per ACME? |
| qdrantdb | Welche Vektordatenbank wird häufig für RAG eingesetzt? |
| tailscale | Welches Tool baut ein WireGuard-Overlay mit MagicDNS auf? |
| whisperasr | Wie heißt das lokale Modell für Sprach-zu-Text? |
LearningApps
Lückentext
Offene Aufgaben
Leicht
- Begriffe strukturieren: Erstelle eine Mindmap zu Private KI, lokalem LLM, self-hosted LLM und Corporate LLM. Ergänze je zwei Beispiele für Tools.
- Sicherheitscheck: Liste für Deinen Use-Case drei Datenarten auf, die das Unternehmen nie an externe APIs senden sollte, und begründe.
- Quickstart: Installiere Ollama lokal und starte ein 7B-Modell. Dokumentiere RAM/VRAM-Verbrauch und Antwortzeit mit/ohne Quantisierung.
- Netzwerkdiagramm: Skizziere die Komponenten eines Open-WebUI-Workspaces (Proxy, SSO, Runner, Vektor-DB, Storage) als Architektur-Skizze.
Standard
- RAG-Prototyp: Baue einen Minimal-RAG mit Dokument-Upload, Embeddings und Qdrant-Abfrage. Evaluiere Antwortqualität an fünf Fragen.
- SSO-Einbindung: Richte eine Test-App in Microsoft Entra ID ein und simuliere OIDC-Login für ein lokales Web-UI. Beschreibe Claims/Rollen.
- Betriebskonzept: Erstelle ein kurzes Operating Model (Backups, Updates/Watchtower-Policy, Monitoring, Incident-Prozess, Rollback).
- Datenklassifikation: Entwickle eine 3-stufige Klassifikation (öffentlich/intern/vertraulich) und leite Prompt- und Modell-Policy je Stufe ab.
Schwer
- Compliance-Blueprint: Erarbeite eine AI-Act/DSGVO-Checkliste (Risikobewertung, Logging, Data-Maps, DPIA, Löschkonzept) für Deinen Corporate-LLM.
- Benchmarking: Vergleiche zwei quantisierte Modelle (z. B. Q4_K_M vs. Q5_K_M) über einen repräsentativen Prompt-Satz (Halluzinations-/Faktenscore, Latenz, Kosten).
- Voice-Agent: Implementiere einen Offline-ASR-Prototyp (whisper.cpp). Messe WER auf Deinem Fachvokabular und designe Korrektur-Prompts/Regeln.
- OMR-Pipeline: Baue einen OMR-Proof-of-Concept mit Poppler/pdftoppm und Tesseract; detektiere Checkboxen, exportiere Ergebnisse als CSV.


Lernkontrolle
- Architektur-Transfer: Skizziere, wie Du denselben Corporate-LLM-Blueprint für eine Klinik anpasst (Rollen, Log-Pflichten, Offline-ASR-Grenzen).
- Make-or-Buy: Entwickle Kriterien, wann lokale Inferenz externer API-Calls überlegen ist (Risiko, Kosten, Latenz, IP-Schutz) – begründe anhand eines Szenarios.
- Regelkonformität: Ordne einen Use-Case dem AI-Act-Risikoniveau zu und leite daraus Governance-Maßnahmen ab (Nachweisführung, Tests, Monitoring).
- Resilienz: Entwirf eine Störfall-Strategie (Modell-Fallbacks, isolierte Mandanten, Rate-Limits), die Datenschutz- und Verfügbarkeitsziele verbindet.
- Datenflüsse: Zeichne einen Data-Flow-Graphen vom Prompt bis zum Audit-Log und erkläre, wo welche Daten nicht gespeichert werden dürfen.
OERs zum Thema
Links
Teilen - Diskussion - Bewerten
Schulfach+


aiMOOCs



aiMOOC Projekte


YouTube Music: THE MONKEY DANCE

Spotify: THE MONKEY DANCE

Apple Music: THE MONKEY DANCE

Amazon Music: THE MONKEY DANCE

The Monkey Dance SpreadShirtShop

|
|
|


Children for a better world >> Förderung der AI Fair-Image Challenge
Fair-Image wird von CHILDREN JUGEND HILFT! gefördert und ist mit der deutschlandweiten AI Fair-Image Challenge SIEGERPROJEKT 2025. Alle Infos zur Challenge hier >>. Infos zum Camp25 gibt es hier. Wenn auch Ihr Euch ehrenamtlich engagiert und noch finanzielle Unterstützung für Eurer Projekt braucht, dann stellt gerne einen Antrag bei JUGEND HILFT.
