Sicherheit

KI-Tools sicher nutzen: Risiken und Gegenmaßnahmen

Dateizugriff kontrollieren, Datenabfluss verhindern, KI-Agenten isolieren. Konkrete Maßnahmen für Devs, PMs, POs, Designer und QA.

Auf einen Blick

9. April 202610 Min. Lesezeit

Praxisorientierte Einordnung statt bloßer Tool-Beschreibung. Direkt nutzbar für Teams, die Entscheidungen treffen müssen.

KI-Tools gehören zum Arbeitsalltag. Aber zwischen "KI nutzen" und "KI sicher nutzen" liegt ein erheblicher Unterschied. Dieser Artikel zeigt konkrete Risiken beim Einsatz von KI-Assistenten und was Teams dagegen tun können.

1. Dateizugriff kontrollieren

KI-Coding-Assistenten lesen Dateien, um Kontext aufzubauen. Das ist gewollt. Problematisch wird es, wenn sie dabei .env-Dateien, API-Keys, Zertifikate oder interne Konfigurationen mitlesen und diese Inhalte an Cloud-APIs senden.

Was zu tun ist

Claude Code: Eine .claudeignore-Datei im Projektroot anlegen (gleiche Syntax wie .gitignore). Zusätzlich in .claude/settings.json unter permissions.deny sensitive Pfade explizit ausschließen. Die .claudeignore allein reicht nicht immer aus.

# .claudeignore
.env
.env.*
**/*.pem
**/*.key
**/secrets/
**/credentials.*

Cursor: Unterstützt .cursorignore im Projektroot. In den Einstellungen zusätzlich unter "Privacy" kontrollieren, welche Dateien indexiert werden.

GitHub Copilot Business/Enterprise: Content-Ausschlüsse auf Org-Ebene konfigurieren (Settings > Copilot > Content Exclusion). Die community-getriebene .copilotignore funktioniert, ist aber weniger zuverlässig als die Org-Level-Einstellung.

Grundregel: Alles, was in .gitignore steht, sollte auch in der Ignore-Datei des KI-Tools stehen. Idealerweise automatisiert per Pre-Commit-Hook prüfen.

2. Den richtigen Tarif wählen

Nicht jeder KI-Tarif behandelt Daten gleich. Die Unterschiede sind erheblich:

Tool	Tarif	Training auf Daten	Daten-Speicherung	DPA/AVV verfügbar
GitHub Copilot	Business/Enterprise	Nein	Completions: Zero Retention	Ja
GitHub Copilot	Individual	Ja (Opt-out möglich)	Ja	Nein
Claude	API	Nein (ohne Opt-in)	30 Tage (ZDR auf Antrag)	Ja
Claude	Free/Pro (Consumer)	Ja (Opt-out möglich)	Ja	Nein
ChatGPT	Enterprise/Team	Nein	Zero Retention	Ja
ChatGPT	Plus/Free	Ja (Opt-out möglich)	Ja	Nein
Cursor	Business	Nein (Privacy Mode zwingend)	Zero Retention	Ja
Cursor	Free/Pro	Nein (nur mit Privacy Mode)	Nein (nur mit Privacy Mode)	Nein

Wichtig für DSGVO-Konformität: Nur Tarife mit Auftragsverarbeitungsvertrag (AVV/DPA) sind für den Einsatz mit personenbezogenen Daten oder vertraulichem Code geeignet. Die Consumer-Versionen sind das in der Regel nicht.

Cursor: Der Privacy Mode ist bei Free/Pro standardmäßig ausgeschaltet. Wer ihn nicht manuell aktiviert, dessen Code kann für Training verwendet werden. Bei Cursor Business ist der Privacy Mode automatisch aktiv.

Was das für wen bedeutet

3. KI-Agenten isolieren

KI-Coding-Agenten wie Claude Code, Codex CLI oder Gemini CLI arbeiten direkt im Dateisystem. Sie können Dateien erstellen, ändern, löschen und Shell-Befehle ausführen. Das ist mächtig und riskant zugleich.

Berechtigungsmodelle

Claude Code hat ein dreistufiges Berechtigungsmodell:

Nur-Lesen-Aktionen (Dateien lesen, Suche) werden automatisch erlaubt
Schreibaktionen (Dateien ändern, erstellen) erfordern Bestätigung
Shell-Befehle erfordern einzelne Bestätigung

Das Flag --dangerously-skip-permissions überspringt alle Abfragen. Dieses Flag sollte nie auf dem Host-System verwendet werden.

Docker Sandboxes

Die sicherere Alternative: KI-Agenten in isolierten MicroVMs ausführen. Docker Sandboxes (experimentell, seit März 2026) geben jedem Agenten:

Einen eigenen Linux-Kernel (nicht nur einen Container, der den Host-Kernel teilt)
Einen eigenen Docker-Daemon
Ein isoliertes Dateisystem (nur explizit gemountete Verzeichnisse)
Konfigurierbare Netzwerk-Policies (Open / Balanced / Locked Down)

# Claude Code in einer Docker Sandbox starten
sbx run claude-code --mount ./mein-projekt:/workspace

In der Sandbox darf der Agent alles, weil er das Host-System nicht erreichen kann. Das ist der sicherste Weg, KI-Agenten autonom arbeiten zu lassen.

Wichtig: Normale Docker-Container sind keine ausreichende Isolation. Container teilen sich den Host-Kernel. Ein Kernel-Exploit (wie Claude Mythos sie dutzendfach gefunden hat) kann aus einem Container ausbrechen. MicroVMs haben einen eigenen Kernel und sind daher deutlich sicherer.

4. Versionskontrolle als Sicherheitsnetz

Git ist das wichtigste Werkzeug, um KI-generierte Änderungen zu kontrollieren. Aber nur, wenn es konsequent eingesetzt wird.

Regeln für KI-generierten Code

Häufig committen: Jede logische Änderung als eigenen Commit. So lässt sich jede KI-Änderung einzeln prüfen und bei Bedarf rückgängig machen.
Diffs vor dem Commit lesen: git diff ist Pflicht, bevor KI-generierter Code committet wird. Nicht blind vertrauen.
Branch Protection aktivieren: Mindestens ein menschlicher Review vor dem Merge in den Hauptbranch.
Keine direkten Pushes auf main/master: Auch nicht für "kleine" KI-generierte Fixes.

Automatisierte Prüfungen in der CI-Pipeline

Laut einer NYU-Studie (Pearce et al.) enthielten rund 40% der von GitHub Copilot generierten Code-Vorschläge in sicherheitsrelevanten Szenarien Schwachstellen. Automatisierte Security-Scans sind deshalb besonders wichtig:

SAST-Tools (Static Application Security Testing): Semgrep, CodeQL, SonarQube
Dependency-Checks: Snyk, Dependabot, Renovate
Secret-Detection: GitLeaks, TruffleHog

Diese Tools sollten in der CI-Pipeline laufen und bei Findings den Merge blockieren.

Versionskontrolle nach Rolle

Nicht nur Code lässt sich mit Versionskontrolle absichern. Je nach Rolle und Dateiformaten gibt es unterschiedliche Strategien:

5. Prompt-Injection: Wenn Code den Agenten manipuliert

Prompt-Injection ist kein theoretisches Risiko. In 2025 und 2026 gab es dokumentierte Angriffe, bei denen KI-Assistenten durch manipulierte Inhalte zu ungewollten Aktionen verleitet wurden.

Reale Beispiele

GitHub Copilot (CVE-2025-53773): Angreifer konnten durch Prompt-Injection in Quellcode-Kommentaren, Webseiten oder GitHub Issues Remote Code Execution auslösen, CVSS-Score 7.8.
Microsoft 365 Copilot ("EchoLeak", CVE-2025-32711): Versteckte Anweisungen in Word-Dokumenten, PowerPoint-Präsentationen oder E-Mails konnten den Copilot dazu bringen, vertrauliche Daten an externe Empfänger zu senden. Zero-Click, CVSS 9.3.
Devin AI: Sicherheitsforscher manipulierten den Coding-Agenten, Ports zum Internet zu öffnen und Access-Tokens preiszugeben.

Wiz Research dokumentierte einen Anstieg von 340% bei Prompt-Injection-Versuchen in Q4 2025. Über 80% davon waren indirekte Injections: Anweisungen, die in Dokumenten, E-Mails oder Webseiten eingebettet waren.

Schutzmaßnahmen

KI-Agenten nicht auf ungeprüfte externe Inhalte loslassen (fremde Repos, E-Mail-Anhänge, Webseiten)
Ausgaben der KI immer verifizieren, besonders wenn sie auf externen Kontext zugreift
Netzwerkzugriff von KI-Agenten einschränken (Docker Sandboxes im "Locked Down"-Modus)
Keine Secrets in Kontexten, die KI-Agenten lesen (auch nicht in Kommentaren oder Dokumentation)

6. Supply-Chain-Risiken: Halluzinierte Pakete

KI-Modelle erfinden manchmal Paketnamen, die nicht existieren. Das klingt harmlos, ist aber ein realer Angriffsvektor namens "Slopsquatting".

So funktioniert der Angriff

Ein KI-Modell schlägt ein Paket vor, das nicht existiert (z.B. huggingface-cli)
Ein Angreifer registriert dieses Paket auf npm/PyPI mit Schadcode
Andere Nutzer, die denselben KI-Vorschlag erhalten, installieren das Schadpaket

Laut einer Studie empfehlen KI-Modelle in 20% der Code-Samples nicht-existente Pakete. 43% dieser halluzinierten Namen werden bei Wiederholung konsistent reproduziert, was Angreifern die Arbeit erleichtert.

Realer Fall: Das halluzinierte Paket huggingface-cli wurde auf PyPI registriert und erreichte über 30.000 Downloads in drei Monaten.

Schutzmaßnahmen

Lockfiles verwenden und Versionen pinnen
Unbekannte Paketnamen manuell prüfen (existiert das Paket? Seit wann? Wie viele Maintainer?)
Hash-Verifikation in der CI-Pipeline
Dependency-Review als Teil des Code-Reviews

7. Datenabfluss verhindern

76% der Organisationen sehen "Shadow AI" als Herausforderung: Mitarbeitende nutzen KI-Tools ohne Freigabe und laden dabei vertraulichen Code, Kundendaten oder interne Dokumente hoch.

Typische Wege des Datenabflusses

Code-Completion: Proprietärer Code wird an Cloud-APIs gesendet, um Vorschläge zu generieren
Copy-Paste in Chatbots: Entwickler kopieren Code mit API-Keys in ChatGPT oder Claude
Screenshot-Tools: KI-Tools, die den Bildschirm analysieren, erfassen potenziell vertrauliche Inhalte
MCP-Server: Wenn KI-Agenten über das Model Context Protocol auf Datenbanken, APIs oder Dateisysteme zugreifen, können sie mehr Daten lesen als beabsichtigt

Schutzmaßnahmen

Freigegebene Tool-Liste: Nur explizit genehmigte KI-Tools dürfen genutzt werden
Enterprise-Tarife: Consumer-Tarife für geschäftliche Nutzung sperren
Netzwerk-Policies: KI-spezifische Endpoints (api.openai.com, api.anthropic.com) nur über freigegebene Accounts erlauben
Schulung: Teams müssen wissen, welche Daten in KI-Tools landen dürfen und welche nicht