08.07.2025
Blog
Data & AI
Cyber Security

Sprachmodelle sicher einsetzen: Wie sich KI vor Manipulation schützen lässt

Große Sprachmodelle wie ChatGPT oder Gemini beeindrucken – aber sie sind nicht unverwundbar. Manipulationen durch Falschinformationen oder versteckte Anweisungen sind reale Bedrohungen. Deshalb braucht es neue Sicherheitsstrategien. Materna zeigt, wie es geht.

Eduard Hübner
Experte für IT-Sicherheit

Was wäre, wenn Ihre KI-Lösung systematisch manipulierte Informationen liefert? Genau das kann passieren – etwa durch sogenannte „LLM Grooming“-Attacken. Dabei fluten Angreifer das Internet mit gezielten Falschmeldungen. Sprachmodelle, die auf externe Daten zugreifen, übernehmen diese Inhalte unreflektiert. Die Folge: falsche Antworten, verzerrte Narrative – und im schlimmsten Fall Fehleinschätzungen mit echten Auswirkungen.

Angriff über die Hintertür: Indirekte Prompt-Injections

Ein weiteres Einfallstor sind sogenannte „indirekte Prompt-Injections“. Angreifer verstecken dabei Anweisungen in scheinbar harmlosen Inhalten – etwa in einer Webseite oder einer E-Mail. Wird diese Information von einem Sprachmodell verarbeitet, kann es zu unerwartetem Verhalten kommen: Die KI folgt nicht mehr dem Nutzer, sondern dem Angreifer.

Klassische IT-Sicherheit greift hier zu kurz. Deshalb setzt Materna auf ein umfassendes Sicherheitskonzept – von der Architektur bis zum Live-Betrieb: 

  • Least Privilege: Sprachmodelle erhalten nur Zugriff auf unbedingt notwendige Daten.
  • Input-Filter: Eingehende Inhalte werden auf verdächtige Muster geprüft.
  • Monitoring: Auffällige Aktivitäten werden automatisch erkannt.
  • Verteilte Verantwortung: Sicherheitsmechanismen greifen auf mehreren Ebenen. 

Schutzmaßnahmen im Praxiseinsatz

Einige bewährte Strategien: 

  • Scannen vor Verarbeitung: Spezialisierte Modelle prüfen Eingaben, bevor sie das Hauptmodell erreichen.
  • Dual-LLM-Ansätze: Ein Modell analysiert, das andere antwortet – ohne direkten Zugriff auf Rohdaten.
  • Statische und dynamische Codeanalysen: Sicherheitslücken lassen sich so frühzeitig erkennen und schließen. 

Stresstest für die KI – mit echten Angriffen

Die Sicherheitsprüfung endet nicht mit dem Go-Live. Materna setzt auf regelmäßige Penetrationstests, etwa mit dem Open-Source-Tool garak von NVIDIA. Es simuliert realistische Angriffe auf KI-Systeme – von simplen Jailbreaks bis zu komplexen Prompt-Injections. Nur so können Schwachstellen zuverlässig erkannt und behoben werden.

Fazit: Sicherheit ist kein Zustand, sondern ein Prozess

KI kann Prozesse beschleunigen und Entscheidungen verbessern. Doch ohne geeignete Schutzmechanismen wird sie schnell zum Risiko. Deshalb gilt: Wer KI sicher und verantwortungsvoll einsetzen will, muss Sicherheit von Anfang an mitdenken – technologisch, strategisch und kontinuierlich.

KI-Whitepaper zum Download

Kennen Sie schon unser KI-Whitepaper? Hier finden Sie es zum Download!

Eduard Hübner
Experte für IT-Sicherheit

Eduard Hübner ist ein Experte für IT-Sicherheit, der sich mit der Schnittstelle zwischen künstlicher Intelligenz und Cybersicherheit befasst. Durch seine Forschung trägt er zur Absicherung von KI-Systemen bei, wobei er stets ein angemessenes Gleichgewicht zwischen Sicherheit und Flexibilität dieser Systeme im Auge hat.

Verwandte Artikel

Blog
Cyber Security
13.10.2026
Cyber Resilience: So werden Organisationen in Zeiten von NIS2 und Cyberangriffen widerstandsfähiger

Cyberangriffe, geopolitische Spannungen, hybride Bedrohungen und neue regulatorische Anforderungen verändern die Rahmenbedingungen für Organisationen…

Weiterlesen
Short News
Think ahead
Cyber Security
26.08.2026
Quantencomputer: Das Ende der Verschlüsselung, wie wir sie kennen

Warum Post-Quantum-Readiness weit über Kryptografie hinausgeht und zu einer zentralen Voraussetzung digitaler Souveränität wird – für Verwaltung, KRITIS, Industrie und alle Organisationen mit langfristig schützenswerten Daten.

Weiterlesen
Blog
Cyber Security
11.08.2026
Drohnen erkennen und abfangen: Die Lösungen liegen vor

Wie gut sind kritische Infrastrukturen gegen Drohnenangriffe geschützt? Der Sicherheitsvorfall am Flughafen Leipzig/Halle hat Deutschland…

Weiterlesen
Blog
Cyber Security
11.08.2026
Cyber Security 2026: Diese Trends prägen Wirtschaft und öffentliche Verwaltung gleichermaßen

Cyber Security steht 2026 stärker denn je im Fokus von Unternehmen, Behörden und öffentlichen Einrichtungen. Laut der Lünendonk-Studie 2026: Der Markt…

Weiterlesen
Short News
Corporate
Cyber Security
31.07.2026
Vom Rising Star zum Leader: Materna steigt in der ISG Provider Lens™ Cyber Security – Services and Solutions 2026 zum Leader für Strategic Security Services auf

ISG zeichnet Materna als führenden Anbieter für Cyber Security-Beratung in Deutschland aus.

Weiterlesen
Blog
Cyber Security
28.07.2026
Security by Design: Warum sichere Software nicht erst vor dem Go-live entsteht

Sicherheit wird in vielen Softwareprojekten noch immer als abschließender Prüfschritt verstanden. Wenn die Anwendung nahezu fertig ist, folgen…

Weiterlesen
Blog
Cyber Security
21.07.2026
Informationssicherheit: Klare Verantwortung stärkt Cyber-Resilienz

Informationssicherheit scheitert selten an fehlendem Bewusstsein allein – häufig sind es unklare Zuständigkeiten, fehlende Schnittstellen und nicht…

Weiterlesen
Blog
Cyber Security
13.05.2026
KRITIS-Dachgesetz: Diese neuen Anforderungen kommen jetzt auf KRITIS-Betreiber zu

Der Schutz kritischer Infrastrukturen ist für viele Unternehmen und Behörden bereits seit Jahren ein zentrales Thema. Mit dem neuen KRITIS-Dachgesetz…

Weiterlesen
Blog
Cyber Security
24.03.2026
Cyberresilienz im Mittelstand: Warum Cyber-Sicherheit heute über die Zukunft entscheidet

Cyberresilienz im Mittelstand ist längst kein optionales IT-Thema mehr, sondern eine strategische Notwendigkeit. Während große Konzerne seit Jahren…

Weiterlesen
Monitor
Cyber Security
25.11.2025
Prompt Injection

Über die Sicherheit von Sprachmodellen.

Weiterlesen