08.07.2025
Blog
Data & AI
Cyber Security

Sprachmodelle sicher einsetzen: Wie sich KI vor Manipulation schützen lässt

Große Sprachmodelle wie ChatGPT oder Gemini beeindrucken – aber sie sind nicht unverwundbar. Manipulationen durch Falschinformationen oder versteckte Anweisungen sind reale Bedrohungen. Deshalb braucht es neue Sicherheitsstrategien. Materna zeigt, wie es geht.

Eduard Hübner
Experte für IT-Sicherheit

Was wäre, wenn Ihre KI-Lösung systematisch manipulierte Informationen liefert? Genau das kann passieren – etwa durch sogenannte „LLM Grooming“-Attacken. Dabei fluten Angreifer das Internet mit gezielten Falschmeldungen. Sprachmodelle, die auf externe Daten zugreifen, übernehmen diese Inhalte unreflektiert. Die Folge: falsche Antworten, verzerrte Narrative – und im schlimmsten Fall Fehleinschätzungen mit echten Auswirkungen.

Angriff über die Hintertür: Indirekte Prompt-Injections

Ein weiteres Einfallstor sind sogenannte „indirekte Prompt-Injections“. Angreifer verstecken dabei Anweisungen in scheinbar harmlosen Inhalten – etwa in einer Webseite oder einer E-Mail. Wird diese Information von einem Sprachmodell verarbeitet, kann es zu unerwartetem Verhalten kommen: Die KI folgt nicht mehr dem Nutzer, sondern dem Angreifer.

Klassische IT-Sicherheit greift hier zu kurz. Deshalb setzt Materna auf ein umfassendes Sicherheitskonzept – von der Architektur bis zum Live-Betrieb: 

  • Least Privilege: Sprachmodelle erhalten nur Zugriff auf unbedingt notwendige Daten.
  • Input-Filter: Eingehende Inhalte werden auf verdächtige Muster geprüft.
  • Monitoring: Auffällige Aktivitäten werden automatisch erkannt.
  • Verteilte Verantwortung: Sicherheitsmechanismen greifen auf mehreren Ebenen. 

Schutzmaßnahmen im Praxiseinsatz

Einige bewährte Strategien: 

  • Scannen vor Verarbeitung: Spezialisierte Modelle prüfen Eingaben, bevor sie das Hauptmodell erreichen.
  • Dual-LLM-Ansätze: Ein Modell analysiert, das andere antwortet – ohne direkten Zugriff auf Rohdaten.
  • Statische und dynamische Codeanalysen: Sicherheitslücken lassen sich so frühzeitig erkennen und schließen. 

Stresstest für die KI – mit echten Angriffen

Die Sicherheitsprüfung endet nicht mit dem Go-Live. Materna setzt auf regelmäßige Penetrationstests, etwa mit dem Open-Source-Tool garak von NVIDIA. Es simuliert realistische Angriffe auf KI-Systeme – von simplen Jailbreaks bis zu komplexen Prompt-Injections. Nur so können Schwachstellen zuverlässig erkannt und behoben werden.

Fazit: Sicherheit ist kein Zustand, sondern ein Prozess

KI kann Prozesse beschleunigen und Entscheidungen verbessern. Doch ohne geeignete Schutzmechanismen wird sie schnell zum Risiko. Deshalb gilt: Wer KI sicher und verantwortungsvoll einsetzen will, muss Sicherheit von Anfang an mitdenken – technologisch, strategisch und kontinuierlich.

KI-Whitepaper zum Download

Kennen Sie schon unser KI-Whitepaper? Hier finden Sie es zum Download!

Eduard Hübner
Experte für IT-Sicherheit

Eduard Hübner ist ein Experte für IT-Sicherheit, der sich mit der Schnittstelle zwischen künstlicher Intelligenz und Cybersicherheit befasst. Durch seine Forschung trägt er zur Absicherung von KI-Systemen bei, wobei er stets ein angemessenes Gleichgewicht zwischen Sicherheit und Flexibilität dieser Systeme im Auge hat.

Verwandte Artikel

Short News
Think ahead
Cyber Security
26.08.2026
Quantencomputer: Das Ende der Verschlüsselung, wie wir sie kennen

Warum Post-Quantum-Readiness weit über Kryptografie hinausgeht und zu einer zentralen Voraussetzung digitaler Souveränität wird – für Verwaltung, KRITIS, Industrie und alle Organisationen mit langfristig schützenswerten Daten.

Weiterlesen
Blog
Cyber Security
11.08.2026
Drohnen erkennen und abfangen: Die Lösungen liegen vor

Wie gut sind kritische Infrastrukturen gegen Drohnenangriffe geschützt? Der Sicherheitsvorfall am Flughafen Leipzig/Halle hat Deutschland…

Weiterlesen
Blog
Cyber Security
11.08.2026
Cyber Security 2026: Diese Trends prägen Wirtschaft und öffentliche Verwaltung gleichermaßen

Cyber Security steht 2026 stärker denn je im Fokus von Unternehmen, Behörden und öffentlichen Einrichtungen. Laut der Lünendonk-Studie 2026: Der Markt…

Weiterlesen
Short News
Corporate
Cyber Security
31.07.2026
Vom Rising Star zum Leader: Materna steigt in der ISG Provider Lens™ Cyber Security – Services and Solutions 2026 zum Leader für Strategic Security Services auf

ISG zeichnet Materna als führenden Anbieter für Cyber Security-Beratung in Deutschland aus.

Weiterlesen
Blog
Cyber Security
28.07.2026
Security by Design: Warum sichere Software nicht erst vor dem Go-live entsteht

Sicherheit wird in vielen Softwareprojekten noch immer als abschließender Prüfschritt verstanden. Wenn die Anwendung nahezu fertig ist, folgen…

Weiterlesen
Blog
Cyber Security
21.07.2026
Informationssicherheit: Klare Verantwortung stärkt Cyber-Resilienz

Informationssicherheit scheitert selten an fehlendem Bewusstsein allein – häufig sind es unklare Zuständigkeiten, fehlende Schnittstellen und nicht…

Weiterlesen
Blog
Cyber Security
13.05.2026
KRITIS-Dachgesetz: Diese neuen Anforderungen kommen jetzt auf KRITIS-Betreiber zu

Der Schutz kritischer Infrastrukturen ist für viele Unternehmen und Behörden bereits seit Jahren ein zentrales Thema. Mit dem neuen KRITIS-Dachgesetz…

Weiterlesen
Blog
Cyber Security
24.03.2026
Cyberresilienz im Mittelstand: Warum Cyber-Sicherheit heute über die Zukunft entscheidet

Cyberresilienz im Mittelstand ist längst kein optionales IT-Thema mehr, sondern eine strategische Notwendigkeit. Während große Konzerne seit Jahren…

Weiterlesen
Monitor
Cyber Security
25.11.2025
Prompt Injection

Über die Sicherheit von Sprachmodellen.

Weiterlesen
Monitor
Data & AI
Cyber Security
21.11.2025
SecurePIM

Daten-Souveränität heißt, dass keine Information das Gerät verlässt, ohne dass die Organisation das will oder weiß.

Weiterlesen