08.07.2025
Blog
Data & AI
Cyber Security

Sprachmodelle sicher einsetzen: Wie sich KI vor Manipulation schützen lässt

Große Sprachmodelle wie ChatGPT oder Gemini beeindrucken – aber sie sind nicht unverwundbar. Manipulationen durch Falschinformationen oder versteckte Anweisungen sind reale Bedrohungen. Deshalb braucht es neue Sicherheitsstrategien. Materna zeigt, wie es geht.

Eduard Hübner
Experte für IT-Sicherheit

Was wäre, wenn Ihre KI-Lösung systematisch manipulierte Informationen liefert? Genau das kann passieren – etwa durch sogenannte „LLM Grooming“-Attacken. Dabei fluten Angreifer das Internet mit gezielten Falschmeldungen. Sprachmodelle, die auf externe Daten zugreifen, übernehmen diese Inhalte unreflektiert. Die Folge: falsche Antworten, verzerrte Narrative – und im schlimmsten Fall Fehleinschätzungen mit echten Auswirkungen.

Angriff über die Hintertür: Indirekte Prompt-Injections

Ein weiteres Einfallstor sind sogenannte „indirekte Prompt-Injections“. Angreifer verstecken dabei Anweisungen in scheinbar harmlosen Inhalten – etwa in einer Webseite oder einer E-Mail. Wird diese Information von einem Sprachmodell verarbeitet, kann es zu unerwartetem Verhalten kommen: Die KI folgt nicht mehr dem Nutzer, sondern dem Angreifer.

Klassische IT-Sicherheit greift hier zu kurz. Deshalb setzt Materna auf ein umfassendes Sicherheitskonzept – von der Architektur bis zum Live-Betrieb: 

  • Least Privilege: Sprachmodelle erhalten nur Zugriff auf unbedingt notwendige Daten.
  • Input-Filter: Eingehende Inhalte werden auf verdächtige Muster geprüft.
  • Monitoring: Auffällige Aktivitäten werden automatisch erkannt.
  • Verteilte Verantwortung: Sicherheitsmechanismen greifen auf mehreren Ebenen. 

Schutzmaßnahmen im Praxiseinsatz

Einige bewährte Strategien: 

  • Scannen vor Verarbeitung: Spezialisierte Modelle prüfen Eingaben, bevor sie das Hauptmodell erreichen.
  • Dual-LLM-Ansätze: Ein Modell analysiert, das andere antwortet – ohne direkten Zugriff auf Rohdaten.
  • Statische und dynamische Codeanalysen: Sicherheitslücken lassen sich so frühzeitig erkennen und schließen. 

Stresstest für die KI – mit echten Angriffen

Die Sicherheitsprüfung endet nicht mit dem Go-Live. Materna setzt auf regelmäßige Penetrationstests, etwa mit dem Open-Source-Tool garak von NVIDIA. Es simuliert realistische Angriffe auf KI-Systeme – von simplen Jailbreaks bis zu komplexen Prompt-Injections. Nur so können Schwachstellen zuverlässig erkannt und behoben werden.

Fazit: Sicherheit ist kein Zustand, sondern ein Prozess

KI kann Prozesse beschleunigen und Entscheidungen verbessern. Doch ohne geeignete Schutzmechanismen wird sie schnell zum Risiko. Deshalb gilt: Wer KI sicher und verantwortungsvoll einsetzen will, muss Sicherheit von Anfang an mitdenken – technologisch, strategisch und kontinuierlich.

KI-Whitepaper zum Download

Kennen Sie schon unser KI-Whitepaper? Hier finden Sie es zum Download!

Eduard Hübner
Experte für IT-Sicherheit

Eduard Hübner ist ein Experte für IT-Sicherheit, der sich mit der Schnittstelle zwischen künstlicher Intelligenz und Cybersicherheit befasst. Durch seine Forschung trägt er zur Absicherung von KI-Systemen bei, wobei er stets ein angemessenes Gleichgewicht zwischen Sicherheit und Flexibilität dieser Systeme im Auge hat.

Verwandte Artikel

Event
Dortmund
05.11.2026
XCS Day (Xchange in Cyber Security)

Beim XCS Day treffen sich erneut Expert:innen aus Wirtschaft und Verwaltung, um aktuelle Herausforderungen und Strategien rund um Cyber Security und Regulierung zu diskutieren. Erfahren Sie, wie Organisationen ihre Widerstandsfähigkeit gegenüber…

Weiterlesen
Event
Bochum
03.11.2026
IT.Connect
Weiterlesen
Event
Berlin
13.10.2026 - 15.10.2026
Smart Country Convention (SCCON)

Treffen Sie uns in Halle 27 am Stand 206 auf der führenden Veranstaltung für den digitalen Staat und öffentliche Dienste. Die SCCON ist ein Muss für alle Akteur:innen, die den digitalen Wandel aktiv vorantreiben und gestalten. An unserem Stand…

Weiterlesen
Event
Düsseldorf
30.09.2026
27. ÖV-Symposium NRW

Künstliche Intelligenz, Digitale Souveränität, Cloud, Datenökonomie und Cyber Security bilden den Rahmen für die digitale Transformation der Verwaltung in NRW. Die beliebte Informations- und Dialogplattform für Verwaltungsmodernisierung bietet einen…

Weiterlesen
Event
Online
24.09.2026
Webcast „Vom Registerdschungel zum digitalen Ökosystem.“

Wie Registermodernisierung, Once-Only-Prinzip und NOOTS die Verwaltung nachhaltig verändern. Erfahren Sie, welche Herausforderungen auf Behörden zukommen, welche Strategien sich bewähren und wie eine zukunftsfähige Registerlandschaft aufgebaut werden…

Weiterlesen
Event
Wiesbaden
17.09.2026
Cloud X Summit by STACKIT 2026

Beim Cloud X Summit by STACKIT dreht sich alles um souveräne Cloud-Lösungen, digitale Souveränität und zukunftsfähige IT-Infrastrukturen. Materna zeigt gemeinsam mit STACKIT und ServiceNow, wie Unternehmen und öffentliche Verwaltungen moderne…

Weiterlesen
Event
Dortmund
10.09.2026
Resilience Readiness Day

Erleben Sie einen Tag voller Impulse, Best Practices und wegweisender Ideen rund um nationale Resilienz. Wir laden zum Resilience Readiness Day ein. Materna bringt Entscheider:innen aus Verwaltung, Sicherheitsbehörden, Bundeswehr, KRITIS-Unternehmen…

Weiterlesen
Event
Online
20.08.2026
Webcast „Über den Deutschland-Stack - soweit das Auge reicht“

In unserem Webcast sprechen wir über konkrete Auswirkungen des Deutschland-Stacks auf behördliche IT-Projekte (soweit wir das zum jetzigen Zeitpunkt schon abschätzen können). Ziel des Webcasts ist es, etwas zur Aufklärung darüber beizutragen, wie mit…

Weiterlesen
Short News
Cyber Security
31.07.2026
Vom Rising Star zum Leader: Materna steigt in der ISG Provider Lens™ Cyber Security – Services and Solutions 2026 zum Leader für Strategic Security Services auf

ISG zeichnet Materna als führenden Anbieter für Cyber Security-Beratung in Deutschland aus.

Weiterlesen
Blog
Cyber Security
28.07.2026
Security by Design: Warum sichere Software nicht erst vor dem Go-live entsteht

Sicherheit wird in vielen Softwareprojekten noch immer als abschließender Prüfschritt verstanden. Wenn die Anwendung nahezu fertig ist, folgen…

Weiterlesen