08.07.2025
Blog
Data & AI
Cyber Security

Sprachmodelle sicher einsetzen: Wie sich KI vor Manipulation schützen lässt

Große Sprachmodelle wie ChatGPT oder Gemini beeindrucken – aber sie sind nicht unverwundbar. Manipulationen durch Falschinformationen oder versteckte Anweisungen sind reale Bedrohungen. Deshalb braucht es neue Sicherheitsstrategien. Materna zeigt, wie es geht.

Eduard Hübner
Experte für IT-Sicherheit

Was wäre, wenn Ihre KI-Lösung systematisch manipulierte Informationen liefert? Genau das kann passieren – etwa durch sogenannte „LLM Grooming“-Attacken. Dabei fluten Angreifer das Internet mit gezielten Falschmeldungen. Sprachmodelle, die auf externe Daten zugreifen, übernehmen diese Inhalte unreflektiert. Die Folge: falsche Antworten, verzerrte Narrative – und im schlimmsten Fall Fehleinschätzungen mit echten Auswirkungen.

Angriff über die Hintertür: Indirekte Prompt-Injections

Ein weiteres Einfallstor sind sogenannte „indirekte Prompt-Injections“. Angreifer verstecken dabei Anweisungen in scheinbar harmlosen Inhalten – etwa in einer Webseite oder einer E-Mail. Wird diese Information von einem Sprachmodell verarbeitet, kann es zu unerwartetem Verhalten kommen: Die KI folgt nicht mehr dem Nutzer, sondern dem Angreifer.

Klassische IT-Sicherheit greift hier zu kurz. Deshalb setzt Materna auf ein umfassendes Sicherheitskonzept – von der Architektur bis zum Live-Betrieb: 

  • Least Privilege: Sprachmodelle erhalten nur Zugriff auf unbedingt notwendige Daten.
  • Input-Filter: Eingehende Inhalte werden auf verdächtige Muster geprüft.
  • Monitoring: Auffällige Aktivitäten werden automatisch erkannt.
  • Verteilte Verantwortung: Sicherheitsmechanismen greifen auf mehreren Ebenen. 

Schutzmaßnahmen im Praxiseinsatz

Einige bewährte Strategien: 

  • Scannen vor Verarbeitung: Spezialisierte Modelle prüfen Eingaben, bevor sie das Hauptmodell erreichen.
  • Dual-LLM-Ansätze: Ein Modell analysiert, das andere antwortet – ohne direkten Zugriff auf Rohdaten.
  • Statische und dynamische Codeanalysen: Sicherheitslücken lassen sich so frühzeitig erkennen und schließen. 

Stresstest für die KI – mit echten Angriffen

Die Sicherheitsprüfung endet nicht mit dem Go-Live. Materna setzt auf regelmäßige Penetrationstests, etwa mit dem Open-Source-Tool garak von NVIDIA. Es simuliert realistische Angriffe auf KI-Systeme – von simplen Jailbreaks bis zu komplexen Prompt-Injections. Nur so können Schwachstellen zuverlässig erkannt und behoben werden.

Fazit: Sicherheit ist kein Zustand, sondern ein Prozess

KI kann Prozesse beschleunigen und Entscheidungen verbessern. Doch ohne geeignete Schutzmechanismen wird sie schnell zum Risiko. Deshalb gilt: Wer KI sicher und verantwortungsvoll einsetzen will, muss Sicherheit von Anfang an mitdenken – technologisch, strategisch und kontinuierlich.

KI-Whitepaper zum Download

Kennen Sie schon unser KI-Whitepaper? Hier finden Sie es zum Download!

Eduard Hübner
Experte für IT-Sicherheit

Eduard Hübner ist ein Experte für IT-Sicherheit, der sich mit der Schnittstelle zwischen künstlicher Intelligenz und Cybersicherheit befasst. Durch seine Forschung trägt er zur Absicherung von KI-Systemen bei, wobei er stets ein angemessenes Gleichgewicht zwischen Sicherheit und Flexibilität dieser Systeme im Auge hat.

Verwandte Artikel

Event
Dortmund
05.11.2026
XCS Day (Xchange in Cyber Security)

Beim XCS Day treffen sich erneut Expert:innen aus Wirtschaft und Verwaltung, um aktuelle Herausforderungen und Strategien rund um Cyber Security und Regulierung zu diskutieren. Erfahren Sie, wie Organisationen ihre Widerstandsfähigkeit gegenüber…

Weiterlesen
Event
Bochum
03.11.2026
IT.Connect
Weiterlesen
Event
Berlin
13.10.2026 - 15.10.2026
Smart Country Convention (SCCON)

Treffen Sie uns erneut in Halle 27 am Stand 206 auf der führenden Veranstaltung für den digitalen Staat und öffentliche Dienste. Die SCCON ist ein Muss für alle Akteurinnen und Akteure, die den digitalen Wandel aktiv vorantreiben und gestalten.

Weiterlesen
Event
Düsseldorf
30.09.2026
27. ÖV-Symposium NRW

Künstliche Intelligenz, Digitale Souveränität, Cloud, Datenökonomie und Cyber Security bilden den Rahmen für die digitale Transformation der Verwaltung in NRW. Die beliebte Informations- und Dialogplattform für Verwaltungsmodernisierung bietet einen…

Weiterlesen
Event
Dortmund
10.09.2026
Resilience Readiness Day

Erleben Sie einen Tag voller Impulse, Best Practices und wegweisender Ideen rund um nationale Resilienz. Wir laden zum Resilience Readiness Day ein. Materna bringt Entscheider:innen aus Verwaltung, Sicherheitsbehörden, Bundeswehr, KRITIS-Unternehmen…

Weiterlesen
Event
Online
30.07.2026
Webcast „Mitarbeitende im Fokus: HR-Services im öffentlichen Sektor digital gestalten“

Wie können Personalprozesse im öffentlichen Sektor einfacher, transparenter und serviceorientierter gestaltet werden? In diesem Webcast zeigt agineo anhand eines durchgängigen Employee Lifecycles, wie Behörden und öffentliche Einrichtungen…

Weiterlesen
Event
Online
09.07.2026
Webcast „Und wie geht das jetzt mit diesen Agenten?“

Wie unterstützen KI-Agenten den Service-Alltag heute schon konkret? In unserem Webcast geben wir Ihnen einen strukturierten Überblick über BMC HelixGPT und zeigen, welche Agenten aktuell verfügbar sind und wie sie in der Praxis arbeiten. Anhand eines…

Weiterlesen
Event
Berlin
07.07.2026
Digital Mobility Conference

Wie sieht digitale Mobilität im Jahr 2026 aus? Welche Rolle spielen KI und Daten für effizientere, vernetzte und nachhaltige Verkehre auf der Straße, der Schiene und in der Luft? Wie gelingt der Hochlauf beim autonomen Fahren und wie sieht das…

Weiterlesen
Event
Online
07.07.2026
Webcast "Weniger Risiko, mehr Sicherheit – Zero Trust mit Microsoft"

Moderne IT-Infrastrukturen erfordern ein neues Verständnis von Vertrauen. Wachsende Ökosysteme mit hybriden Infrastrukturen, dutzenden Cloud-Diensten und verteilten Arbeitsplätzen erzeugen eine Komplexität, die klassische Perimeter-Ansätze nicht mehr…

Weiterlesen
Event
München
07.07.2026
Materna auf dem IDC FutureTech Summit 2026

Treffen Sie Materna und BMC auf dem IDC FutureTech Summit 2026 und besuchen Sie um 11:15 Uhr den Vortrag „Belastbare Datenpipelines als KI-Erfolgsfaktor – Warum die Orchestrierung von KI wichtiger geworden ist als die KI selbst“. Die Referenten

Weiterlesen