08.07.2025
Blog
Data & AI
Cyber Security

Sprachmodelle sicher einsetzen: Wie sich KI vor Manipulation schützen lässt

Große Sprachmodelle wie ChatGPT oder Gemini beeindrucken – aber sie sind nicht unverwundbar. Manipulationen durch Falschinformationen oder versteckte Anweisungen sind reale Bedrohungen. Deshalb braucht es neue Sicherheitsstrategien. Materna zeigt, wie es geht.

Eduard Hübner
Experte für IT-Sicherheit

Was wäre, wenn Ihre KI-Lösung systematisch manipulierte Informationen liefert? Genau das kann passieren – etwa durch sogenannte „LLM Grooming“-Attacken. Dabei fluten Angreifer das Internet mit gezielten Falschmeldungen. Sprachmodelle, die auf externe Daten zugreifen, übernehmen diese Inhalte unreflektiert. Die Folge: falsche Antworten, verzerrte Narrative – und im schlimmsten Fall Fehleinschätzungen mit echten Auswirkungen.

Angriff über die Hintertür: Indirekte Prompt-Injections

Ein weiteres Einfallstor sind sogenannte „indirekte Prompt-Injections“. Angreifer verstecken dabei Anweisungen in scheinbar harmlosen Inhalten – etwa in einer Webseite oder einer E-Mail. Wird diese Information von einem Sprachmodell verarbeitet, kann es zu unerwartetem Verhalten kommen: Die KI folgt nicht mehr dem Nutzer, sondern dem Angreifer.

Klassische IT-Sicherheit greift hier zu kurz. Deshalb setzt Materna auf ein umfassendes Sicherheitskonzept – von der Architektur bis zum Live-Betrieb: 

  • Least Privilege: Sprachmodelle erhalten nur Zugriff auf unbedingt notwendige Daten.
  • Input-Filter: Eingehende Inhalte werden auf verdächtige Muster geprüft.
  • Monitoring: Auffällige Aktivitäten werden automatisch erkannt.
  • Verteilte Verantwortung: Sicherheitsmechanismen greifen auf mehreren Ebenen. 

Schutzmaßnahmen im Praxiseinsatz

Einige bewährte Strategien: 

  • Scannen vor Verarbeitung: Spezialisierte Modelle prüfen Eingaben, bevor sie das Hauptmodell erreichen.
  • Dual-LLM-Ansätze: Ein Modell analysiert, das andere antwortet – ohne direkten Zugriff auf Rohdaten.
  • Statische und dynamische Codeanalysen: Sicherheitslücken lassen sich so frühzeitig erkennen und schließen. 

Stresstest für die KI – mit echten Angriffen

Die Sicherheitsprüfung endet nicht mit dem Go-Live. Materna setzt auf regelmäßige Penetrationstests, etwa mit dem Open-Source-Tool garak von NVIDIA. Es simuliert realistische Angriffe auf KI-Systeme – von simplen Jailbreaks bis zu komplexen Prompt-Injections. Nur so können Schwachstellen zuverlässig erkannt und behoben werden.

Fazit: Sicherheit ist kein Zustand, sondern ein Prozess

KI kann Prozesse beschleunigen und Entscheidungen verbessern. Doch ohne geeignete Schutzmechanismen wird sie schnell zum Risiko. Deshalb gilt: Wer KI sicher und verantwortungsvoll einsetzen will, muss Sicherheit von Anfang an mitdenken – technologisch, strategisch und kontinuierlich.

KI-Whitepaper zum Download

Kennen Sie schon unser KI-Whitepaper? Hier finden Sie es zum Download!

Eduard Hübner
Experte für IT-Sicherheit

Eduard Hübner ist ein Experte für IT-Sicherheit, der sich mit der Schnittstelle zwischen künstlicher Intelligenz und Cybersicherheit befasst. Durch seine Forschung trägt er zur Absicherung von KI-Systemen bei, wobei er stets ein angemessenes Gleichgewicht zwischen Sicherheit und Flexibilität dieser Systeme im Auge hat.

Verwandte Artikel

Event
Dortmund
05.11.2026
XCS Day (Xchange in Cyber Security)

Beim XCS Day treffen sich erneut Expert:innen aus Wirtschaft und Verwaltung, um aktuelle Herausforderungen und Strategien rund um Cyber Security und Regulierung zu diskutieren. Erfahren Sie, wie Organisationen ihre Widerstandsfähigkeit gegenüber…

Weiterlesen
Event
Bochum
03.11.2026
IT.Connect
Weiterlesen
Event
Berlin
13.10.2026 - 15.10.2026
Smart Country Convention (SCCON)

Treffen Sie uns erneut in Halle 27 am Stand 206 auf der führenden Veranstaltung für den digitalen Staat und öffentliche Dienste. Die SCCON ist ein Muss für alle Akteurinnen und Akteure, die den digitalen Wandel aktiv vorantreiben und gestalten.

Weiterlesen
Event
Düsseldorf
30.09.2026
27. ÖV-Symposium NRW

Künstliche Intelligenz, Digitale Souveränität, Cloud, Datenökonomie und Cyber Security bilden den Rahmen für die digitale Transformation der Verwaltung in NRW. Die beliebte Informations- und Dialogplattform für Verwaltungsmodernisierung bietet einen…

Weiterlesen
Event
Dortmund
10.09.2026
Resilience Readiness Day

Erleben Sie einen Tag voller Impulse, Best Practices und wegweisender Ideen rund um nationale Resilienz. Wir laden zum Resilience Readiness Day ein. Materna bringt Entscheider:innen aus Verwaltung, Sicherheitsbehörden, Bundeswehr, KRITIS-Unternehmen…

Weiterlesen
Event
Online
30.07.2026
Webcast „Mitarbeitende im Fokus: HR-Services im öffentlichen Sektor digital gestalten“

Wie können Personalprozesse im öffentlichen Sektor einfacher, transparenter und serviceorientierter gestaltet werden? In diesem Webcast zeigt agineo anhand eines durchgängigen Employee Lifecycles, wie Behörden und öffentliche Einrichtungen…

Weiterlesen
Presse
Dortmund
08.07.2026
agineo richtet sich auf die nächste Marktphase im ServiceNow-Geschäft aus

Der Markt für Unternehmensplattformen wie ServiceNow-Lösungen verändert sich. Unternehmen erwarten heute mehr als die erfolgreiche Einführung einer Plattform. Gefragt sind Partner, die Plattformen sicher betreiben, kontinuierlich weiterentwickeln und…

Weiterlesen
Blog
Enterprise Service Management
07.07.2026
Autonomous IT im Mittelstand: Mit KI schrittweise zur intelligenten IT-Organisation

Mittelständische Unternehmen stehen vor der Aufgabe, ihre IT leistungsfähiger und gleichzeitig effizienter zu gestalten. Künstliche Intelligenz kann…

Weiterlesen
Blog
Digital Experience
30.06.2026
Kampf gegen Windmühlen: Warum UX kein KI-Prompting ist

Heute muss eigentlich alles eine gute User Experience haben: Die Art, wie ich eine Pizza bestelle, wie ich im Supermarkt die Uhr kurz über einen…

Weiterlesen
Blog
Verwaltung Digital
23.06.2026
BDI-Agenda EinfachStaat: So wird die Verwaltung digital

Ein Auto online zulassen, Unternehmensdaten nur einmal angeben, Verwaltungsleistungen ohne Medienbruch nutzen: Die BDI-Agenda EinfachStaat beschreibt, wo der digitale Staat heute steht und welche Reformen ihn handlungsfähiger machen sollen.

Weiterlesen