08.07.2025
Blog
Data & AI
Cyber Security

Sprachmodelle sicher einsetzen: Wie sich KI vor Manipulation schützen lässt

Große Sprachmodelle wie ChatGPT oder Gemini beeindrucken – aber sie sind nicht unverwundbar. Manipulationen durch Falschinformationen oder versteckte Anweisungen sind reale Bedrohungen. Deshalb braucht es neue Sicherheitsstrategien. Materna zeigt, wie es geht.

Eduard Hübner
Experte für IT-Sicherheit

Was wäre, wenn Ihre KI-Lösung systematisch manipulierte Informationen liefert? Genau das kann passieren – etwa durch sogenannte „LLM Grooming“-Attacken. Dabei fluten Angreifer das Internet mit gezielten Falschmeldungen. Sprachmodelle, die auf externe Daten zugreifen, übernehmen diese Inhalte unreflektiert. Die Folge: falsche Antworten, verzerrte Narrative – und im schlimmsten Fall Fehleinschätzungen mit echten Auswirkungen.

Angriff über die Hintertür: Indirekte Prompt-Injections

Ein weiteres Einfallstor sind sogenannte „indirekte Prompt-Injections“. Angreifer verstecken dabei Anweisungen in scheinbar harmlosen Inhalten – etwa in einer Webseite oder einer E-Mail. Wird diese Information von einem Sprachmodell verarbeitet, kann es zu unerwartetem Verhalten kommen: Die KI folgt nicht mehr dem Nutzer, sondern dem Angreifer.

Klassische IT-Sicherheit greift hier zu kurz. Deshalb setzt Materna auf ein umfassendes Sicherheitskonzept – von der Architektur bis zum Live-Betrieb: 

  • Least Privilege: Sprachmodelle erhalten nur Zugriff auf unbedingt notwendige Daten.
  • Input-Filter: Eingehende Inhalte werden auf verdächtige Muster geprüft.
  • Monitoring: Auffällige Aktivitäten werden automatisch erkannt.
  • Verteilte Verantwortung: Sicherheitsmechanismen greifen auf mehreren Ebenen. 

Schutzmaßnahmen im Praxiseinsatz

Einige bewährte Strategien: 

  • Scannen vor Verarbeitung: Spezialisierte Modelle prüfen Eingaben, bevor sie das Hauptmodell erreichen.
  • Dual-LLM-Ansätze: Ein Modell analysiert, das andere antwortet – ohne direkten Zugriff auf Rohdaten.
  • Statische und dynamische Codeanalysen: Sicherheitslücken lassen sich so frühzeitig erkennen und schließen. 

Stresstest für die KI – mit echten Angriffen

Die Sicherheitsprüfung endet nicht mit dem Go-Live. Materna setzt auf regelmäßige Penetrationstests, etwa mit dem Open-Source-Tool garak von NVIDIA. Es simuliert realistische Angriffe auf KI-Systeme – von simplen Jailbreaks bis zu komplexen Prompt-Injections. Nur so können Schwachstellen zuverlässig erkannt und behoben werden.

Fazit: Sicherheit ist kein Zustand, sondern ein Prozess

KI kann Prozesse beschleunigen und Entscheidungen verbessern. Doch ohne geeignete Schutzmechanismen wird sie schnell zum Risiko. Deshalb gilt: Wer KI sicher und verantwortungsvoll einsetzen will, muss Sicherheit von Anfang an mitdenken – technologisch, strategisch und kontinuierlich.

KI-Whitepaper zum Download

Kennen Sie schon unser KI-Whitepaper? Hier finden Sie es zum Download!

Eduard Hübner
Experte für IT-Sicherheit

Eduard Hübner ist ein Experte für IT-Sicherheit, der sich mit der Schnittstelle zwischen künstlicher Intelligenz und Cybersicherheit befasst. Durch seine Forschung trägt er zur Absicherung von KI-Systemen bei, wobei er stets ein angemessenes Gleichgewicht zwischen Sicherheit und Flexibilität dieser Systeme im Auge hat.

Verwandte Artikel

Event
Frankfurt
27.11.2026
ITCS

Auf dem ITCS treffen Tech-Konferenz, Karrieremesse und Festival aufeinander. Lerne spannende IT-Unternehmen kennen, entdecke aktuelle Tech-Themen und informiere dich über deine nächsten beruflichen Möglichkeiten.

Weiterlesen
Event
Dortmund
05.11.2026
XCS Day (Xchange in Cyber Security)

Beim XCS Day treffen sich erneut Expert:innen aus Wirtschaft und Verwaltung, um aktuelle Herausforderungen und Strategien rund um Cyber Security und Regulierung zu diskutieren. Erfahren Sie, wie Organisationen ihre Widerstandsfähigkeit gegenüber…

Weiterlesen
Event
München
04.11.2026
HOKO

Bei der HOKO hast du die Möglichkeit, mit Firmen in Kontakt zu treten und dich von den Erfahrungen junger Unternehmer inspirieren zu lassen. 

Weiterlesen
Event
Dortmund
03.11.2026
FMS-Infotag

Am 3. November 2026 informieren wir Sie über aktuelle Entwicklungen rund um das FMS des Bundes und fördern den gemeinsamen Austausch. Ihr großes Interesse bei jeder Ausgabe zeigt: FMS ist und bleibt ein zentrales Element der digitalen…

Weiterlesen
Event
Bochum
03.11.2026
IT.Connect

Bei der IT.Connect kannst du Unternehmen aus der IT-Branche kennenlernen und dich über Praktika, Abschlussarbeiten und Einstiegsmöglichkeiten informieren. Knüpfe direkt auf dem Campus der Ruhr-Universität Bochum erste Kontakte für deine Karriere.

Weiterlesen
Event
Wien
13.10.2026
Agentic AI Roundtable in Wien

Wie schafft Agentic AI echten Mehrwert für IT und Serviceorganisationen? Beim Agentic AI Roundtable in Wien diskutieren Materna, BMC Helix und weitere Expertinnen und Experten über konkrete Einsatzmöglichkeiten, aktuelle Herausforderungen und die…

Weiterlesen
Event
Berlin
13.10.2026 - 15.10.2026
Smart Country Convention (SCCON)

Treffen Sie uns in Halle 27 am Stand 206 auf der führenden Veranstaltung für den digitalen Staat und öffentliche Dienste. Die SCCON ist ein Muss für alle Akteur:innen, die den digitalen Wandel aktiv vorantreiben und gestalten. An unserem Stand…

Weiterlesen
Event
Dresden
06.10.2026
Usability Testessen in Dresden

Materna lädt zum ersten Usability Testessen in Dresden mit Fokus auf digitale Barrierefreiheit ein. Dieses besondere Event steht nicht nur ganz im Zeichen von User Experience und nutzerzentrierter Entwicklung, sondern legt einen zusätzlichen…

Weiterlesen
Event
Amsterdam
06.10.2026 - 08.10.2026
Atlassian Team ’26 Europe

Vom 6. bis 8. Oktober 2026 bringt Atlassian die Community zur „Team ’26 Europe“ in Amsterdam zusammen. Freuen Sie sich auf praxisnahe Sessions rund um KI, neue Produkte und Funktionen, Live-Demos sowie Zertifizierungsmöglichkeiten. Nutzen Sie…

Weiterlesen
Event
Düsseldorf
30.09.2026
27. ÖV-Symposium NRW

Künstliche Intelligenz, Digitale Souveränität, Cloud, Datenökonomie und Cyber Security bilden den Rahmen für die digitale Transformation der Verwaltung in NRW. Die beliebte Informations- und Dialogplattform für Verwaltungsmodernisierung bietet einen…

Weiterlesen