Large Language Models (LLMs) wie ChatGPT oder ähnliche KI-Systeme eröffnen Unternehmen eine Vielzahl von Möglichkeiten. Ob als Kundenchatbot, Code-Assistent oder Wissensdatenbank – die Einsatzmöglichkeiten scheinen grenzenlos. Doch mit den Chancen gehen auch erhebliche Risiken einher. Wir bringen Licht ins Dunkel, zeigen Sicherheitsrisiken auf, die mit der Nutzung von LLMs einhergehen und wie Unternehmen diese minimieren können.

Die Sicherheit von LLMs: Eine unterschätzte Herausforderung

Denkt man an Angriffe auf LLM-Anwendungen, fallen oft Begriffe wie „Prompt Injection“ und „Jailbreaking“, aber es gibt noch viele weitere Bedrohungen. Oft fehlt ein Gesamtverständnis, wie diese Risiken im Kontext des sicheren Betriebs in der Infrastruktur des Unternehmens (on-prem, in der Cloud oder hybrid) zu bewerten sind.

Der Schlüssel zur sicheren Nutzung von LLMs liegt darin, lang bewährte Sicherheitspraktiken gemeinsam mit neuen Risikokatalogen anzuwenden. Die OWASP Top 10 für LLMs (https://genai.owasp.org/llm-top-10/) bieten hier eine solide Grundlage. Gemeinsam mit dem etablierten Threat Modelling Prozess der OWASP (https://owasp.org/www-community/Threat_Modeling_Process) können wir Risiken für LLM-Anwendungen in einer strukturierten Vorgehensweise identifizieren und Handlungsempfehlungen erstellen, um Anwendungen abzusichern.

LLMs sind besondere Bausteine einer Anwendung

Die Sicherheit von Anwendungen, die auf Large Language Models basieren, hängt maßgeblich vom jeweiligen Funktionsumfang der Anwendung ab. Für die Sicherheitsanalyse muss man sich unter anderem folgende Fragen stellen:

• In welcher Umgebung wird das LLM eingesetzt? Jede Infrastruktur (on-prem, cloud, hybrid) bringt eigene Sicherheitsanforderungen und Herausforderungen mit sich.

• Welche sensiblen Daten werden verwaltet? Unternehmen müssen sicherstellen, dass personenbezogene oder geschäftskritische Daten, auf die das LLM Zugriff hat, optimal geschützt sind und robusten Datenschutzmaßnahmen unterliegen.

• Wofür werden die Ausgaben des LLM verwendet? Ob zur Unterstützung von Entscheidungsprozessen, als direktes Kundeninterface oder für die Generierung von Code – jede Anwendungsart erfordert unterschiedliche Sicherheitsvorkehrungen.

• Kann das LLM autonom arbeiten? Die Fähigkeit eines LLM, autonom zu agieren, kann den Nutzen erheblich steigern. Gleichzeitig vervielfacht dies jedoch auch potenzielle Sicherheitsrisiken, da im Fehlerfall oder bei Manipulationsversuchen schwerwiegende Konsequenzen folgen können.

• Wie kann die Supply Chain abgesichert werden? Beim Einsatz von Modellen aus externen Quellen muss die Vertrauenswürdigkeit der Supply Chain gesichert sein.

Schwachstellen in der Integration von LLMs können schwerwiegende Probleme nach sich ziehen, wie zum Beispiel:

• Ein Entwickler lässt sich von einem LLM Code generieren – ohne ausreichende Prüfung führt dies dazu, dass der generierte Code Schadcode enthält, der wiederum Backdoors für Angriffe in der Anwendung eröffnet.

• Ein LLM, das Zugang zu internen Informationen wie dem Firmenwiki besitzt, könnte durch einen Angreifer so manipuliert werden, dass vertrauliche Daten unbeabsichtigt offengelegt werden.

• Ein Angreifer manipuliert ein Open-Source-Modell und lädt dieses in ein LLM-Repository hoch. Das Modell ist so manipuliert, dass es den Nutzer unter bestimmten Umständen beleidigt. Wird das Modell vom Unternehmen eingesetzt, können erhebliche Reputationsschaden die Folge sein.

Das Problem mit den Schutzmaßnahmen

Oft wird als erste Verteidigungslinie gegen Angriffe das Blockieren unerwünschter Themen oder der Einsatz von Guardrails implementiert. Zwar vermitteln diese Maßnahmen zunächst ein Gefühl von Sicherheit, doch sie bieten keinen hundertprozentigen Schutz. Im Gegenteil: Dieses vermeintliche Sicherheitsgefühl kann dazu führen, dass tatsächliche Schwachstellen übersehen werden. Aus diesem Grund müssen Schutzmechanismen klar definiert und fest in die Sicherheitsstrategie eingebettet sein – maßgeschneidert für das jeweilige LLM, die Anwendung, die zugrundeliegende Infrastruktur und den konkreten Anwendungsfall.

Fazit und Ausblick

Die Implementierung von LLMs in Unternehmen birgt immense Potenziale, aber auch erhebliche Sicherheitsrisiken. Mit bewährten Methoden und unserer Jahrzehnte lang gereifter Erfahrung können wir die neuen Bedrohungen und Risiken identifizieren und angemessene Mitigationsstrategien anwenden — auf LLM-, Anwendungs- und Infrastrukturebene, ganzheitlich im System integriert.