Geschrieben von Computational and Data Science-Absolvent Dennis Bilang unter der Betreuung von CDS-Studiengangsleiter Prof. Corsin Capol und CDS- und AISE-Dozent Norman Süsstrunk.
Die digitale Transformation bringt nicht nur Chancen, sondern auch Herausforderungen für die IT-Sicherheit mit sich. Durch die zunehmende Vernetzung und Komplexität digitaler Systeme entstehen unzählige potenzielle Angriffspunkte. Sicherheitsverantwortliche sehen sich mit einer Flut von Informationen konfrontiert, die oft in Form von strukturierten Schwachstellendaten oder unstrukturierten Threat Reports vorliegen. Diese Informationen sind für die Cyber Threat Intelligence zentral, doch ihre manuelle Analyse ist zeitaufwändig, fehleranfällig und kaum skalierbar. In dieser Bachelorarbeit wurde untersucht, inwiefern moderne agentenbasierte AI-Systeme dazu beitragen können, diese Herausforderung zu bewältigen.
Zielsetzung und Methodik
Im Zentrum der Bachelorarbeit stand die Frage, wie Agentic AI zur automatisierten Analyse von Common Vulnerabilities and Exposures (CVE)-Daten und Threat Reports eingesetzt werden kann. Threat Intelligence Mapping Agent (TIMA) wurde entwickelt, um zwei zentrale Aufgaben zu erfüllen: Die Zuordnung von Bedrohungsinformationen zur MITRE-ATT&CK-Matrix und die Generierung kontextsensitiver Zusammenfassungen. Die Forschungsfragen fokussierten dabei auf drei Aspekte:
- Die technische Machbarkeit eines statischen agentenbasierten Systems zur Klassifikation von Bedrohungsinformationen
- Der Vergleich domänenspezifischer und generalistischer Sprachmodelle hinsichtlich ihrer Klassifikationsleistung
- Die Qualität automatisch generierter Zusammenfassungen unter Berücksichtigung unterschiedlicher beruflicher Rollen
Die Arbeit gliederte sich in drei aufeinander aufbauende Experimente. Im ersten Schritt wurde ein statischer Agentenworkflow entwickelt, um die Funktionalität des LangGraph-Frameworks und mögliche Herausforderungen in der Architektur zu evaluieren. Das zweite Experiment überführte den statischen Aufbau in eine dynamische Architektur, bei der das LLM selbst entscheidet, welche internen Tools bei der Verarbeitung verwendet werden. Die letzte Stufe fokussierte auf die Integration und den Vergleich spezialisierter, domänenspezifischer Modelle aus der Literatur.
Architektur des Agenten
Das technische Kernstück der Arbeit bildet ein AI-Agent auf Basis des Frameworks LangGraph. Der Agent besteht aus einem zentralen Steuerknoten, der mittels System-Prompt die Zielerreichung steuert, sowie einem Tool-Knoten, der verschiedene Funktionen wie Klassifikation und Zusammenfassung anbietet. Die Entscheidung, welche Tools aufgerufen werden, trifft das zugrunde liegende Sprachmodell eigenständig.
Diese modulare Architektur erlaubt eine hohe Flexibilität und ist leicht erweiterbar, etwa durch weitere Modelle oder unternehmensspezifische Systeme.
Evaluation und Ergebnisse
Die Evaluation gliederte sich in zwei Hauptbereiche: die Klassifikation von Schwachstellen auf MITRE-Techniken und die Zusammenfassung von Threat Reports.
Zur Bewertung der Klassifikationen wurden klassische Top-K-Metriken (Precision@K, Recall@K, F1@K und Hits@K) herangezogen. Die Resultate zeigen deutlich, dass domänenspezifische Modelle wie SMET (Abdeen et al., 2023) eine besonders hohe Präzision und Robustheit aufweisen. Generalistische LLMs wie GPT41-mini, Claude3.5 und Gemini2.0-flash konnten vergleichbare Leistungen erzielen, erforderten jedoch zusätzliche Validierungsmechanismen, um Fehlklassifikationen und Halluzinationen zu vermeiden.
Für die qualitative Bewertung der Zusammenfassungen wurden Threat Reports aus dem Security Operations Center der Inventx AG von Fachpersonen mit verschiedener Rollen bewertet. Die Ergebnisse zeigen, dass alle getesteten Modelle in der Lage sind, gut verständliche Zusammenfassungen zu erzeugen. Allerdings variierte die wahrgenommene Qualität stark in Abhängigkeit von der beruflichen Rolle. Während beispielsweise Incident Responder eher auf technische Details fokussieren, legen Architekt:innen mehr Wert auf strategische Relevanz. Diese Erkenntnis unterstreicht die Bedeutung nutzergruppenspezifischer Ausgabeformate im praktischen Einsatz.
Diskussion und Ausblick
Die Ergebnisse der Arbeit unterstreichen das Potenzial von agentenbasierten AI-Systemen in der automatisierten Analyse von Cyber Threat Intelligence. Besonders domänenspezifische Modelle erweisen sich als wertvoll, da sie eine höhere Präzision bei gleichzeitig geringerem Validierungsaufwand ermöglichen. Gleichzeitig zeigen sich auch Limitationen. Die Qualität hängt stark von der Prompt-Gestaltung ab, und generalistische Modelle können nur mit zusätzlichen Kontrollmechanismen zuverlässig eingesetzt werden.
Die Arbeit bildet eine fundierte Basis für weiterführende Entwicklungen. Durch die modulare Architektur lassen sich zukünftige Erweiterungen wie die Integration von Echtzeitdaten oder die Anbindung an Security-Operation-Systeme unkompliziert umsetzen. Langfristig bietet TIMA somit einen vielversprechenden Ansatz für die Automatisierung in der Bedrohungsanalyse und den gezielten Einsatz von AI im Bereich der Cybersecurity.
Quellen
Abdeen, B., Al-Shaer, E., Singhal, A., Khan, L. & Hamlen, K. (2023). SMET: Semantic
mapping of CVE to ATT&CK and its application to cybersecurity. In V. Atluri & A. L. Ferrara
(Hrsg.), Data and Applications Security and Privacy XXXVII (Bd. 13942, S. 243–260).
Springer Nature Switzerland. https://doi.org/10.1007/978-3-031-37586-6_15
Unbegrenzte Karrieremöglichkeiten in Informatik, Data Science und Computersimulation:
Jetzt für deinen BSc in Computational and Data Science anmelden!
Geschrieben von Dennis Bilang, Computational and Data Science Absolvent. Seine Bachelorarbeit wurde von CDS-Studiengangsleiter Corsin Capol und CDS- und AISE-Dozent Norman Süsstrunk betreut.