Blog

Nov 02, 2023

Alarmbewertung im Maschinenmaßstab mit menschlicher Note

Der Schutz vor digitalen Risiken ist ein zentraler Bestandteil jeder sicherheitsorientierten Organisation

Der Schutz vor digitalen Risiken ist eine Schlüsselkomponente des modernen Intelligence-Stacks jedes sicherheitsbewussten Unternehmens. Das Mandiant Advantage Digital Threat Monitoring (DTM)-Modul bietet Kunden die Möglichkeit, Einblick in Bedrohungen zu erhalten, die ihre Assets in sozialen Medien, im Deep und Dark Web, auf Paste-Sites und anderen Online-Kanälen angreifen. DTM besteht aus fortschrittlichen Pipelines zur Verarbeitung natürlicher Sprache, die maschinelles Lernen nutzen, um hochpräzise Warnungen anzuzeigen, die auf der Erkennung aussagekräftiger Entitäten und sicherheitsrelevanter Themen basieren. Aber selbst nachdem Kunden Mandiants riesigen Sammeltrichter von Millionen von täglich erfassten Dokumenten auf nur eine kleine Teilmenge der relevantesten Warnmeldungen durchforstet haben, verbringen sie möglicherweise immer noch wertvolle Zeit damit, zu entscheiden, welche resultierenden Warnmeldungen am relevantesten sind.

Höhepunkte

Die Erfahrung der führenden Bedrohungsforscher, Reverse Engineers, Geheimdienstanalysten und Vorfallhelfer von Mandiant ist beispiellos, da sie seit 2004 Organisationen jeder Größe an vorderster Front bei Cyberkonflikten verteidigt haben. Erfahrene Analysten verstehen die semantische Komplexität von Warnungen und identifizieren abstrakte Konzepte, die nicht direkt beobachtbar sind in den Daten und stellen Sie schnell fest, ob eine Warnung innerhalb des nächsten Tages oder innerhalb der nächsten Stunde untersucht werden sollte. Da sich die menschliche Überprüfung jedoch nicht auf die Datenmengen von DTM skalieren lässt, haben wir eine neue Alarmbewertungsfunktion für DTM entwickelt, die die Vorteile der praktischen Interaktion mit Analysten mit einer ergänzenden Automatisierungsebene auf Basis maschinellen Lernens kombiniert.

Ein einzelner Score kann nicht die ganze Geschichte einer Bedrohung erzählen, und jeder Kunde hat einzigartige Vorlieben und Anforderungen, wenn es um die Priorisierung von Alarmen geht. Aus diesem Grund haben wir das Mandiant-Scoring-Framework entwickelt, das auf der diesjährigen mWISE-Konferenz vorgestellt wurde, um menschliche und maschinelle Kompetenzen sorgfältig zu verknüpfen. Es ermöglicht uns, die Mandiant-Expertise auf Millionen von DTM-Alarmen pro Tag zu skalieren, den Prozess für alle Kunden zu standardisieren, Zeit für Analysten für andere Aufgaben freizugeben und uns im Laufe der Zeit an neue Quellen anzupassen.

Die DTM-Alarmbewertung wurde eingeführt und ist heute allgemein für Kunden verfügbar. Es wird derzeit von zwei Komponenten bestimmt: Vertrauen und Strenge.

Der Konfidenzwert einer DTM-Warnung erfasst die Gewissheit hinsichtlich der Qualität des schädlichen Inhalts der Warnung angesichts vorhandener Beweise. Das DTM-Warnungsvertrauen wird mithilfe einer Form des halbüberwachten Lernens modelliert, das als schwache Überwachung bezeichnet wird und genau widerspiegelt, wie ein Analyst Fragen stellen könnte, um relevante Warninformationen zu sammeln und abzuwägen, bevor er sein endgültiges Urteil trifft (Abbildung 1).

Wir haben festgestellt, dass Analysten, die Warnungen bewerten, nicht einfach die Antwort auf eine einzelne Frage heranziehen, um die Gesamtbösartigkeit jeder einzelnen Frage zu bestimmen. Stattdessen verwenden sie Antworten aus einer Reihe von Fragen, von denen jede ihre eigene Erwartung und ihren eigenen Grad an Gewissheit hat, um zu einer Schlussfolgerung zu gelangen. Wir können jede Frage programmgesteuert als Beschriftungsfunktion und jede Antwort als zugehöriges Ergebnis für eine bestimmte Warnung modellieren. Analysten verfügen möglicherweise über zusätzliches Vorwissen darüber, welchen Einfluss die Antwort auf eine ihrer Fragen auf die Bestimmung der Auswirkung des allgemeinen Vertrauensurteils haben könnte, und wir können diese Erwartung mithilfe einer A-priori-Wahrscheinlichkeit modellieren.

Mithilfe einer Kombination dieser anfänglichen Prioritäten zusammen mit Statistiken, die wir aus der Ausführung unseres Satzes von Kennzeichnungsfunktionen über Millionen akkumulierter Warnungen erhalten haben, können wir ein schwach überwachtes Modell trainieren, das seine Gewichtungen entsprechend (1) anpasst, wie oft Kennzeichnungsfunktionen ein bösartiges oder harmloses Ergebnis liefern und (2) wie oft sie einander zustimmen oder nicht. Das erlernte Modell kann dann verwendet werden, um für jede neu generierte DTM-Warnung eine gewichtete Abstimmung oder einen skalierten Wert zwischen 0 und 100 zurückzugeben. Vertrauenswerte können mithilfe der folgenden Kriterien ermittelt und kalibriert werden: weniger als 40 bedeutet harmlos, zwischen 40 und 60 ist unbestimmt, zwischen 60 und 80 ist verdächtig und mehr als 80 bedeutet bösartig.

Einer der attraktivsten Aspekte des schwachen Lernens besteht darin, dass es diese datengesteuerte Analyse auf natürliche Weise mit direktem Input von Analysten verbindet. Sie können flexibel interpretierbare Kennzeichnungsfunktionen definieren und im Wesentlichen ein maschinelles Lernmodell „programmieren“, ohne dass technisches Know-how erforderlich ist. Auf der Ausgabeseite können Analysten weiter interagieren, um Bewertungen zu validieren, Schwachstellen in verrauschten Kennzeichnungsfunktionen zu identifizieren und diese mit neuer Erkennungslogik zu verfeinern. In einigen Fällen werden die vorherigen Erwartungen der Analysten möglicherweise nicht in den Daten bestätigt, wodurch zusätzliche Iterationsmöglichkeiten entstehen und Experten die Möglichkeit erhalten, ihre eigenen vorgefassten Vorstellungen über böswillige Warnungen zu aktualisieren.

Der Schweregrad einer DTM-Warnung kategorisiert die Auswirkungen böswilliger Aktivitäten, die für Warnungen mit hoher Zuverlässigkeit möglich sind. Der Schweregrad wird anhand von zusätzlichem Kontext, Ergänzungen und Expertenurteilen nach dem Kriterium „Konfidenz“ bewertet. In der Arbeitsteilung des Bewertungsrahmens hilft der Vertrauenswert zunächst dabei, offensichtliches Rauschen zu entfernen, und jeder verfügbare Kontext wird dann vom Bewertungsmodell für den Schweregrad verwendet, um Warnungen iterativ weiter in die Kategorien „Hoch“, „Mittel“ oder „Niedrig“ zu unterteilen (Abbildung 2).

Wie das Konfidenzmodell basiert auch das Schweregradmodell auf dem Input von Expertenanalysten, die über ein tiefes und aktuelles Verständnis der Auswirkungen verschiedener Bedrohungstypen verfügen. Analysten erstellen Ausdrücke und Regeln zur Berechnung des Schweregrads einer Warnung und übermitteln sie dann an eine interne Engine, die wiederum einen Entscheidungsbaum erstellt. Die Regel-Engine wertet diesen Entscheidungsbaum aus, um Schweregradstatistiken für große Mengen an Warnungsdaten zu berechnen, sodass Analysten anschließend die Statistiken abfragen, bestimmte Warnungen genauer betrachten und die Regeln iterativ verfeinern können. Auf diese Weise werden die Vorteile von Mensch und Maschine genau wie beim Vertrauenswert kombiniert – Analysten können Längsschnittanalysen von Bedrohungstrends anhand groß angelegter Beobachtungen und Telemetrie durchführen – und das alles, ohne dass Kenntnisse über die technischen Details unter der Haube erforderlich sind.

In diesem Blogbeitrag haben wir ein Framework zur Alarmbewertung vorgestellt, das sowohl menschliche als auch maschinelle Fähigkeiten nutzt, um die Intelligenz zu skalieren und ihre Anwendung anzupassen. Die Alarmbewertung zeigt, wie wichtig es ist, diese komplementären Ansätze zu nutzen und Mensch und Maschine miteinander zu verknüpfen, um bessere Ergebnisse zu erzielen als beides einzeln. Es ist im Mandiant Advantage DTM-Modul verfügbar, wo Benutzer nun in der Lage sind, Warnungen in ihrem Warnungslisten-Dashboard zu bewerten und für jedes Warnungsmodal einen Schweregradwert anzuzeigen (Abbildung 3 und Abbildung 4).

Seit der Einführung unserer Alarmbewertungsmodelle in der Produktion stellen wir fest, dass durchschnittlich 35,4 % der Alarme als „niedriges Vertrauen“ kategorisiert wurden, während die verbleibenden Alarme mit höherem Vertrauen weiter in 62,3 % „niedrig“, 32,8 % „mittel“ und 4,9 % „hoch“ kategorisiert wurden. Alles in allem werden nur 3,1 % aller Warnungen und <0,1 % aller erfassten Dokumente in die Kategorie „Hoher Schweregrad“ eingestuft. Dies führt zu enormen Zeit- und Kosteneinsparungen, die Kunden nun durch die Priorisierung ihrer Triage erzielen können.

Um mehr über diese kürzlich eingeführten DTM-Alarmbewertungsfunktionen zu erfahren, können bestehende Kunden die Dokumentation lesen, um zu verstehen, wie sie mit Alarmen auf der Plattform arbeiten. Potenzielle Kunden können Mandiant Advantage kostenlos testen oder sich an den Vertrieb wenden.

Link zum RSS-Feed

Mandiant-Experten beantworten gerne Ihre Fragen.