Siber güvenlik operasyon merkezleri, yani şirketlerin dijital tehditleri izleyen güvenlik ekipleri, her gün çok sayıda alarm üretiyor. Ancak bu alarmların hangisinin gerçekten tehlikeli olduğunu anlamak kolay değil; analistlerin farklı sistemlerden gelen kayıtları toplayıp olayın arka planını incelemesi gerekiyor.
Son iki yılda birçok teknoloji şirketi, bu süreci hızlandırmak için büyük dil modellerini, yani LLM’leri öne çıkardı. Bu araçların, gelen uyarıları ön elemeden geçirerek analistlerin işini hafifletebileceği savunuluyor.
Ancak Oslo Üniversitesi ile Norveç Savunma Araştırma Kuruluşu araştırmacılarının yayımladığı yeni çalışma, tek başına güçlü bir model kullanmanın yeterli olmadığını gösteriyor. Araştırmaya göre aynı yapay zeka modeli, aynı alarm ve aynı veriyle çalışsa bile etrafına kurulan sürece göre çok farklı sonuçlar verebiliyor.
Özet bilgiyle çalışan modeller tehdidi kaçırdı
Araştırmacılar çalışmada iki ayrı yöntem denedi. İlk yöntemde GPT-5-mini, Claude 3 Haiku, Qwen3:30B ve Gemma 3:27B modellerine sadece bir alarm açıklaması ve ağ trafiğine ait kayıtların kısa bir özeti verildi; ardından modellerden bunun kötü niyetli bir etkinlik olup olmadığına karar vermeleri istendi.
Bu aşamada dört model de başarısız oldu. Araştırmada, gerçek tehdit içeren vakalarda doğru tespit oranının yüzde 0 olduğu, Gemma 3:27B’nin ise gördüğü her girdiyi zararsız olarak sınıflandırdığı belirtildi.
İncelenen saldırı zinciri; keşif faaliyetleri, brute-force giriş denemeleri ve bir web sunucusuna ilk erişim girişiminden oluşuyordu. Araştırmacılara göre tehdit işaretleri aslında loglarda vardı, ancak modele sadece özet bilgi verildiğinde bu işaretler gözden kaçtı.
Adım adım ilerleyen iş akışı sonuçları değiştirdi
İkinci yöntemde ise aynı modeller bu kez daha düzenli bir inceleme sürecinin içine yerleştirildi. Sistem, modelin Suricata logları üzerinde belirli SQL sorguları seçmesine, gerekirse ek sorgu yazmasına ve yapılandırılmamış metinler içinde grep araması yapmasına izin verdi; ardından başka modeller bulunan kanıtları özetleyip nihai kararı oluşturdu.
Bu değişiklik sonuçları belirgin biçimde iyileştirdi. Kötü niyetli vakalarda doğruluk ortalama yüzde 93’e çıktı, dört modelden üçü yüzde 90’ın üzerine çıktı ve GPT-5-mini 100 çalıştırmanın tamamında zararlı vakaları doğru şekilde tanımladı.
Buradaki önemli nokta şu: Kullanılan model değişmedi ama modelin çalışma biçimi değişti. Araştırma, güvenlikte yapay zekadan iyi sonuç almak için sadece güçlü bir model değil, o modeli yönlendiren net adımlar, sınırlı araçlar ve kontrol mekanizmaları gerektiğini gösteriyor.
Yüksek doğruluk her alarmı otomatik çözmüyor
Araştırma yine de kusursuz bir tablo çizmiyor. En güçlü performansı gösteren GPT-5-mini, zararsız vakaların tamamını “belirsiz” olarak işaretledi; bu da gerçek hayatta bazı alarmların yine insan analistlere gitmeye devam edeceği anlamına geliyor.
Ayrıca çalışma yalnızca tek bir saldırı senaryosuna ve AIT Log Data Set V1.1 adlı veri kümesine dayanıyor. Araştırmacılar da bunun bir kavram kanıtı olduğunu, daha farklı veri kümeleri ve gerçek saldırı tespit çıktılarıyla yeni testler yapılması gerektiğini söylüyor.