Red Team

Shadow AI: Kontrol Dışı AI Kullanımı Artık Göz Ardı Edilemez Bir Risk

Shadow AI, çalışanların farkında olmadan kurumsal verileri dış sistemlere taşımasına neden olan yeni bir güvenlik riski haline geliyor.

Shadow AI: Kontrol Dışı AI Kullanımı Artık Göz Ardı Edilemez Bir Risk

Yapay zeka araçlarının iş süreçlerine hızla entegre edilmesi, kurumlar için uzun süredir var olan ancak çoğu zaman görünmez kalan bir güvenlik alanını daha belirgin hale getiriyor. Özellikle çalışanların IT kontrolü dışında kullandığı LLM tabanlı araçlar, “shadow AI” olarak adlandırılan ve doğrudan veri akışını kurum sınırlarının dışına taşıyan bir kullanım modelini temsil ediyor.

RSAC 2026 kapsamında ESET tarafından paylaşılan değerlendirmeler, bu kullanımın artık yalnızca bir verimlilik meselesi olarak ele alınamayacağını gösteriyor. Şirket, kullanıcıların AI araçlarıyla kurduğu etkileşimin doğrudan izlenmesi ve analiz edilmesi gerektiğini vurgulayarak, bu alanın kurumsal güvenlik açısından kritik hale geldiğine dikkat çekiyor.

Nasıl Çalışır?

Çalışan, işini hızlandırmak için bir metni, kod parçasını ya da bir dokümanı doğrudan yapay zekâ aracına verir. Bu içerik çoğu zaman kurum içi bilgi içerir; bazen farkında olmadan API anahtarları, konfigürasyonlar veya yazışmalar da bu akışa dahil olur.

Bu veri gönderildiği anda kurum sınırlarının dışına çıkar ve üçüncü taraf bir sistem tarafından işlenir. Kullanıcı açısından bu sıradan bir işlem gibi görünür. Ancak arka planda veri artık kurumun kontrolünde değildir.

Sorun tam olarak burada ortaya çıkar. Bu etkileşim, kurumun veri akışını denetlediği güvenlik kontrollerinin dışında gerçekleşir ve çoğu zaman izlenemez.

Gerçek Bir Örnek

Pegasus Airlines çalışanlarının, iş süreçlerini hızlandırmak için ChatGPT’ye kod parçaları ve sistem konfigürasyonları gönderdiği ortaya çıkmıştı. Bu durumda kurumsal veriler doğrudan harici bir yapay zeka sistemine aktarılmış oldu. Herhangi bir sistem ihlali yaşanmadı. Yetki aşımı yapılmadı. Veri, kullanıcı tarafından dışarı taşındı.

Saldırı Modelinin Değişimi

Bu yapıda saldırganın doğrudan sisteme erişmesi gerekmez. Kullanıcı zaten modelle sürekli veri alışverişi halindedir. Saldırgan, modelin okuyacağı içeriğe müdahale eder. Bu bir web sayfası, e-posta ya da doküman olabilir. İçeriğe yerleştirilen talimatlar, model tarafından normal bir komut gibi işlenir. Ortaya çıkan çıktı: yönlendirilmiş olabilir, zararlı bağlantılar içerebilir, hassas verileri açığa çıkarabilir. Kullanıcı bunu sıradan bir yanıt olarak görür ve kullanır.

Saldırganın müdahalesi, kullanıcıya fark ettirmeden arka planda işler. Model, yerleştirilen gizli talimatları (örneğin, prompt injection teknikleriyle) sessizce yorumlar ve istenmeyen eylemleri tetikler. Bu, veri sızıntısı (prompt leakage), yetkisiz dosya erişimi veya dış sistemlere gizli istekler gönderme şeklinde kendini gösterir. Kullanıcı sadece masum bir yanıt görürken, model tool calling yoluyla zararlı payload'lar yürütülür. Bu işlemler modelin doğal akışı içinde gerçekleştiğinden, loglarda şüpheli bir aktivite olarak ayırt edilmez.

*Tool Calling: Yapay zeka modellerinin dış araçları, API'leri veya fonksiyonları JSON formatında parametrelerle çağırmasını sağlayan yapılandırılmış çıktı mekanizmasıdır.

Güvenliğin Yeni Odak Noktası

Bu etkileşimin tamamı kullanıcı cihazı üzerinde gerçekleşir. Veri burada yazılır, buradan gönderilir ve sonuç burada kullanılır.

Bu nedenle güvenlik, ağ seviyesinden çok kullanıcı ile model arasındaki etkileşimi kapsayacak şekilde yeniden düşünülmek zorundadır. ESET’in yaklaşımı, AI etkileşimlerini doğrudan endpoint seviyesinde izlemek üzerine kurulu. Bu model, davranış analiziyle prompt injection ve tool calling manipülasyonlarını tespit ederek veri sızıntılarını önlemeyi hedefliyor.

Author

AltaySec Medya

Siber güvenlik operasyonları ve Red Team kültürü içerisinde bilgi yönetimi yapan çekirdek yayın ekibi. #OffensiveKnowledge