Otonom Sistemlerin Başarısızlık Modları ve Gözlemlenebilirlik (Observability)
Geleneksel yazılım mühendisliğinde kod tamamen deterministiktir; ya doğru çalışır ya da hata verir.
Ancak otonom sistemlerde tek bir API çağrısından günlerce süren olasılıksal eylem zincirlerine geçiş yapılması, teknoloji dünyasında daha önce hiç karşılaşılmayan benzersiz Başarısızlık Modlarını (Failure Modes) ortaya çıkarmıştır.
Sistemin her bir bireysel adımı %85 veya %95 gibi yüksek bir doğrulukla çalışsa dahi, hataların katlanarak büyümesi (kaskad etkisi) nedeniyle 10 adımlık ardışık bir otonom görev zincirinin başarı ihtimali %20 ile %60 arasında kalmaktadır.
Otonom Sistemlere Özgü Kritik Başarısızlık Modları
| Başarısızlık Modu | Ortaya Çıkış Şekli ve Sistem Üzerindeki Etkisi | Çözüm ve Gözlem Mekanizması |
| Araç Yanlış Kullanımı (Tool Misuse) | Ajanın bir API‘ye yanlış bir argüman veya parametre formatı göndermesi ve oluşan teknik hatayı algılamadan zinciri inatla ilerletmeye çalışmasıdır. | Eylem çağrılarının yapısal doğrulama metrikleri ile sürekli olarak test edilmesi. |
| Hedef Sapması (Goal Drift) | En sinsi hata modudur. Ajan göreve sadık başlar ancak çok adımlı süreçte ilerledikçe, her adımda biriken küçük mantık sapmaları nihai çıktıyı asıl niyetten tamamen uzaklaştırır. | Değerlendirme metotlarıyla eylem güzergahının tamamının sınanması ve ajanın periyodik olarak ana hedefe “yeniden çapalanması”. |
| Sonsuz Döngüler (Infinite Loops) | Sistem başarısız bir eylem gerçekleştirdiğinde strateji değiştirmek yerine; aynı aracı, aynı parametrelerle (devasa token israfı yaparak) defalarca çağırır. | Orkestrasyon katmanında sert iterasyon limitleri ve bütçe sınırlarını zorladığında devreye giren acil durdurma (CostGuard) mekanizmaları. |
| Bağlam Kaybı (Context Loss) | Çok adımlı görevlerde bellek penceresi (context window) doldukça ajanın spesifik kısıtlamaları unutarak yalnızca en son gelen veriye (recency bias) odaklanması. | İteratif olarak sürekli hafıza sıkıştırma (compression) ve bağlamsal geri çağırma kontrol noktaları oluşturulması. |
| Kaskad Hatalar (Çoklu Ajan Etkileşimi) | Bir ajanın yanlış ürettiği bir bilginin doğruluğu sorgulanmadan diğer ajanlara aktarılarak sistemin tümünde çöküş veya yanlış mantık yürütülmesiyle sonuçlanması. | Merkezi koordinatör ajan mimarisiyle, çıktıların diğerine geçmeden önce yapısal ve mantıksal doğrulama katmanından geçirilmesi. |
| Sessiz Kalite Bozulması (Silent Degradation) | Herhangi bir hata kodu üretmeden sistem kalitesinin düşmesidir. Genellikle model güncellemeleri veya istem (prompt) şablonlarındaki aşınma sebebiyle olur. | Çıktıların sürekli örneklem (sampling) yoluyla bağımsız değerlendirme setlerinde sınanması. |
Bu zafiyetlerle baş edebilmek için kurumların standart yazılım metriklerinin ötesine geçerek davranışsal ve ekonomik metrikleri içeren Çok Katmanlı Telemetri mimarileri kurması gerekmektedir.
Bir kurumun envanterinde kaç ajan bulunduğunu, bunların hangi yetkilere sahip olduğunu ve hangi işleri tetiklediğini izleyebilmesi için merkezi bir Ajan Kayıt Defteri (Agent Registry) oluşturması 2026 yılı itibarıyla zorunlu hale gelmiştir.
Siber Güvenlik Bağlam-Parçalanmış İhlaller (CFV) ve Uyum Sınamaları
Otonom ajanların insan kontrolü olmadan karar alıp kritik sistemlere erişmesi siber güvenlik paradigmasını kökünden değiştirmiş ve Aşırı Otonomi (Excessive Agency) olarak tanımlanan yepyeni risk vektörleri doğurmuştur.
Klasik dil modellerine yönelik İstem Enjeksiyonu (Prompt Injection) saldırıları, ajan ekosisteminde çok daha büyük yıkımlara sebep olabilmektedir.
Kötü niyetli bir belgenin (örneğin okunan bir PDF dosyası) veya web sitesinin içerisine gizlenmiş talimatlar (Dolaylı İstem Enjeksiyonu), ajanı manipüle ederek kendi otonom yetkisiyle veritabanından hassas bilgileri dışarı sızdırmasına neden olabilir.
Çoklu ajan (multi-agent) sistemlerde bu risk katlanarak büyür. Bir ajanın kendi izole bağlamı içerisinde masum gibi görünen bir eylemi ile başka bir ajanın masum eylemi bir araya geldiğinde organizasyonel politikaları delebilir.
Bu duruma akademik literatürde Bağlam-Parçalanmış İhlaller (Context-Fragmented Violations – CFV) adı verilmektedir.
Araştırmacılar ve siber güvenlik devleri bu ihlalleri engellemek için Semantik Leke Belirteci (Semantic Taint Token) gibi dağıtık Sıfır Güven (Zero-Trust) mimarileri ve formal mantık kullanan Etik Güvenlik Duvarları (Ethical Firewalls) geliştirmektedir.
Amaç yalnızca modelin zekâsını korumak değil, modelin kurumsal ortamla temas ettiği Eylem Katmanının tam denetimini sağlamaktır.
Yasal Çerçeve: Avrupa Birliği Yapay Zekâ Yasası (EU AI Act)
Avrupa Birliği Yapay Zekâ Yasası (EU AI Act), dünya genelinde yapay zekâ için oluşturulmuş en kapsamlı ve yaptırım gücü en yüksek regülasyonlardan biridir.
Yasada yer alan yüksek risk ve şeffaflık hükümleri 2 Ağustos 2026 itibarıyla resmen yürürlüğe girmektedir.
Bu yasa, yapay zekâ ajanları üretenler (providers) ve kullananlar (deployers) için son derece katı yükümlülükler getirir; ihlaller durumunda kurumlar, küresel yıllık cirolarının %7’sine veya 35 milyon Euro‘ya kadar varan ağır para cezalarıyla karşı karşıya kalabilmektedir.
Kritik altyapı yönetimi, kredi değerlendirmesi veya insan kaynakları gibi alanlarda kullanılan tüm otonom sistemler doğrudan Yüksek Riskli kabul edilmekte ve tam uyumluluk (full compliance) gerektirmektedir.
Otonom Ajanlar İçin Hukuki Yükümlülükler ve Eylem Katmanı
Yasanın otonom ajanlar üzerindeki en büyük etkisi, güvenlik ve denetim kıstaslarını salt dil modeli düzeyinden çıkartıp modelin dış dünyayla girdiği tüm bağlantıları kapsayan Eylem Katmanı‘na (Action Layer) indirmesidir.
| EU AI Act İlgili Madde | Yasal Yükümlülük ve Etkileri | Kurumsal Gereksinimler |
| Madde 9 (Risk Yönetimi) | Yüksek riskli ajanlar için yapay zekânın sadece tasarım aşamasında değil, yaşam döngüsünün her evresinde süregelen bir risk yönetim sistemi kurulması mecburidir. | Sınıflandırma, etki değerlendirmesi ve zafiyetlerin periyodik denetimi. |
| Madde 10 (Veri Yönetişimi) | Özellikle modelin çıkarım sırasında (inference-time) dış kaynaklardan çektiği verilerin güvenliği, yetkilendirmesi ve bütünlüğü sağlanmalıdır. | İzinsiz erişimin ve taraflı (bias) kararların engellenmesine yönelik denetimler. |
| Madde 11 ve 12 (Teknik Loglama) | Ajanın dış ortamlarla girdiği etkileşimler, API çağrıları ve kendi kendine aldığı otonom kararlar değiştirilemez günlükler halinde kayıt altına alınmalıdır. | En az 6 ay (biyometrik verilerde 24 ay) saklanacak sarsılmaz bir denetim izi (audit trail). |
| Madde 14 ve 15 (İnsan Gözetimi) | Her ajan mimarisinde bir insanın sürece müdahale edip otonom akışı durdurabileceği bir yapı (human-in-the-loop) bulunmalıdır. | Karar onay mekanizmaları, adversariyel (çekişmeli) test senaryoları. |
| Madde 50 (Şeffaflık Yükümlülüğü) | Karşıdaki insanın bir yapay zekâ ajanı ile muhatap olduğu derhal bildirilmek zorundadır. İçerikler makine formatında (watermarking) işaretlenmelidir. | Uyumlu etiketleme standartları, Deepfake benzeri manipülasyon uyarıları. |
| Madde 72 ve 73 (Olay Bildirimi) | Olası bir sistem arızası 15 gün içinde, ciddi olaylar 72 saat içinde, hayati tehlike riskleri ise 24 saat içerisinde düzenleyici makamlara raporlanmalıdır. | Otomatize edilmiş acil durum runbook’ları ve anlık telemetri panoları. |
Mevzuatın getirdiği bu ağır zorluklara rağmen, siber güvenlik şirketleri Kimlik Yönetimi ve Bütçe Tüketim Monitörleri gibi yepyeni kontrol platformları inşa ederek organizasyonların bu otonom yapılar üzerinde tam kontrol sahibi olmasını sağlamaktadır.
Yüksek risk taşımayan asistanlar bu kuralların tamamına tabi olmamakla birlikte, global çalışan tüm şirketler risk sınıflandırmalarını ve API yetkilendirme envanterlerini vakit kaybetmeden güncellemelidir.
