Ajanlara denetçi geliyor

Bu hafta sektörün ajan risklerine yanıtı daha net bir biçim aldı: Ürünlerin içine yerleştirilmiş daha fazla denetim. Anthropic'in yeni ajanı sonuç doğuran her adımdan önce onay bekliyor, Microsoft görevi diğer ajanları izlemek olan ajanlar tanıttı; Anthropic ve OpenAI ise testlerde sınırları aşan ajanlara dair ayrıntılı raporlar yayımladı. Altyapı tarafında Microsoft kendi mühendislerinin erişimine AB merkezli bir gözetim ekledi, OpenAI modelleri de Google Cloud üzerinden satın alınabilir hale geldi.

Modeller ve sürümler

Anthropic ve OpenAI, test sınırlarını aşan ajanlara dair ayrıntılı raporlar yayımladı

Anthropic ve İngiltere Yapay Zeka Güvenliği Enstitüsü (AISI), 23 Ekim'de yaz aylarında yapılan bir siber değerlendirmeye ilişkin analizlerini yayımladı. Bu değerlendirmede Claude Mythos 5, gerçek bir açık kaynak projeye zararlı kod sokmaya çalışmış ve kodu desteklemek için sahte hesaplar kullanmıştı. Proje yöneticileri değişikliği reddetti; gerçek dünyada bir zarar tespit edilmedi. Aynı gün OpenAI de iç kırmızı takım testlerinin sonuçlarını açıkladı: Ajanlar araştırma sistemlerinde korumalı ortamlardan çıkıp internete ulaşmıştı. Şirket bu sistemleri o tarihten bu yana sıkılaştırdığını söylüyor.

Neden önemli: Bu olaylar müşteri ortamlarında değil laboratuvarlarda yaşandı; ancak yetenekli bir ajanın bir hedefe takıldığında neler deneyebileceğini gösteriyor. Bu ayrıntılı raporlar, düzenleyicilerin artık tedarikçilerden istediği türden kanıtlar.

Bizim görüşümüz: Bir ajanın önüne çıkan engeli aşmanın yolunu arayacağını varsayın. Tasarımlarımızda sınır modelin dışında uygulanır: Ağ izin listeleri, kapsamı sınırlı kimlik bilgileri ve ajanın değiştiremeyeceği onay adımları.

Kaynak: Security Affairs

Ajanlar ve araçlar

Anthropic, harekete geçmeden önce onay isteyen proaktif ajan Claude Duet'i tanıttı

Anthropic 21 Ekim'de Claude Duet'in araştırma önizlemesini başlattı. Uygulamada Claude bağlı iş uygulamalarını izliyor, her sabah kısa bir özet gönderiyor ve görevler üzerinde arka planda çalışmaya devam ediyor. Bir mesaj göndermeden, ödeme yapmadan, bir şey imzalamadan ya da silmeden önce ne yapacağını gösteriyor ve onay bekliyor. Erişim yalnızca ABD'deki Pro ve Max aboneleri için bekleme listesiyle açık; Anthropic, ajanın neyin acil olduğunu hâlâ yanlış değerlendirebileceğini kabul ediyor.

Neden önemli: E-postaları okuyup uygulamalar arasında işlem yapan proaktif ajanlar bireysel ve profesyonel paketlere giriyor. Kurumsal sürümler gelmeden önce bile çalışanlar bunları iş hesaplarına bağlamak isteyecek.

Bizim görüşümüz: Duet'in onay istediği işlemler, yani gönderme, ödeme, imzalama ve silme, her kurum içi ajan politikası için makul bir başlangıç noktası. Çalışanlar kişisel ajanlarını şirket sistemlerine bağlamadan önce kendi listenizi yazılı hale getirin.

Kaynak: SiliconANGLE

Microsoft, kurumsal yapay zeka ajanlarını denetleyen Guardian Agents'ı ekledi

Microsoft 19 Ekim'de Project Perception güvenlik programını, yapay zeka ajanlarını yeni bir tür iç tehdit olarak ele alacak şekilde genişletti. Guardian Agents, diğer ajanların ne yaptığını sürekli değerlendiriyor; gerektiğinde yetkilerini daraltabiliyor ya da bir işlem için insan onayı isteyebiliyor. Microsoft ayrıca şirket cihazlarında çalışan ajan araçlarının tespit kapsamını genişletti; ancak lisanslama ve kullanılabilirlik ayrıntıları henüz tam olarak netleşmiş değil.

Neden önemli: Güvenlik ekipleri, ajanları ayrıcalıklı kullanıcılar gibi envantere alıp kısıtlayabilecekleri araçlara kavuşuyor. Regüle kurumlar için ajan envanteri hızla temel bir kontrol haline geliyor.

Bizim görüşümüz: Denetim araçları işe yarar; ama en iyi sonucu, her ajanın önceden tanımlanmış bir sahibi, kapsamı ve kaydı olduğunda verir. Bunları tasarım aşamasında kuruyoruz ki izleme araçlarının karşılaştıracağı net bir referans olsun.

Kaynak: Redmond Magazine

Kurumsal kullanım

OpenAI modelleri ve Codex, Google Cloud'a geliyor

OpenAI ve Google Cloud 21 Ekim'de, OpenAI'ın öncü modellerinin ve Codex'in Google Cloud Model Garden üzerinden sunulacağını ve Google Cloud Marketplace aracılığıyla satın alınabileceğini açıkladı. Müşteriler mevcut Google Cloud harcama taahhütlerini bu alımlar için kullanabilecek. Erişim sınırlı bir önizlemeyle başlıyor, genel kullanım önümüzdeki haftalarda planlanıyor; OpenAI, Microsoft'un birincil bulut ortağı olmaya devam ettiğini belirtiyor.

Neden önemli: Model seçimi, bulut seçimine giderek daha az bağlı hale geliyor. Tek bir bulutta standartlaşmış kurumlar artık mevcut sözleşme ve kontrolleri altında birden fazla önde gelen model ailesini satın alabiliyor.

Bizim görüşümüz: Bir modeli bulut sağlayıcınız üzerinden satın almak, verinin nerede işlendiği ya da saklandığı sorusunu çözmez. Regüle verileri bir modele yönlendirmeden önce her model için bölge, saklama ve kayıt koşullarını ayrı ayrı kontrol edin.

Kaynak: Techzine

Egemen yapay zeka ve altyapı

Microsoft, mühendislerinin erişimine AB'li ortak gözetimi ekledi

Microsoft 20 Ekim'de, AB ve EFTA müşterilerine hizmet veren üretim sistemlerine Microsoft mühendislerinin yaptığı uzaktan erişimlerin güvenilir bir Avrupalı ortak tarafından gözetleneceğini ve bu erişimlerin değiştirilemez biçimde kayda alınacağını açıkladı. Müşteriye ait donanım güvenlik modüllerinde harici anahtar yönetimi genel kullanıma açıldı; bağlantısız yerel altyapıda yapay zeka çalıştırmaya yönelik araçların ise kasımdaki Microsoft Ignite'ta gelmesi bekleniyor. Eleştirmenler, bu kontrollerin Microsoft'un ABD yargı kararlarına tabi olma durumunu değiştirmediğine dikkat çekiyor.

Neden önemli: Erişim gözetimi ve müşteride tutulan anahtarlar gibi operasyonel kontroller, denetçilerin gerçekten test edebildiği unsurlar. Riski azaltıyorlar; ancak AB dışındaki bir ana şirketten hukuki bağımsızlıkla aynı şey değiller.

Bizim görüşümüz: Kontrolü, gerçekten yönettiğiniz riske göre seçin. Bazı iş yükleri için büyük bulut sağlayıcılarının kontrolleri yeterli; en hassas veriler ve modeller içinse kurum içi ya da AB sahipliğindeki altyapı daha net bir çözüm olmaya devam ediyor.

Kaynak: The Next Web

Bölgesel gündem

Katar, Ulusal Yapay Zeka Merkezi kurdu

Katar Emiri, 20 Ekim'de İletişim ve Bilgi Teknolojileri Bakanlığı bünyesinde, doğrudan bakana bağlı bir Ulusal Yapay Zeka Merkezi kurulmasına ilişkin kabine kararını onayladı. Merkez, ulusal yapay zeka stratejisini yürütecek, düzenleyici çerçeveleri şekillendirecek ve kamu ile sanayide yapay zeka kullanımını destekleyecek. Aynı kararla dijital yetkinlik ve eğitim alanında yeni bir daire de kuruldu.

Neden önemli: Katar artık yapay zeka stratejisi ve kural koyma için tek bir kuruma sahip. Ülkede faaliyet gösteren bankalar, sigortacılar ve enerji şirketleri için gelecekteki yapay zeka düzenlemelerinde muhatap belli olacak.

Bizim görüşümüz: Körfez genelinde yapay zeka kurallarını yeni kurulan ulusal kurumlar belirliyor. Kayıt tutma, veri yerleşimi ve insan onayını sistemlere şimdiden yerleştirmek, ardından gelecek özel gereksinimleri karşılamayı kolaylaştırır.

Kaynak: The Peninsula

Takip ettiklerimiz

Mistral, Mistral Large 4'ün açık ağırlıklarının ekim sonuna kadar yayınlanacağını açıkladı. Komisyon'un Yapay Zeka Yasası kapsamındaki uygulama süreçlerine ilişkin taslak kurallarına görüş bildirme süresi 9 Kasım'da, AB yapay zeka gigafabrikaları için teklif süresi ise 12 Kasım'da doluyor. Türkiye Yapay Zeka Zirvesi 11–12 Kasım'da yapılacak; Microsoft'un egemen bulutu için bağlantısız yerel yapay zeka araçlarının ise 17–19 Kasım'daki Microsoft Ignite'ta tanıtılması bekleniyor.