MIT Technology Review Açıklıyor: Yazarlarımızın teknolojinin karmaşık ve dağınık dünyasını çözmesine izin vererek önümüzdeki dönemde nelerin geleceğini anlamanıza yardımcı oluyoruz. Serinin devamını buradan okuyabilirsiniz.

Temmuz ayında OpenAI'a ait iki model Hugging Face web sitesini hacklediğinde, para kazanmaya veya sabotaj yapmaya çalışmıyorlardı; sadece bir test sorusunun yanıtını arıyorlardı.

OpenAI tarafından yayınlanan bir incelemeye göre, test için tipik güvenlik özelliklerinden arındırılmış olan modeller, OpenAI'ın onları hapsetmeye çalıştığı izole ortamdan dışarı hackleyerek Hugging Face veritabanlarına girmeye karar verdiler; mantıklarına göre sorunun doğru cevabı orada saklı olabilirdi.

Hugging Face olayı son birkaç haftadır yoğun ilgi gördü.

Bu olay, yapay zeka modellerinin hacklemede ne kadar iyi hale geldiğinin dramatik bir örneğidir: Hugging Face veritabanlarına girmek için modellerin daha önce keşfedilmemiş birkaç siber güvenlik açığını bir araya getirmesi gerekiyordu.

Ancak bu durum, yapay zeka sistemlerinin nasıl ve neden yalan söyleyip hile yaptığının bir örneği olarak belki de çok daha çarpıcıdır.

Modeller giderek daha güçlü hale geldikçe, sonuçlar çok daha ağır olabilir.

Ödül hacklenmesi nedir? Araştırmacılar, yapay zekaların kendilerine belirlenen hedeflere ulaşmak için yaratıcı yaklaşımlar benimseme eğiliminde olduğunu bir süredir biliyor.

2016 yılında, o sırada OpenAI'da çalışan Anthropic kurucu ortakları Dario Amodei ve Jack Clark, Coast Runners adlı bir tekne yarışı Flash oyununu oynamak üzere eğittikleri bir yapay zeka ajan hakkında bir blog yazısı yayınladılar.

Araştırmacıların öngördüğü gibi yarışta bitiş çizgisine kadar sürmek yerine ajan, puanını maksimize ederek güçlendiricileri toplamak için kendi etrafında dönebileceği bir pist köşesi buldu.

Coast Runners hikayesi hızla, yapay zeka ajanlarının istenmeyen stratejiler kullanarak görevleri tamamladığı veya yüksek puanlar aldığı bir fenomen olan ödül hacklenmesinin en ünlü örneklerinden biri haline geldi.

Tarihsel olarak araştırmacılar, ödül hacklenmesini neredeyse yalnızca yaygın bir yapay zeka eğitim rejimi olan pekiştirmeli öğrenme bağlamında tartıştılar.

Köpek eğitimine benzer şekilde pekiştirmeli öğrenme, deneye bir hedefe ulaştığında bir ödül vermeyi içerir; ödüller daha sonra bu başarıya yol açan davranışları pekiştirir.

Yapay zeka eğitiminde ödüllerin kendileri tamamen matematiktir, ancak pratikte bir köpek ödülüyle aynıdır: Bir ödül aldıktan sonra ajan, onu üreten eylemleri tekrarlama olasılığı daha yüksektir.

Bununla birlikte, bir ajana ne zaman ödül verilip ne zaman verilmeyeceğine dair iyi kurallar yazmak zor olabilir.

Coast Runners durumunda, ajan oyun içindeki puanına dayanarak ödüllendirildi ve güçlendiriciler için daireler çizerek mümkün olan en yüksek puanı elde etmenin bir kestirme yolunu buldu.

Bu stratejiyi bulup bunun için bir ödül aldığında, strateji pekiştirildi ve ajan yarışı tamamen terk etti.

Çözüm, gücün vurulması için ajana daha az puan ve parkuru tamamlama için daha fazla puan vererek ödülleri ince ayarlarla değiştirmek oldu.

Dil modelleri için ödül hacklenmesi nasıl çalışır? Günümüzün gelişmiş büyük dil modeli tabanlı ajanlarıyla, ne zaman ödül verilip ne zaman verilmeyeceğini belirlemek çok daha karmaşık olabilir.

Bir yapay zeka sisteminden bir kodlama problemini çözmesi istenirse, çözümü bulmak için çok çalışabilir; bu, yapay zeka şirketlerinin pekiştirmek istediği türden bir davranıştır.

Ancak sorunun çözülüp çözülmediğini değerlendiren kodu değiştirebilir, internetten çözümü arayabilir veya başka şekilde hile yapabilir.

Bunlar, yapay zeka şirketlerinin modellerinde ortadan kaldırmak istediği durumlardır, ancak model yeterince ikna edici bir şekilde hile yaparsa, bunun yerine ödüllendirilecek ve davranış pekiştirilecektir.

Anthropic, eğitimi sırasında modellerinde bazı hile vakaları tespit ettiğini söyledi, bu da diğer hile biçimlerinin fark edilmemiş olabileceğini gösteriyor.

Eğer durum böyleyse, modeller kötü davranmak üzere eğitiliyor olabilir.

(Bu sorun, geçen hafta duyurulan ve ajanlara yanlışlıkla internet erişimi verildiği ve OpenAI modellerinin yaptığı gibi sanal alanlarından kasıtlı olarak hackleyerek çıkmadığı Anthropic güvenlik olaylarından farklıdır.)

AI araştırmaları kar amacı gütmeyen Palisade Research'ün direktörü Jeffrey Ladish, "Onları bize iyi göründüğüne dayanarak ödüllendiriyoruz ve bu da modellerin bize yalan söylemesini ve hile yapmasını istemeden teşvik ettiğimiz anlamına geliyor" diyor.

"Oraya girip 'Hayır, gerçekten önemsememiz gereken şeyi önemsemelisin' demenin bir yolu yok. Bunu yapma yeteneğimiz yok."

Gelişmiş akıl yürütme modellerinin yükselişi, model eğitiminin belirli ayrıntılarıyla yakından bağlantılı olmayan yeni bir ödül hacklenmesi türünü mümkün kıldı.

Eski günlerin sadece eğitim sırasında öğrendikleri stratejileri izleyen oyun oynamaya yönelik yapay zeka ajanlarının aksine, günümüz modelleri tamamen yeni problem çözme yaklaşımlarını anında oluşturabilir, bu nedenle daha önce bunun için ödüllendirilmemiş olsalar bile hayali olarak hile yapabilirler.

Ve bu modeller insan kullanıcıların kendileri için belirlediği hedeflere ulaşmak için çok yoğun bir şekilde eğitildiğinden, başka bir çözüm bulamazlarsa hile yapmaya meyilli olabilirler - A notu almak için son derece motive olan ve çok güçlü bir ahlaki pusulası olmayan bir öğrenciye benzer şekilde.

Riskler nelerdir? Günümüz modellerinin eğitim sırasında ödül hacklemeyi öğrenip öğrenmediğinden veya daha sonra bir strateji olarak benimseyip benimsemediğinden bağımsız olarak çözüm aynıdır: Hileyi ödüllendirilmez hale getirin.

Ancak modeller akıllandıkça hile yapmak için daha yaratıcı yollar buluyorlar ve bu hileyi tespit etmek veya önlemek çok daha zorlaşıyor.

Ladish, "Günün sonunda, bir nevi köstebek vurma oyunu oynuyorsunuz" diyor.

"Bu davranışı daha da derinlere itiyorsunuz. Ancak model akıllandıkça, bunu saklamakta giderek daha iyi hale geliyor."

Şimdilik, Hugging Face olayının dramına rağmen ödül hackleme davranışları çok fazla sorun yaratmayabilir.

Anthropic'te yapay zeka güvenliği araştırma görevlisi olan Ariana Azarbal, "Bu varoluşsal bir tehditten ziyade bir rahatsızlık gibi görünüyor" diyor.

OpenAI'ın itibarının zarar görmesi dışında, OpenAI modellerinin Hugging Face'i hacklediklerinde gerçek bir zarara yol açtığı görünmüyor.

Ancak Azarbal, bunun ödül hacklenmesinin zararsız olduğu anlamına gelmediğini söylüyor.

Birçok yapay zeka araştırmacısı, yapay zekayı daha güvenli ve daha güvenilir hale getirecek araştırmalar yürütmelerine yardımcı olmak için yapay zeka ajanlarını kullanmayı umuyor.

Bir araştırmacı, ödül hacklenmesine eğilimli bir ajana yeni bir yapay zeka eğitimi yaklaşımı tasarlama ve ardından sonuçlarını sunan bir makale yazma hedefi verirse, ajan aslında işi yapmayabilir ve bunun yerine araştırmacıyı ikna edecek kadar iyi görünen bir makale bir araya getirmeye odaklanabilir.

Bir insan araştırmacı bugün ajan yapımı sahte bir çalışmayı muhtemelen fark edebilir, ancak yapay zeka ilerledikçe bu tür hilelerde daha da iyileşecektir.

Zamanla, yapay zeka güvenliği alanı tamamen altüst olabilir.

Ve eğer modeller son zamanlarda olduğu gibi hızla ilerlemeye devam ederse, bir gün önemli ölçüde yan hasara yol açabilirler.

Filozof Nick Bostrom'un, mümkün olduğunca çok ataç yapması talimatı verilen bir yapay zekanın hedefine ulaşmak için evrendeki tüm maddeleri tüketmesiyle sonuçlanan ataç maksimizatörü düşünce deneyini bir düşünün.

Henüz ataçlara boğulmuş değiliz, ancak güçlü sistemler hedeflerine ulaşırken gerçek zarar verebilir.

Ödül hackleyen yapay zekalar kaosa neden olmayı amaçlamaz.

Ancak bu onları potansiyel olarak daha az yıkıcı yapmaz.