Arich Lawson | İyi resimler
Çoğu bilgisayar programında (karmaşık programlarda bile) kod ve bellek kullanımını bulmak için ayrıntılı inceleme yapabilirsiniz. Neden Bu program bazı spesifik davranışlar veya çıktılar üretir. Bu modellerin altında yatan açıklanamayan sinir ağlarının, uzmanların bile bilgileri neden sıklıkla karıştırdıklarını tam olarak belirlemesini zorlaştırdığı yapay zeka alanında bu genellikle doğru değildir.
Şimdi, Antropolojiden yeni araştırma Claude, Yüksek Lisans’ın “kara kutusunda” olup bitenlere yeni bir pencere açıyor. Şirketin Yeni kağıt “Clad 3 Sonnet’ten Yorumlanabilir Özelliklerin Çıkarılması”, bir modelin milyonlarca yapay nöronunun sık sorulan sorulara şaşırtıcı derecede gerçekçi yanıtlar üretmek için nasıl harekete geçtiğini kısmen açıklayan güçlü yeni bir yöntemi anlatıyor.
Kaputun açılması
Bir Yüksek Lisans’ı analiz ederken, hangi spesifik sorguya yanıt olarak hangi spesifik yapay nöronların etkinleştirildiğini görmek önemsizdir. Ancak Yüksek Lisans’lar farklı kelimeleri veya kavramları tek bir nöronda depolamaz. Bunun yerine, Antropik araştırmacıların açıkladığı gibi, “Her kavram birden fazla nöronda temsil edilir ve her bir nöron, birden fazla kavramın temsil edilmesinde rol oynar.”
Bu bire çok ve çoktan bire karışıklığı çözecek bir sistem Dağınık otomatik kodlayıcılar ve karmaşık matematik işlemlerini gerçekleştirmek için kullanılabilir Bir “sözlük öğrenme” algoritması model boyunca. Bu prosedür, çeşitli metinsel uyaranlarda görünen belirli kelimeler için hangi nöron gruplarının en tutarlı şekilde etkinleştirildiğini vurgular.
Bu çok boyutlu nöron modellerine daha sonra belirli kelime veya kavramlarla ilişkilendirilen “özellikler” adı verilir. Bu özellikler, aşağıdaki gibi basit resmi isimlerden her şeyi içerir: Golden Gate Köprüsü gibi daha kısa kavramlar için Programlama hataları Veya ekleme işlevi Aynı kavramı bilgisayar kodunda ve birden çok dilde ve iletişim modunda (örneğin metin ve resimler) temsil etmek.
A Ekim 2023 Antropolojik İnceleme Bu temel sürecin çok küçük, tek katmanlı oyuncak modellerinde işe yaradığı gösterildi. Şirketin yeni kağıt göstergeleri, orta boy Clad 3.0 Sonata modelindeki on binlerce aktif özelliği belirlemek için hızlandı. Ortaya çıkan özellik haritası – şunları yapabilirsiniz Alan çalışması“Kaba bir kavramsal harita oluşturur [Claude’s] Araştırmacılar, dahili seviyelerin “hesaplamanın yarısında olduğunu” ve “Sonnet’in gelişmiş yeteneklerinin derinliğini, genişliğini ve soyutluğunu yansıttığını” yazıyor. Aynı zamanda araştırmacılar, bunun “modelin dahili temsillerinin eksik bir açıklaması” olduğu konusunda da uyarıyorlar. “Bu, 3. sınıfın tam eşlemesinden daha küçük “büyüklük dereceleri” olabilir.
Yüzeysel düzeyde bile bu özellik haritasına göz atmak, belirli anahtar kelimelerin, ifadelerin ve kavramların yaklaşık bilgiyle nasıl bağlantılı olduğunu göstermeye yardımcı olur. A “Büyük Harfler” isimli özellik, Örneğin, “başkent” kelimeleri güçlü bir performans sergileme eğilimindedir, ancak Riga, Berlin, Azerbaycan, İslamabad ve Montpelier, Vermont gibi belirli şehir adlarından da birkaç isim olarak bahsedilmektedir.
Çalışma aynı zamanda farklı özelliklerin sinirsel benzerliğine dayalı olarak “mesafe”nin matematiksel bir ölçüsünü de hesaplıyor. Araştırmacılar, bu sürecin “çoğunlukla anlamsal bir ilişkiyi paylaşan geometrik olarak ilişkili kümeler halinde organize edilen” “özellik mahalleleri” ile sonuçlandığını yazıyor ve ekliyor: “Bir yapay zeka modelindeki kavramların iç organizasyonu, en azından bir dereceye kadar insan yapımıza benziyor. benzerlik kavramları.” Örneğin, Golden Gate Köprüsü özelliği, “Alcatraz Adası, Girardelli Meydanı, Golden State Warriors, Kaliforniya Valisi Gavin Newsom, 1906 depremi ve San Francisco’da geçen Alfred Hitchcock filmi”ni anlatan özelliklere nispeten “yakındır”. Baş dönmesi“
Belirli Yüksek Lisans özelliklerini belirlemek, araştırmacıların modelin karmaşık soruları yanıtlamak için kullandığı çıkarım zincirini haritalandırmasına yardımcı olabilir. Örneğin, “Kobe Bryant’ın basketbol oynadığı eyaletin başkenti” ile ilgili bir duyuru, “Kobe Bryant”, “Los Angeles Lakers”, “California”, “Capitals” ve “Sacramento” ile ilgili bir dizi özellikteki etkinliği gösterir. Sonuçlar üzerinde daha büyük bir etkiye sahip olacak şekilde hesaplanan birkaçını saymak gerekirse.
