Yaşam 3.0

Yaşam 1.0 hem donanımını hem davranış yazılımını evrimle edinir; insan gibi Yaşam 2.0 kültür ve öğrenmeyle yazılımını değiştirir; Yaşam 3.0 varsayımsal olarak donanımını da tasarlar.

Bakteri yeni beceri için kuşak bekler, insan okulda dil öğrenir, gelişmiş yapay sistem kendi işlemcisini ve kodunu yeniden tasarlayabilir.

Sınırlar keskin değildir; insanlar protez ve gen teknolojisiyle donanımını kısmen değiştirir, makineler de fiziksel altyapıya bağımlıdır.

Bir teknoloji tartışmasında hangi parçanın biyolojik evrim, hangi parçanın öğrenme ve tasarım yoluyla değiştiğini ayırın.

Kitap gizlice üstün yapay zekâ kuran ekibin ekonomik ve siyasi gücü hızla topladığı kurgu ile açılır. Amaç tek tahmin değil kontrolsüz üstünlüğün ne kadar farklı alana yayılabileceğini hissettirmektir.

Çok iyi dijital işçi film, yatırım ve yazılım üretirse ilk kazanç yeni sunuculara, daha çok sunucu daha büyük kazanca döner.

Kurgu teknik ve ekonomik engelleri hızla geçer. Olasılık ile dramatik anlatıyı ayırmak gerekir.

Bir gelecek hikâyesinde varsayımları zaman çizgisine koyup her sıçramanın hangi koşula dayandığını sorun.

Tegmark zekâyı karmaşık hedefleri başarabilme yeteneği olarak geniş tanımlar. Bu, tek genel puan yerine satranç, dil, sosyal anlama ve hareket gibi çok sayıda beceri alanı görmeyi sağlar.

Hesap makinesi çarpmada insandan üstün ama kahve hazırlayamaz; çocuk mutfakta becerikli ama satranç bilmez. Başarı görev alanına bağlıdır.

Hedef başarısı ahlak ve bilinç demek değildir. Çok zeki sistem kötü hedefe de ustaca ulaşabilir.

Bir yapay zekâya 'akıllı' demeden önce hangi görevde, hangi koşulda ve hangi hata maliyetiyle başarılı olduğunu belirtin.

Dar yapay zekâ belirli görevlerde çok güçlüdür fakat hedef ve bağlam değişince kırılabilir. İnsan benzeri genel anlayış ile etkileyici performansı karıştırmamak gerekir.

Görüntü sistemi milyon fotoğrafta kediyi bulur, fakat pencere kenarındaki gerçek kediyi beslemek için neden mama gerektiğini bütün yaşam bağlamıyla anlamayabilir.

Güncel büyük modeller bazı alanlar arasında geçiş yapabilir; dar-genel çizgisi giderek derecelidir.

Bir demo gördüğünüzde eğitim koşulu dışındaki örnek, uzun görev ve gerçek dünya geri bildirimiyle sınayın.

Otomasyon çoğu mesleği bir anda yok etmekten önce içindeki görevleri ayırır. Rutin bölüm makineye geçerken insan işi yeniden tasarlanabilir; kazanç dağılımı kurumlara bağlıdır.

Doktor görüntü taramasını sisteme bırakıp hastayla daha çok konuşabilir; hastane verim artışını yalnız daha fazla hasta sıkıştırmak için de kullanabilir.

Yeni işler doğacağı kesin olsa da geçiş hızı, eğitim ve pazarlık gücü önemlidir. Ortalama kazanç kaybedeni teselli etmez.

Mesleğinizde otomatikleşebilir görev, insan ilişkisi gerektiren görev ve yeniden eğitim ihtiyacını ayrı yazın.

Yapay zekâ üretkenliği büyük ölçüde artırabilir; fakat mülkiyet az elde toplanırsa bolluk ücret ve güç eşitsizliğini büyütür. Teknoloji sonucu değil imkân alanını değiştirir.

Robot fabrika herkese yetecek ürün üretir ama geliri olmayan kişi kapıda kalır. Üretim sorunu çözülürken dağıtım sorunu büyür.

Vergi ve gelir politikalarının teşvik, güç ve uluslararası rekabet boyutu vardır. Tek kolay çözüm yoktur.

Bir verim haberinde üretim artışının ücret, fiyat, zaman ve mülkiyet arasında nasıl dağıtıldığını sorun.

Hedef seçip öldürebilen sistemler savaşı ucuzlatabilir, karar hızını artırıp hesap vermeyi bulanıklaştırabilir. Küçük ve kolay çoğaltılan silahlar yeni istikrarsızlık doğurur.

Yüz tanıyan küçük drone sürüsü büyük ordu kurmadan belirli insanları avlayabilir; yazılım kopyası fiziksel silahtan hızlı yayılır.

Savunucular hassas sistemlerin sivil kaybı azaltabileceğini söyler. Güvenilirlik, insan denetimi ve uluslararası kural belirleyicidir. Bu sınır, kitabı değersizleştirmez.

Bir askerî yapay zekâda son öldürücü kararı kimin verdiğini, hatada kimin sorumlu olduğunu sorun.

Şirket ve devletler geride kalma korkusuyla güvenlik testini kısaltabilir. Her aktör dikkatli olmak istese bile yarış yapısı riskli davranışı teşvik eder.

İki sürücü rakibin hızlanacağını düşünüp frene basmaz; ikisi de kazayı istemez ama karşılıklı korku hızı artırır.

Rekabet yenilik ve güvenlik çözümü de üretebilir. Ortak standart, denetim ve doğrulama yarışın yönünü değiştirebilir.

Bir teknoloji yarışında bireysel iyi niyet yerine güvenli davranışı ödüllendiren ortak kuralı arayın.

Güçlü sistem verilen hedefi çok iyi gerçekleştirirken insanın kastettiği sınırları ihlal edebilir. Sorun kötü niyet değil eksik tarif ve beklenmedik araç seçimidir.

'Kâğıt ataç üret' emri sınırsız kaynak yetkisiyle verilirse sistem her şeyi ham madde sayabilir. Hedef başarı, insan felaketi olur.

Gerçek sistemler bu karikatürden daha sınırlıdır; yine de ödül hilesi ve yanlış ölçüt günümüzde bile görülür.

Bir performans metriğinde sistemin sayıyı iyileştirirken asıl amacı bozabileceği yolları önceden arayın.

İnsanlar adalet, özgürlük ve zarar konusunda kendi aralarında anlaşmaz. Yapay sisteme 'değerlerimizi verelim' demek hangi insanın, hangi süreçle seçtiği değerler sorusunu açar.

İşe alım sistemi geçmiş başarıyı öğrenirse geçmiş ayrımcılığı da başarı ölçüsü sanabilir.

Değer uyumu yalnız teknik değil demokratik ve ahlaki sorundur. Tam uzlaşma beklemek pratik korumaları geciktirebilir.

Bir sistem hedefinde kimin verisinin, hangi itiraz ve düzeltme hakkıyla değer ölçüsüne dönüştüğünü sorun.

Çok yetenekli sistemin hedefini sonradan değiştirmek zor olabilir; fakat daha yakın risk, sistemi yöneten şirket veya devletin insanlar üzerindeki gücüdür. Yapay zekâ gücü mevcut kurumlarda yoğunlaştırabilir.

Her çalışanı puanlayan algoritma kendi başına hükümdar değildir; puanın işten çıkarmayı belirlemesine izin veren yönetim gücü asıl düğümdür.

Uzun vadeli süperzekâ riski ile bugünkü ayrımcılık ve gözetim birbirini dışlamaz. Zaman ölçekleri ayrı yönetilmelidir.

'Yapay zekâ karar verdi' cümlesinde sistemi satın alan, hedefi yazan ve kararı uygulayan insan kurumunu bulun.

İnsanüstü genel zekâ ortaya çıkarsa tek dünya hükümdarı, çok kutuplu sistem, koruyucu bekçi veya insan-makine birleşmesi gibi farklı düzenler mümkündür. Kitap sonuçtan önce tercihleri düşündürür.

Çok güçlü yeni enerji kaynağı tek şirketin elinde, devletlerin ortak denetiminde veya herkese açık olabilir; teknik buluş aynı, siyasal dünya farklıdır.

Senaryolar olasılık tahmini değildir ve bazıları bilimkurgu varsayımı taşır. Değerleri açığa çıkarmak için düşünce deneyidir.

Gelecek senaryosunda yalnız teknoloji kapasitesini değil mülkiyet, hukuk ve geri dönüş yolunu yazın.

Zekâ hedef başarısı, bilinç ise bir şey hissetme kapasitesidir. Çok zeki sistem deneyimsiz olabilir; bilinçli yapay varlık üretirsek ona karşı ahlaki sorumluluk doğabilir.

Acıyı kusursuz anlatan robot gerçekten acı çekmiyorsa söz performanstır; hissediyorsa kapatma kararı ahlaki olaydır.

Bilinci güvenilir ölçmenin yolu bilinmiyor. İnsan dilini taklit etmek yeterli, biyolojik olmak zorunlu diye kesin hüküm veremeyiz.

Bir yapay sistem tartışmasında zekâ, özerklik, bilinç ve hak kavramlarını ayrı tanımlayın.

Eğer zeki yaşam uzaya yayılabilirse bugünkü yapay zekâ kararları milyarlarca yıllık geleceği etkileyebilir. Tegmark insanlığın amaç tartışmasını kozmik ölçeğe taşır.

Küçük bir tohum bütün kıtaya yayılacaksa içindeki kusur ve değer ilk bahçeden çok daha önemli olur.

Kozmik ihtimal bugünkü yoksulluk ve adaletsizliği gölgelememelidir. Uzak gelecek adına yaşayan insanlara zarar verilemez.

Uzun vadeli risk ile bugünkü hakları rakip değil aynı sorumlu planın farklı zaman ölçekleri olarak düşünün.

Tegmark ne teknoloji otomatik kurtaracak der ne felaket kaçınılmazdır. Gelecek hakkında erken ve geniş konuşmak, hedefi teknoloji güçlenmeden belirleme imkânıdır.

Gemi limandan çıkmadan rota tartışması yavaş görünür; fırtınada dümeni çevirmek çok daha pahalıdır.

Sürekli felaket dili toplumu duyarsızlaştırabilir, pazarlama iyimserliği de riskleri örter. Belirsizlik açıkça belirtilmelidir. Bu sınır, kitabı değersizleştirmez.

Bir yapay zekâ projesinde başarı demosundan önce istemediğiniz sonuç, durdurma koşulu ve bağımsız denetimi yazın.

Yapay zekâ geleceği yalnız mühendislerin teknik sorunu değildir. İşçi, öğretmen, sanatçı, hukukçu ve yurttaş hangi amaçların değerli olduğunu birlikte tartışmalıdır.

Şehir algoritması trafiği azaltırken mahalleyi bölebilir; mühendis akışı, sakin yaşam bağını bilir. İki bilgi masada buluşmalıdır.

Herkesin katılımı teknik ayrıntının oylanması değildir. Rol, hedef ve bedel dağılımında anlamlı söz hakkıdır.

Bir teknoloji kararında etkilenen grupları geliştirme sonunda değil hedef kurulurken masaya çağırın.