2016/09/10

DeepMind

Yapay zeka alanındaki gelişmeleri takip edenler biliyordur, DeepMind diye bir şirket var: Geçenlerde Go şampiyonunu yenen yapay zeka algoritmalarını yazan ve daha pek çok alanda epey yenilikçi işler yapan, çok güzel makalelerin çıktığı bir şirket. Geçen yıllarda Google tarafından satın alındığı için, tam adları şu anda Google DeepMind. Birkaç gün önce de müzik üreten modellerini duyurdular, onlar da epeyce başarılı.

Şimdi sinopsis şöyle: Bu arkadaşlar bir startup ama araştırma işiyle uğraşıyorlar. Görece yeni kurulmuş bir şirket olarak birçok üniversiteden daha başarılılar. An itibariyle 2 defa Nature'a kapak oldular. Kurucuları elbette bu alanda iyi bir çevreye sahip insanlar fakat kesinlikle ünlü profesörler tarafından falan kurulmuş bir şirket değil (hatta kurucuların bazıları machine learning konusunda teknik bilgi sahibi insanlar dahi değil). Ancak elbette sonradan çok ünlü insanları aralarına kattılar. ICML, NIPS gibi alanın ünlü konferanslarına her seferinde 10-20 gibi fantastik rakamlarda makale kabul ettiriyorlar, dünyanın en iyi ilk 5 üniversitesinin söz konusu konferanslardaki makale sayısını toplasak aşağı yukarı aynıdır herhalde.

Ben üniversitelere ilk adım attığım günden beri, bu hantal, politik entrika dolu ve insanların birbirlerini ilk yazarlık için yediği köhne yapıların hem araştırma hem de eğitim için çok kötü modeller olduğunu düşünüyordum zaten ve görüldüğü kadarıyla çok istisna birkaç tanesi dışında farklı olanı da pek yok. O zamanlar özel sektörün bilimin herhangi bir alanında bu çapta işler yapabileceğini bilmiyorduk tabii (SpaceX, OpenAI falan da ortada yoktu). Benim böyle düşüncelerim hep vardı ama çok uçuk görünüyordu. Yıllarca üniversite dışında bu işler nasıl yapılır diye düşündüm; görünüyor ki bu fikirler kimilerinin zannettiği kadar uçuk olması bir yana, mantıklı olanmış. Umarım bunlar birkaç uç örnek olmaktan ziyade, ana akım haline gelir; biz de modern akademiyi bilimin kurtulduğu bir hastalık olarak anarız ilerde.

Son yıllarda hem yazmak istediğim gibi kitapları yazan, hem de kurmak istediğim gibi şirketleri/kurumları yaratan insanlarla karşılaşıyorum gitgide. Bu çok güzel, demek ki bende bir sorun yokmuş! Yalnız gördüğüm tek bir şey var, bu işler benim aklımın alabileceğinden çok daha da zormuş. Boş işlerle uğraşacak hiç vakit yok!

6 yorum yapılmış. | yorumları oku | yorum yaz:

Adsız dedi ki...

Hocam, eger deep learning in gelisimini takip ettiyseniz gorursunuz ki, yillar boyu hem akademide hem de endustride neural network calisanlar hep bir outlier olarak goruldu. Bengio nun ve Hinton un rahat rahat calisabilmesine olanak saglayan ne google ne microsoft oldu, onlara neural networks alaninda research icin fon saglayan Canadian Institute for Advanced Research(CIFAR) oldu.

Ne zaman ki, Hinton'un bir ogrencisi Microsoft'ta staj yaparken DNN leri speech datasi uzerinde kullandi ve cok iyi sonuc elde etti, Alexnet ILSVRC 2012'de error rate i yuzde 30 dan yuzde 15 e indirdi, bu insanlara ilgi o zaman basladi.

Su an ozel sektor, universitenin cikardigi en iyi insanlari biraraya getirerek bu sekilde basarili oluyor, google deepmind'i babasinin hayrina satin almadi, google in yapmak istedikleri ile deepmind ortustugunden satin aldi.

Yapay zeka alaninda google, microsoft, facebook un ilgisini cekmeyen konular uzerine calisma yapmak isterseniz bunun yine tek yeri akademi. bu ozel sirketler arastirmayi cok sevdiklerinden degil, ilerde kendi karlarini arttiracak olduklarindan dolayi bu paralari startuplara dokup arastirmacilari topluyorlar.

Deniz dedi ki...

Burada dikkat cektigim sey DeepMind gibi bir sirketin benzeri akademik gruplara kiyasla ne kadar uretken olabildigi idi (en tepedeki yoneticiler de unlu, buyuk akademisyenler falan olmadiklari halde). Akademideki gibi bir calismayi 20'ye bolelim ki daha cok makale ciksin veya cok da efektif calismayan biseyi "bosa gitmesin" diye paper yapalim kafasinda olmadiklari kesin (cunku ticari bir ortamda bu tip sacmaliklarin yasayacagini dusunmek zor).

Konunun Google'in bu isi babasinin hayrina yapmadigina girmek o yuzden cok da meseleyle ilgili degil. Ben konunun sadece Google'in parasi geldi -> bu sekilde uretken olundu'dan fazlasi oldugunu dusunuyorum; ayni miktarda parayi bir akademik arastirma enstitusune aktarirsaniz hepsi o para icin birbirini yemeye baslar.

Neural networklerin 90lardaki hali gibi, aykiri fikirlerin uzun sure barinabilmesi icin gereken ortamlar ayri bir tartisma konusu bana kalirsa. Konusulmasi gereken de bir konu ama bu yazinin konusu degil.

Adsız dedi ki...

Hocam, google neden peki kendi arastirmacisini kendisi yetistirmeyi dusunmuyor? lisansini bitiren ogrenci google a gelsin, oradaki arastirmacilarla calissin, isi ogrensin, sonra research yapsin.

Bunu yapmiyor cunku bu cok masrafli ve riskli bir is. Bunun yerine az masrafli ve risksiz olani tercih ediyor, akademideki en iyi yetismis hangi ogrenci varsa, yillik 300k teklif ediyor, teaching yok, infrastructure harika, gel burada research yap diyor.

Deepmind benzeri akademik gruplara kiyasla cok uretken cunku deep learning alaninda tum phd, postdoc ve proflari aliyor. Yani siz yetismis insanlari (deepmind da calisan post-phd insanlar) daha yetismekte olan insanlarla (akademideki uc kurusa calisan zavalli phdler) karsilastiriyorsunuz. Bence adil bir karsilastirma degil

Deniz dedi ki...

Ben tam olarak oyle oldugunu dusunmuyorum: Yapilar cok farkli. Ben de epeydir "uc kurusa" calisan bir PhD ogrencisiyim ve ozel sektordeki mantalite ile karsilasma firsatim da oldu; ornegin akademide bir danismanin PhD ogrencisine verdigi deger belli (bir danismanin ogrencisini --hem de uc kurusa buyuk fedakarlikla calistirdigi halde-- memnun etmek veya elinden kacirmamak icin ugrastigini gormek nerdeyse imkansiz mesela), buna karsilik endustride halinden memnun olunan bir arastirmaci/muhendisin gordugu deger de belli. Bu iki durumun arasindaki farkin devasa olmasinin sebebi de endustrinin zengin olmasi falan degil bana kalirsa, akademiye milyon dolarlik grantlar verilse de durum degismiyor. Endustri hatalarindan zarar goruyor, akademide ise atis serbest. Haliyle uretkenlik de farkli oluyor.

Google niye kendi ogrencisini yetistirmiyor? Ben bu tip seylerin pek uzak olmadigini dusunuyorum, daha olaylarin kendisi birkac yillik, onumuzdeki yillari izleyip gorelim. Machine learning gaziyla pek cok bagimsiz enstitu kurulmaya basladi bile, bunlar startup gibi fundraising'e cikiyorlar. Hepsinin yasayacagini dusunmek zor ama iyilerinin kalacagini gormek zor da degil.

Ayak uydurmak isteyen universiteler de incentive yapilarini degistirecekler. Zira baska turlusu mumkun degil.

Ha hadi machine learning yapildi endustride motivasyonu var, biyoloji de ilac firmalari, saglik vb. sebebiyle fonlaniyor (yine pek cok bagimsiz biyoloji enstitusu var), teorik fizigi, matematigi kim bagimsiz fonlar derseniz, birkac fikrim var ama cok acik bir cevabim yok. O da tartisilmasi gereken konulardan.

Adsız dedi ki...

endustride halinden memnun olunan bir arastirmaci/muhendis ile phd ogrencisini karsilastirmak adil olmaz diyorum ben de. karsilastiracaksak post-doc sonrasi google a girmis birisi vs assistant prof karsilastiralim.

UK icin konusalim

assistant prof: 40k maas al, ev kirasinin 1500-2000 oldugu sehirde yasamaya calis, master, phd, post-doc supervise et, ders ver, derslere hazirlan, okulun admin islerini yap, admin toplantilarina katil, zaman bulunca research yap. research bilmeyen master, phd ve biraz bilen post-doc la research yapmaya calis. bir GPU serveri 10 kisi kullanmaya calis, zamanin yeterse networkun train olur.

google: 80k maas + 20k bonus + 4 yil icin toplam 200k hisse al. sabah, ogle aksam yemeklerin sirketten verilsin. amacin sadece research. teaching yok. collaboratorlarin master phd ogrencileri degil, post-doc sonrasi gelmis alaninda super yetenekli, kendini kanitlamis, isini bilen researcherlar. 50 gpu server uzerinde istedigin kodu yaz. kafandaki kodu en iyi sekilde yazacak software engineerlerle calis.

Deniz dedi ki...

Iki ortamin farkini siz izah etmissiniz; zaten kisirliga sebep olan sey bahsettiginiz yapi ve daha bircok yonetimsel ve artik kaynagini dusunmek bile istemedigim sacma sapan sorunlar.

Simdi olay gelip sadece ogrenci yetistirmeye, teaching'e mi dugumlendi? Universitenin ve akademinin tum sorunu ogrenci yetistirmeye harcanan zaman mi yani? Google arastirmacilar teaching yapmiyor diye mi cok daha verimli oluyor? Eger mevzu haftada 6 saat ders anlatmaksa OK, yapmiyorlardir; ama arastirmacilarin birbirleriyle danisman-ogrenciden cok daha fazla ve daha verimli vakit harcadigina eminim. Birbirlerinden cok fazla sey de ogreniyorlardir.

Akademinin uretken olamamasini ben elestiriyorum, sebepleri de aptallik, ortam da tam tarif ettiginiz gibi cunku. Ve diyorum ki olay 40k maas almak degil, 2 milyon dolar grant alan, ailesinden zengin oldugu icin maddi hicbir sorunu olmayan bildigim PI'larin da tavri, hali, stili hic degismiyor, cunku durum akademinin yapisiyla alakali, haftada 6 saat teaching yapmak veya az para kazanmak bile minor seyler bu durumun yaninda. Sistemin cokmesinin sebebi de bu zaten.

Yorum Gönder