{"id":1986,"date":"2021-12-05T15:00:26","date_gmt":"2021-12-05T15:00:26","guid":{"rendered":"https:\/\/cog-ist.com\/?post_type=blog_content&p=1986"},"modified":"2025-09-07T20:25:46","modified_gmt":"2025-09-07T20:25:46","slug":"neden-beyinde-odul-tahmin-hatasi-vardir-mark-humphries","status":"publish","type":"blog_content","link":"https:\/\/cog-ist.com\/en\/blog_content\/neden-beyinde-odul-tahmin-hatasi-vardir-mark-humphries\/","title":{"rendered":"Neden Beyinde \u00d6d\u00fcl Tahmin Hatas\u0131 Vard\u0131r? \u2014 Mark Humphries"},"content":{"rendered":"\n

\u00d6zg\u00fcn Ad\u0131:\u00a0Why does the brain have a reward prediction error?<\/a><\/p>\n\n\n\n

Mark Humphries, <\/em>beyni incelemek i\u00e7in hayvan modelleri yerine hesaplamal\u0131 (computational) ve istatistiksel modeller kullanan bir sistem n\u00f6robilimcisidir. Ekibiyle, bir\u00e7ok n\u00f6ronun ortak faaliyetinin, davran\u0131\u015f\u0131 y\u00f6nlendirmek i\u00e7in ge\u00e7mi\u015fi, bug\u00fcn\u00fc ve gelece\u011fi nas\u0131l kodlad\u0131\u011f\u0131n\u0131 ara\u015ft\u0131rmaktad\u0131r. Bunu yapmak i\u00e7in, geni\u015f \u00e7apta uygulanabilir veri analizi tekniklerinin geli\u015ftirilmesini sa\u011flamaktad\u0131r. Ekibi ve kendisi, bu teknikleri y\u00fczlerce, binlerce n\u00f6ronun kay\u0131tlar\u0131n\u0131; farkl\u0131 g\u00f6revler esnas\u0131nda, farkl\u0131 t\u00fcr ve filumlar\u0131n \u00e7e\u015fitli beyin devrelerinden al\u0131nan kay\u0131tlar\u0131 analiz etmek i\u00e7in kullan\u0131p, bu ortak faaliyetin sinir devrelerinden nas\u0131l ortaya \u00e7\u0131kt\u0131\u011f\u0131na dair teorik ve hesaplamal\u0131 modeller geli\u015ftirmektedir.<\/p>\n\n\n\n

Dopamin ve geri bildirim sanat\u0131<\/strong><\/p>\n\n\n\n

Modern sinirbilimin derin ba\u015far\u0131 \u00f6yk\u00fclerinden biri, dopamin n\u00f6ronlar\u0131n\u0131n bir tahmin hatas\u0131n\u0131, beklenen \u00f6d\u00fcl ile elde edilen \u015fey aras\u0131ndaki hatay\u0131 i\u015faret etti\u011fi teorisidir.<\/p>\n\n\n\n

Teorinin ba\u015far\u0131s\u0131 derinlere iniyor. N\u00f6ronlar\u0131n ate\u015flenmesinden, dopaminin sal\u0131n\u0131m\u0131ndan ve fMRI\u2019da g\u00f6r\u00fclen kan ak\u0131\u015f\u0131ndan elde edilen, birbirine yak\u0131nsayan kan\u0131tlarla desteklenmi\u015ftir. Bu kan\u0131tlar farkl\u0131 t\u00fcrler aras\u0131ndan; insanlardan, maymunlardan, s\u0131\u00e7anlardan ve ar\u0131lardan elde edilmi\u015ftir. Hatta dopamin n\u00f6ronlar\u0131n\u0131n zorla ate\u015flenmesinin beyne hata sinyalleri g\u00f6nderdi\u011fine dair, etkilerini bu dopamin n\u00f6ronlar\u0131yla oynad\u0131\u011f\u0131m\u0131z canl\u0131lar\u0131n davran\u0131\u015flar\u0131nda g\u00f6rebilece\u011fimiz nedensel kan\u0131tlar da mevcut. Teori, insan davran\u0131\u015f\u0131 \u00f6l\u00e7e\u011finden tek bir n\u00f6ron seviyesine kadar inen veriler aras\u0131nda k\u00f6pr\u00fc kuruyor. Beyin \u00fczerine bir\u00e7ok teorinin aksine, bu teori tamamen i\u015fleme dayal\u0131 (computational), bir\u00e7ok apa\u00e7\u0131k olmayan (non-trivial) tahminde bulunuyor ve bu tahminleri do\u011fru \u00e7\u0131k\u0131yor. Dopamin ve tahmin hatalar\u0131, i\u00e7 i\u00e7e ge\u00e7mi\u015f durumda.<\/p>\n\n\n\n

Ancak bu derin ba\u011flant\u0131, daha b\u00fcy\u00fck ama nadiren dile getirilen bir soruyu g\u00fcndeme getiriyor. Hatalar\u0131n a\u00e7\u0131k bir temsilini (explicit representation) bulundurmadan da hatalardan \u00f6\u011frenebilen bir beyin in\u015fa etmek son derece m\u00fcmk\u00fcn. \u00d6yleyse beyinde neden \u00f6d\u00fcllere dair bir hata sinyali var?<\/p>\n\n\n\n

Bu soruyu anlayabilmek i\u00e7in, \u00f6nce tahmin hatas\u0131n\u0131n kendisiyle ilgili biraz bilgi sahibi olmam\u0131z gerekiyor. Teori, dopamin n\u00f6ronlar\u0131n\u0131n \u201cbeklenmeyen iyi \u015fey\u201dlere ate\u015flendi\u011fini s\u00f6yl\u00fcyor. E\u011fer birden omzunuza dokunup size bir \u015feker verirsem, dopamin n\u00f6ronlar\u0131n\u0131z \u015feker i\u00e7in \u201cbip\u201dleyecektir.<\/p>\n\n\n\n

E\u011fer ki omzunuza dokunup size \u015feker vermeye devam edersem, dopamin n\u00f6ronlar\u0131n\u0131z \u015fekere \u201cbip\u201dlemeyi kesecektir \u2014 bir \u015feker elde etmek harikad\u0131r ama art\u0131k beklenmedik bir \u015fey de\u011fildir (ve a\u00e7\u0131k\u00e7as\u0131 siz de ki\u015fisel alan\u0131n\u0131za biraz sayg\u0131 g\u00f6stermemi tercih ederdiniz). Bunun yerine, dopamin n\u00f6ronlar\u0131n\u0131z omzunuza dokunulmas\u0131na \u201cbip\u201dlemeye ba\u015flarlar. \u0130\u015fin zekice k\u0131sm\u0131 da buras\u0131: n\u00f6ron \u201cbip\u201dler \u00e7\u00fcnk\u00fc art\u0131k omzunuza dokunulmas\u0131 art\u0131k bir \u015fekerin (iyi bir \u015fey) gelece\u011fini hatas\u0131zca tahmin ediyordur; ama kendisi beklenmediktir \u00e7\u00fcnk\u00fc omzunuza ne zaman dokunulaca\u011f\u0131n\u0131 bilmezsiniz. B\u00f6ylece, omzunuza dokunulmas\u0131 \u201cbeklenmeyen iyi \u015fey\u201d haline gelir.<\/p>\n\n\n\n

Teori ayr\u0131ca der ki; dopamin n\u00f6ronlar\u0131, ayn\u0131 insanlar gibi, rutinlerinin ihlal edilmesinden derin bir \u00fcz\u00fcnt\u00fc duyarlar. Bir g\u00fcven ili\u015fkisi kurulmu\u015fken, \u2013benim tekrar tekrar omzunuza dokunmam ve sizin bu sosyal normun ihlalinden bir dizi \u015feker elde etmeniz gibi- e\u011fer ben omzunuza dokunur da size \u015feker vermezsem ne olur? Dopamin n\u00f6ronlar\u0131n\u0131z tamamen durur, k\u0131sa bir s\u00fcreli\u011fine ate\u015flenmeyi keserler.<\/p>\n\n\n\n

K\u0131sacas\u0131, dopamin n\u00f6ronlar\u0131 bir \u00f6d\u00fcl\u00fc tahmin ederken kar\u015f\u0131la\u015f\u0131labilecek \u00fc\u00e7 olas\u0131 hatay\u0131 kapsayan h\u0131zl\u0131 bir sinyal g\u00f6nderir: \u00f6d\u00fcl\u00fcn beklenenden iyi olmas\u0131 (pozitif hata), \u00f6d\u00fcl\u00fcn beklendi\u011fi gibi olmas\u0131 (hata yok) veya \u00f6d\u00fcl\u00fcn beklenenden k\u00f6t\u00fc olmas\u0131 (negatif hata). T\u00fcm bunlar\u0131 bilim insanlar\u0131n\u0131n \u00e7ok sevdi\u011fi o ac\u0131 verici birle\u015fik adlardan biri ile nitelendirebiliriz: dopamin n\u00f6ronlar\u0131 bir \u00f6d\u00fcl tahmin hatas\u0131 g\u00f6nderir.<\/p>\n\n\n\n

Dopamin ve \u201c\u00f6d\u00fcl tahmin hatas\u0131\u201d aras\u0131ndaki bu ili\u015fkinin k\u00f6kleri, yapay zekan\u0131n peki\u015ftirmeli \u00f6\u011frenme (reinforcement learning) dal\u0131ndan gelir (teknik olarak, makine \u00f6\u011freniminin bir dal\u0131d\u0131r, ama \u015fimdilerde sadece kay\u0131\u015fa tak\u0131lm\u0131\u015f bir ivme\u00f6l\u00e7er oldu\u011fundan emin oldu\u011fum FitBit de d\u00e2hil her \u015fey yapay zeka olarak nitelendirildi\u011finden, bu da yapay zekad\u0131r). Peki\u015ftirmeli \u00f6\u011frenme, bir \u015feyin yaln\u0131zca kendi tahminlerinin ne kadar do\u011fru veya yanl\u0131\u015f oldu\u011funun s\u00f6ylenmesiyle nas\u0131l \u00f6\u011frenebilece\u011fine ili\u015fkin algoritmalar\u0131n b\u00fct\u00fcn\u00fcd\u00fcr.<\/p>\n\n\n\n

T\u00fcm klasik peki\u015ftirmeli \u00f6\u011frenme algoritmalar\u0131, bir se\u00e7ene\u011fin ne kadar de\u011ferli oldu\u011funu tahmin etmedeki hataya dair a\u00e7\u0131k bir sinyal i\u00e7erir (bu algoritmalar\u0131n yoklama listesine kollu kumar [slot] makineleri [bandits], Zamansal Fark \u00d6\u011frenimi, Q-learning, SARSA veya Actor-Critic dahildir). Bu, bundan sonra olacak \u015feyin tahmini de\u011feri ile, ger\u00e7ekten olacak de\u011ferinin aras\u0131ndaki sinyaldir \u2014 bu de\u011fer, gelecekte beklenen \u00f6d\u00fcl\u00fcn miktar\u0131 ile \u00f6l\u00e7\u00fcl\u00fcr. Peki\u015ftirmeli \u00f6\u011frenmenin sihri, basit\u00e7e d\u00fcnyada s\u0131radaki her bir \u015feyin tahmini ve ger\u00e7ek de\u011feri aras\u0131ndaki hatan\u0131n en aza indirgenmesiyle yapay bir \u00f6znenin, bir d\u00fcnyada yolunu bulmak veya ko\u015fmak gibi olduk\u00e7a karma\u015f\u0131k olay dizilerini \u00f6\u011frenebilmesidir.<\/p>\n\n\n\n

Dopamin teorisinin i\u015flemsel (computational) k\u0131sm\u0131 da budur: dopamin n\u00f6ronlar\u0131n\u0131n h\u0131zl\u0131 tepkileri, yaln\u0131zca peki\u015ftirmeli \u00f6\u011frenme algoritmalar\u0131n\u0131n tahmin hatas\u0131d\u0131r. Bundan sonra olacak \u015feylerin tahmini ile ger\u00e7ek de\u011ferleri aras\u0131ndaki hatad\u0131r ve \u00f6\u011frenmede kullan\u0131l\u0131rlar. Bu teorinin kilit noktas\u0131, dopamin n\u00f6ronlar\u0131n\u0131n sadece elde edilen ve beklenen \u00f6d\u00fcl\u00fcn aras\u0131ndaki fark\u0131 sinyallemesi de\u011fildir. Ayn\u0131 zamanda bir \u00f6d\u00fcl\u00fc tahmin eden beklenmedik \u015feylere de bu sinyali aktarabilmeleridir, tam da peki\u015ftirmeli \u00f6\u011frenme algoritmalar\u0131n\u0131n olmas\u0131 gerekti\u011fini s\u00f6yledi\u011fi gibi.<\/p>\n\n\n\n

Bu, dopamin n\u00f6ronlar\u0131n\u0131n yaln\u0131zca bu tahmin hatas\u0131n\u0131 kodlad\u0131\u011f\u0131 anlam\u0131na gelmez. Dopamin n\u00f6ronlar\u0131n\u0131n kendilerinin ilgilenebilecekleri pek \u00e7ok detay, tahmin hatalar\u0131n\u0131n da \u00f6tesinde bir \u00fcst k\u00fcme dolusu \u015fey vard\u0131r. Do\u011frusu, \u00f6d\u00fcl tahmin hatalar\u0131 da d\u00fcnya hakk\u0131nda beyinde var olabilecek t\u00fcm olas\u0131 tahmin hatalar\u0131n\u0131n bir alt k\u00fcmesidir<\/a> (bu hikayeyi sonraya b\u0131rakal\u0131m). Fakat dopamin n\u00f6ronlar\u0131n\u0131n \u00f6d\u00fcl tahmin etmedeki hatay\u0131 kodlamalar\u0131, yapt\u0131klar\u0131n\u0131n iyi bilinen bir par\u00e7as\u0131 gibi g\u00f6r\u00fcn\u00fcyor.<\/p>\n\n\n\n

(Dopamin n\u00f6ronlar\u0131n\u0131n h\u0131zl\u0131 tepkisi ile tahmin hatas\u0131 aras\u0131ndaki bu \u00f6ne s\u00fcr\u00fclen ili\u015fki, daha ayr\u0131nt\u0131l\u0131 peki\u015ftirmeli \u00f6\u011frenim algoritmalar\u0131 i\u00e7in de ge\u00e7erlidir, ayn\u0131 Peter Dayan\u2019\u0131n \u201ctakip\u00e7i temsil\u201d [successor representation] fikrinin Sam Gershman, Ida Momennejad<\/a>, Kim Stachenfeld ve tak\u0131m arkada\u015flar\u0131 taraf\u0131ndan heyecan verici \u015fekilde hayata d\u00f6nd\u00fcr\u00fclmesi ve geni\u015fletilmesi gibi. Bu \u201ctakip\u00e7i temsil\u201d anlat\u0131s\u0131nda, tahmin etti\u011finizle elinize ge\u00e7en aras\u0131nda tek bir basit hata de\u011fil, d\u00fcnyan\u0131n farkl\u0131 \u00f6zelliklerindeki de\u011fi\u015fimler \u00fczerine yap\u0131lan tahminlerdeki t\u00fcm hatalardan olu\u015fan bir vekt\u00f6r vard\u0131r, bunlardan biri de \u00f6d\u00fcld\u00fcr. Greshman ve arkada\u015flar\u0131n\u0131n yak\u0131n zamandaki bir makalesi<\/a>, dopamin n\u00f6ronlar\u0131n\u0131n h\u0131zl\u0131 tepkisini o hatalar\u0131n toplam\u0131 olarak d\u00fc\u015f\u00fcnmenin, dopamin n\u00f6ronlar\u0131n\u0131n d\u00fcnyadaki \u00f6d\u00fcl haricindeki de\u011fi\u015fiklikler i\u00e7in de h\u0131zl\u0131 sinyaller g\u00f6ndermesi hakk\u0131ndaki baz\u0131 yeni bulgular\u0131 a\u00e7\u0131klayabilece\u011fini g\u00f6steriyor.)<\/p>\n\n\n\n

Ancak n\u00f6ron ve teorik hata sinyali aras\u0131ndaki bu ili\u015fkinin var olmas\u0131 gerekli de\u011fildir. Peki\u015ftirmeli \u00f6\u011frenme algoritmalar\u0131 hayvan davran\u0131\u015flar\u0131 \u00fczerindeki g\u00f6zlemlere dayal\u0131d\u0131r veolduk\u00e7a ba\u015far\u0131l\u0131 olabilirler: hayvanlar, insanlar da dahil, genellikle ger\u00e7ekten de d\u00fcnyaya dair \u015feyler \u00f6\u011frenmek i\u00e7in bir \u00f6d\u00fcl tahmin hatas\u0131 kullan\u0131yormu\u015f gibi davran\u0131rlar. Ancak s\u0131rf d\u00fcnyay\u0131 \u00f6d\u00fcl \u00fczerine bir tahmin hatas\u0131yla a\u00e7\u0131klayabiliyoruz diye, bu beyinde b\u00f6yle a\u00e7\u0131k bir sinyal oldu\u011fu anlam\u0131na gelmez.<\/p>\n\n\n\n

\u00c7\u00fcnk\u00fc tahminlerindeki hataya dair a\u00e7\u0131k bir sinyal olmadan, geribildirimleri kullanarak d\u00fcnyay\u0131 \u00f6\u011frenebilen bir sistem in\u015fa etmek son derece m\u00fcmk\u00fcnd\u00fcr. Bunun bir \u00f6rne\u011fi, kesinliklerden \u00e7ok gelecekteki olaylar\u0131n olas\u0131l\u0131klar\u0131n\u0131 \u00f6\u011frenen bir Bayes etmenidir (Bayes agent)<\/a>.<\/p>\n\n\n\n

B\u00f6ylesi bir Bayes etmeni<\/a>, A eylemini se\u00e7menin de\u011ferinin ne olaca\u011f\u0131n\u0131n belirsizli\u011fini temsil edebilir. Bu belirsizlik, A eylemini se\u00e7menin olas\u0131 de\u011ferlerinin olas\u0131l\u0131k da\u011f\u0131l\u0131m\u0131 ile kodlanacakt\u0131r -buna P(de\u011fer | eylem A) diyebiliriz-. \u00d6rne\u011fin, A eylemi se\u00e7menin b\u00fcy\u00fck olas\u0131l\u0131kla d\u00fc\u015f\u00fck bir de\u011feri olabilir veya k\u00fc\u00e7\u00fck olas\u0131l\u0131kla y\u00fcksek bir de\u011feri olabilir, ya da tam tersi veya \u00e7ok daha karma\u015f\u0131k bir \u015fey olabilir.<\/p>\n\n\n\n

Bu zavall\u0131 Bayes etmenimizi olabilecek en s\u0131k\u0131c\u0131 d\u00fcnyaya f\u0131rlat\u0131r\u0131z. T\u00fcm hayat\u0131, bir bozuk para kazanmak i\u00e7in \u00fc\u00e7 koldan hangisini \u00e7ekece\u011fini tekrar tekrar se\u00e7mektir. \u00dc\u00e7 kolun da para kazand\u0131rma \u015fans\u0131 farkl\u0131 oldu\u011fundan, etmen uzun vadede hangisini \u00e7ekmenin daha \u00e7ok para kazand\u0131raca\u011f\u0131n\u0131 bulmal\u0131d\u0131r. \u00dc\u00e7 kol, yani \u00fc\u00e7 olas\u0131 eylem; \u00f6yleyse bu kollar\u0131n de\u011ferlerine kar\u015f\u0131l\u0131k gelen \u00fc\u00e7 de olas\u0131l\u0131k da\u011f\u0131l\u0131m\u0131 vard\u0131r. Her turda etmen bu olas\u0131l\u0131k da\u011f\u0131l\u0131mlar\u0131na g\u00f6re bir kol se\u00e7er \u2013muhtemelen o an en b\u00fcy\u00fck \u00f6d\u00fcl i\u00e7in en y\u00fcksek olas\u0131l\u0131\u011f\u0131 vereni se\u00e7er- ve paray\u0131 bekler.<\/p>\n\n\n\n

Para gelse de gelmese de, etmen bu sonucu olas\u0131l\u0131k da\u011f\u0131l\u0131m\u0131n\u0131 g\u00fcncellemek i\u00e7in kullan\u0131r. Bir paran\u0131n gelmesi, o kolun iyi oldu\u011funun bir kan\u0131t\u0131d\u0131r ve etmen de o kolun y\u00fcksek bir de\u011feri olmas\u0131 olas\u0131l\u0131\u011f\u0131n\u0131 art\u0131r\u0131r; para gelmemesi o kolun k\u00f6t\u00fc oldu\u011funun bir kan\u0131t\u0131d\u0131r ve etmen o kolu \u00e7ekmenin d\u00fc\u015f\u00fck bir de\u011feri olmas\u0131 olas\u0131l\u0131\u011f\u0131n\u0131 art\u0131r\u0131r. \u0130ki t\u00fcrl\u00fc de etmenin se\u00e7ti\u011fi eylem hakk\u0131nda art\u0131k daha fazla bilgisi vard\u0131r, sonu\u00e7 k\u00f6t\u00fc ise de iyi ise de. Eylemin olas\u0131l\u0131k da\u011f\u0131l\u0131m\u0131, da\u011f\u0131l\u0131m\u0131n parametreleri bu bilgiyi yans\u0131tacak \u015fekilde de\u011fi\u015ftirilerek g\u00fcncellenmi\u015ftir.<\/p>\n\n\n\n

Burada bir hata sinyali yoktur. Etmen, d\u00fcnyay\u0131 geribildirim ile \u00f6\u011frenir ve bu \u00f6\u011frenimini karar vermekte kullan\u0131r; ama bir tahmin hatas\u0131 sinyali yoktur. Elbette, para gelmeden \u00f6nceki ve sonraki olas\u0131l\u0131k da\u011f\u0131l\u0131mlar\u0131 aras\u0131ndaki fark\u0131 hesaplayarak bir tane olu\u015fturabiliriz, ama ihtiyac\u0131m\u0131z yoktur. Hata sinyali \u00f6rt\u00fckt\u00fcr.<\/p>\n\n\n\n

Tekrar etmek gerekirse, bu davran\u0131\u015f;hen\u00fcz beyinden bahsetmiyoruz. Fakat, beynin de d\u00fcnyay\u0131 olas\u0131l\u0131k da\u011f\u0131l\u0131mlar\u0131 kullanarak temsil etti\u011fine inanan bir\u00e7ok ki\u015fi<\/a> mevcut, ve olas\u0131l\u0131k da\u011f\u0131l\u0131mlar\u0131n\u0131n n\u00f6ronlar\u0131 kullanarak nas\u0131l temsil edilebilece\u011fine<\/a> ve g\u00fcncellenebilece\u011fin<\/a>e dair makul teoriler de mevcut. Bunlar da \u00f6z\u00fcnde n\u00f6ron pop\u00fclasyonlar\u0131n\u0131n ate\u015flemesini bir olas\u0131l\u0131k da\u011f\u0131l\u0131m\u0131n\u0131 temsil edecek \u015fekilde d\u00fczenlemeye iniyor. Bunu da o n\u00f6ronlara giden girdilerin g\u00fc\u00e7l\u00fcl\u00fc\u011f\u00fcn\u00fc d\u00fczenleyerek<\/a> yapabilirsiniz (bu girdiler n\u00f6ron pop\u00fclasyonunun i\u00e7inden veya d\u0131\u015f\u0131ndan olabilir). Yani beyin, yaln\u0131zca bir \u00f6d\u00fcl\u00fcn meydana gelip gelmedi\u011fine dair bir sinyale ihtiya\u00e7 duyar ve bunu da ba\u011flant\u0131lar\u0131 d\u00fczenlemek i\u00e7in kullan\u0131r. Tahminlerdeki hataya dair karma\u015f\u0131k bir sinyale gerek yoktur.<\/p>\n\n\n\n

Yani beyin, bir peki\u015ftirmeyi tahmin eden a\u00e7\u0131k bir hata sinyali olsun veya olmas\u0131n, peki\u015ftirme ile \u00f6\u011frenebilir. Ancak, beyin dopamin n\u00f6ronlar\u0131 taraf\u0131ndan kodlanan a\u00e7\u0131k bir hata sinyaline sahip. Bu bize ne anlat\u0131yor?<\/p>\n\n\n\n

Bence bu, bize beynin nas\u0131l \u00e7al\u0131\u015ft\u0131\u011f\u0131na dair \u00fc\u00e7 ilgin\u00e7 fikir anlat\u0131yor. Ancak bu benim fikrim, yan\u0131lmaya ve neden \u00f6d\u00fcl\u00fc tahmin eden a\u00e7\u0131k bir hata sinyali olmadan bir beyin in\u015fa edemeyece\u011fimize dair su s\u0131zd\u0131rmaz bir arg\u00fcman olmas\u0131na tamamen haz\u0131r\u0131m.<\/p>\n\n\n\n

\u0130lk fikir, a\u00e7\u0131k bir hata sinyalinin varl\u0131\u011f\u0131n\u0131n, beyinde d\u00fcnyan\u0131n basit bir temsili oldu\u011funa i\u015faret etmesidir. Bir eylemin t\u00fcm olas\u0131 sonu\u00e7lar\u0131n\u0131 temsil etmeyen ve muhtemelen olas\u0131l\u0131k da kullanmayan, s\u00f6zde \u201cmodelsiz\u201d bir temsil. Zaman daral\u0131rken veya d\u00fcnya durgunken eylem se\u00e7mede kullan\u0131lan, h\u0131zl\u0131ca eri\u015febilece\u011fimiz bir arama tablosu. Bu t\u00fcr temsillerin beynin neresinde bulundu\u011funa dair baz\u0131 iyi fikirlerimiz<\/a> var ve hakk\u0131nda bilgi sahibi oldu\u011fumuz t\u00fcm b\u00f6ylesi basit temsil t\u00fcrleri ger\u00e7ek ve tahmini de\u011ferler aras\u0131nda a\u00e7\u0131k bir hata sinyali gerektiriyor.<\/p>\n\n\n\n

\u0130kinci fikir, peki\u015ftirmeli \u00f6\u011frenmedeki bir konseptin, asl\u0131nda beyinde iki farkl\u0131 i\u015flemden olu\u015ftu\u011fudur. Peki\u015ftirmeli \u00f6\u011frenmedeki konseptlerden biri, bir eylemin tahmin etti\u011finiz de\u011ferini, tahmininizdeki hatay\u0131 kullanarak de\u011fi\u015ftirdi\u011finizdir. Bu neden beyinde iki ayr\u0131 i\u015flemden olu\u015fur? \u00c7\u00fcnk\u00fc beyin, bir eylemin de\u011feri hakk\u0131ndaki tahminlerinizdekik\u0131sa ve uzun vadeli de\u011fi\u015fimleri ayr\u0131 ayr\u0131 kontrol etmek isteyebilir. Dopaminle ta\u015f\u0131nan a\u00e7\u0131k bir hata sinyalinin bulunmas\u0131 da beynin ikisini tek bir sinyalle yapmas\u0131na olanak verir.<\/p>\n\n\n\n

Uzun vadeli de\u011fi\u015fiklikler i\u00e7in, bir eylemin de\u011ferine dair tahminimizi, o olay\u0131 temsil eden n\u00f6ronlara giden ba\u011flant\u0131lar\u0131n g\u00fc\u00e7l\u00fcl\u00fc\u011f\u00fcn\u00fc art\u0131rarak veya azaltarak d\u00fczenleyebiliriz. Bir de\u011fere dair tahminimizi bu \u015fekilde d\u00fczenlemek uzun s\u00fcreli davran\u0131\u015f\u0131 de\u011fi\u015ftirir. Ger\u00e7ekten de h\u0131zl\u0131 dopamin sinyalinin beyindeki baz\u0131 ba\u011flant\u0131lar\u0131n g\u00fc\u00e7l\u00fcl\u00fcklerini de\u011fi\u015ftirmelerine izin verilip verilmeyece\u011fini ve bunun hangi y\u00f6nde olaca\u011f\u0131n\u0131 kontrol etti\u011fi d\u00fc\u015f\u00fcn\u00fcl\u00fcyor<\/a>. Burada ise ba\u011flant\u0131lara hangi y\u00f6nde de\u011fi\u015fecekleriini iletebilmek i\u00e7in hata sinyalinin i\u015faretine ihtiyac\u0131n\u0131z var.<\/p>\n\n\n\n

Fakat beyin, ald\u0131\u011f\u0131 her bir geri bildirimin n\u00f6ronlar aras\u0131 bir ba\u011flant\u0131y\u0131 de\u011fi\u015ftirmesini istemeyebilir. \u00c7\u00fcnk\u00fc bu,onu geri d\u00f6n\u00fc\u015f\u00fcn zor olaca\u011f\u0131 bir yola kilitleyebilir. Ger\u00e7ekten de, bu ba\u011flant\u0131lar\u0131n g\u00fc\u00e7l\u00fcl\u00fc\u011f\u00fcn\u00fc bir n\u00f6ronun girdilerini uyararak de\u011fi\u015ftirmeye \u00e7al\u0131\u015ft\u0131\u011f\u0131m\u0131zda, baz\u0131lar\u0131n\u0131 de\u011fi\u015ftirmenin olduk\u00e7a zor oldu\u011funu g\u00f6r\u00fcr\u00fcz. Bu da, k\u0131sa s\u00fcreli durumlarda, beynin ba\u011flant\u0131lar\u0131n g\u00fc\u00e7l\u00fcl\u00fc\u011f\u00fcn\u00fc de\u011fi\u015ftirmeden bir eylemin de\u011ferine dair tahminlerini de\u011fi\u015ftirerek her iki tarafa da oynad\u0131\u011f\u0131 olas\u0131l\u0131\u011f\u0131n\u0131 ortaya koyar. Bunu da, ba\u011flant\u0131lar\u0131 de\u011fi\u015ftirmektense bir n\u00f6ronun girdilerine ne kadar duyarl\u0131 oldu\u011funu de\u011fi\u015ftirerek yapabilir. E\u011fer bir n\u00f6ronu A olay\u0131 i\u00e7in ate\u015flemeye daha yatk\u0131n hale getirirseniz, onun tahmini de\u011ferini y\u00fckseltmi\u015f olursunuz, veya tam tersi. Tahmin edin hangi n\u00f6rotransmiterin eylemleri kontrol eden n\u00f6ronlar\u0131n duyarl\u0131l\u0131\u011f\u0131n\u0131 de\u011fi\u015ftirdi\u011fini g\u00f6steren y\u00fczlerce makale var? Evet, dopamin.<\/p>\n\n\n\n

Hepsini birlikte d\u00fc\u015f\u00fcn\u00fcrsek, buradaki arg\u00fcman, a\u00e7\u0131k bir hata sinyalinin, beynin iki farkl\u0131 zaman \u00f6l\u00e7e\u011finde tahmini de\u011fer de\u011fi\u015fimlerini kontrol etmesini sa\u011flamak i\u00e7in var oldu\u011fudur. Bunu dopaminin kodlad\u0131\u011f\u0131 bir hata sinyaliyle yaparsan\u0131z, hem uzun s\u00fcrede ba\u011flant\u0131lar\u0131n g\u00fc\u00e7l\u00fcl\u00fc\u011f\u00fcn\u00fc de\u011fi\u015ftirebilir hem de k\u0131sa s\u00fcrede n\u00f6ronlar\u0131n duyarl\u0131l\u0131\u011f\u0131n\u0131 de\u011fi\u015ftirebilirsiniz.<\/p>\n\n\n\n

\u00dc\u00e7\u00fcnc\u00fc fikir ise a\u00e7\u0131k bir hata sinyalinin evrimsel bir rastlant\u0131 oldu\u011fudur. Geri bildirimden \u00f6\u011frenen bir sistemi a\u00e7\u0131k bir hata sinyaliyle in\u015fa etmek, olas\u0131l\u0131klar\u0131n bir grup n\u00f6ron aras\u0131ndaki temsilleriyle yapmaktan daha kolayd\u0131r. Muhtemelen, \u00e7ok eskiden ya\u015fam\u0131\u015f hayvanlar\u0131n, hareket kontrol\u00fcn\u00fcn bir par\u00e7as\u0131 olarak dopamin veya benzeri bir \u015fey p\u00fcsk\u00fcrten bir veya iki n\u00f6ronu vard\u0131. Dopaminin n\u00f6ronlar\u0131n girdilere tepkisini de\u011fi\u015ftirerek hareketini etkiledi\u011fi<\/a>, sadece birka\u00e7 bin n\u00f6ronu olan bir\u00e7ok omurgas\u0131z canl\u0131 bulabiliriz. Bu dopamin sisteminin oturmas\u0131yla birlikte, belki de evrime en az diren\u00e7 g\u00f6steren yol, iki n\u00f6ronun hatay\u0131 takiben etkile\u015fimini de\u011fi\u015ftirmek i\u00e7in bu sinyali se\u00e7mekti. Bu, potansiyel olarak, ayn\u0131 ilkel k\u00f6kenden, \u00f6ncelikle bilgileri temsil etmek i\u00e7in a\u00e7\u0131k bir hata sinyali gerektirmeyen da\u011f\u0131t\u0131ml\u0131 bir sistemin evrimle\u015fmesinden daha kolay g\u00f6r\u00fcn\u00fcyor.<\/p>\n\n\n\n

Teorinin sinirbilime katk\u0131s\u0131, beynin neyi yapabildi\u011fini g\u00f6stermek kadar, ne yapmad\u0131\u011f\u0131n\u0131 veya yapamad\u0131\u011f\u0131n\u0131 da g\u00f6stermektir. Elbette, her keyfi fikre m\u00fcsaade edersek, bu alan pratikte sonsuzdur: beynin \u00e7ilek re\u00e7elini n\u00f6rotransmiter olarak kullanmad\u0131\u011f\u0131n\u0131 veya bir zarf\u0131n arkas\u0131nda k\u00f6relmi\u015f bir kalem kullanarak i\u015flem yapmad\u0131\u011f\u0131n\u0131 g\u00f6steren teoriler i\u015fe yaramaz.<\/p>\n\n\n\n

Ancak burada beyindeki a\u00e7\u0131k bir sinyali buluyoruz ve bu geri bildirimle \u00f6\u011frenmenin bir\u00e7ok yolunun \u00fczerini karalarken, baz\u0131lar\u0131n\u0131n \u00f6n\u00fcn\u00fc a\u00e7\u0131yor. Dopaminin \u00f6d\u00fcl tahmin hatas\u0131 teorisi bize neleri yapamad\u0131\u011f\u0131n\u0131 s\u00f6yledi\u011fi kadar, neyin yapabilece\u011fini de s\u00f6yl\u00fcyor. \u00c7atalla\u015fan patikalarla dolu bir bah\u00e7ede, biraz yard\u0131ma sevinmeliyiz \u2014 ve yaln\u0131z az say\u0131da bah\u00e7e patikas\u0131 beyinden \u00e7ok daha karma\u015f\u0131kt\u0131r.<\/p>\n","protected":false},"featured_media":1987,"template":"","meta":{"_acf_changed":false},"event_publishing_tags":[83,94,93,378,518,82,691,64,377,92,323,66,65,968,969,960,959,957,958,967,966,471],"kategori":[305],"class_list":["post-1986","blog_content","type-blog_content","status-publish","has-post-thumbnail","hentry","event_publishing_tags-beyin","event_publishing_tags-bilis","event_publishing_tags-bilissel-bilim","event_publishing_tags-bilissel-norobilim","event_publishing_tags-bilissel-sinirbilim","event_publishing_tags-brain","event_publishing_tags-cogist","event_publishing_tags-cognition","event_publishing_tags-cognitive-neuroscience","event_publishing_tags-cognitive-science","event_publishing_tags-cogsci","event_publishing_tags-neuroscience","event_publishing_tags-norobilim","event_publishing_tags-odul","event_publishing_tags-odul-tahmin-hatasi","event_publishing_tags-ongormeli-isleme","event_publishing_tags-ongormeli-kodlama","event_publishing_tags-predictive-coding","event_publishing_tags-predictive-processing","event_publishing_tags-reward","event_publishing_tags-reward-prediction-error","event_publishing_tags-sinirbilim","kategori-ceviri"],"acf":[],"_links":{"self":[{"href":"https:\/\/cog-ist.com\/en\/wp-json\/wp\/v2\/blog_content\/1986","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/cog-ist.com\/en\/wp-json\/wp\/v2\/blog_content"}],"about":[{"href":"https:\/\/cog-ist.com\/en\/wp-json\/wp\/v2\/types\/blog_content"}],"version-history":[{"count":0,"href":"https:\/\/cog-ist.com\/en\/wp-json\/wp\/v2\/blog_content\/1986\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/cog-ist.com\/en\/wp-json\/wp\/v2\/media\/1987"}],"wp:attachment":[{"href":"https:\/\/cog-ist.com\/en\/wp-json\/wp\/v2\/media?parent=1986"}],"wp:term":[{"taxonomy":"event_publishing_tags","embeddable":true,"href":"https:\/\/cog-ist.com\/en\/wp-json\/wp\/v2\/event_publishing_tags?post=1986"},{"taxonomy":"kategori","embeddable":true,"href":"https:\/\/cog-ist.com\/en\/wp-json\/wp\/v2\/kategori?post=1986"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}