“Kara Kutuyu Yorumlamak” serisinin tüm yazılarına buradan erişebilirsiniz.
Deniz Ekin Yavaş, Heinrich-Heine Üniversitesi’nde Hesaplamalı Dilbilim alanında doktora öğrencisi ve araştırma görevlisi. Öneğitimli dil modellerini kullanarak sözlüksel anlambilim ve anlambilim-sözdizim kesişimini araştırıyor.
Son yıllarda büyük dil modelleri birçok farklı görevde elde ettikleri başarılarla büyük ilgi çekti. Bu başarılar bizlere büyük dil modellerinin öneğitim (pre-training) süreçlerinde dilin istatiksel bilgisinin dışında dile ilişkin çok daha fazlasını öğrenip öğrenmediğini sormamıza neden oldu. Bunun sonucu olarak, bu soruyu yanıtlamayı amaçlayan yorumlanabilirlik (interpretability) çalışmaları bilimsel alanda büyük bir önem kazandı. Bu serinin amacı, farklı konulardaki yorumlanabilirlik çalışmalarına değinerek modellerin bilişsel olarak gerçekçiliğini (cognitive plausibility) sorgulamak.
Serinin bu yazısında, sözcüklerin anlam çeşitliliğine ve anlamın bağlamla ilişkisine yakından bakacağız. Dildeki çoğu sözcük birden çok anlama sahiptir ve çokanlamlılık (polysemy) dilde norm olandır. Tekanlamlılık (monosemy) ise genellikle bilimsel terimlere özgüdür. Sözcüklerin anlam çeşitliliği ve bağlam yakından ilişkilidir, çünkü sözcüklerin anlamları esnektir ve anlam bağlamla devamlı etkileşim içerisindedir. Sözcükler bir bağlam içerisinde birlikte kullanıldıkları diğer sözcüklere uyum gösterir ve farklı anlamlara sahip olabilir.
Bu yazıda büyük dil modellerinin sözcüklerin farklı anlamlarını ayırt edip edemediklerini sorgulayacağız ve bu konuda yapılmış yorumlanabilirlik çalışmalarına yer vereceğiz. Bu çalışmalara geçmeden önce sözcüklerin anlam çeşitliliği, yani birden çok anlama sahip olması ne demek, yakından bakalım.
Çokanlamlılık ve Eşadlılık
Sözcüklerin birden çok anlama sahip olması çokanlamlılık (polysemy) veya eşadlılıktan (homonymy) kaynaklanabilir. Çokanlamlılık bir sözcüğün birden çok bağlantılı anlama sahip olmasıdır. Eşadlılık[1] ise sözcüklerin raslantısal olarak aynı forma sahip olması ve bu nedenle birden çok anlama gelmesidir.
Örneğin, “geçmek” eylemini ele alalım. Bu eylem çokanlamlıdır ve şu anlamlara sahiptir:
- bir yerden bir yere geçmek (“Salondan odaya geçtim.”)
- bir yeri/birini geçmek (“Okulu geçtikten sonra sağa döndük.”)
- bir yoldan geçmek (“Köprüden geçtik.”)
- bir yerden girip çıkmak (“İpi iğneden geçirdi.”)
Bunun yanı sıra, “dolu” (yağış türü ve “içi boş olmayan” anlamında sıfat), “yaz” (mevsim ve yazma eylemi), “gül” (çiçek ve gülme eylemi) gibi sözcükler eşadlıdır. “Geçmek” eyleminden farklı olarak bu sözcüklerin farklı anlamları arasında bir anlam bağlantısı yoktur ve bu sözcükler rastlantısal olarak aynı forma sahiptir.
Teorik olarak eşadlılık ve çokanlamlılığı ayıran, anlamlarının arasındaki anlamsal bağlantılılıktır (semantic relatedness). Psikodilbilim çalışmalarının sonuçları bu teorik ayrımı desteklemektedir ve insanların sözcüklerin farklı anlamlarına ilişkin anlamsal bağlantılılık yargıları çokanlamlılık-eşadlılık ayrımı ile örtüşmektedir. Konuşucular tarafından çokanlamlı sözcüklerin anlamları arasındaki bağlantılılık, eşadlı sözcüklerden daha fazla olarak değerlendirilmektedir (Klepousniotou vd., 2008).[2] Bunun yanı sıra psikodilbilim çalışmaları, eşadlı ve çokanlamlı sözcüklerin zihinsel sözlükçede depolanışı ve işlemlenişi arasında da farklılıklar olduğunu ortaya koymaktadır (Pylkkänen vd. 2006, Frisson 2015, Klepousniotou vd. 2008, 2012, MacGregor vd. 2015).[3]
Vektör Olarak Sözcükler
Doğal dil işlemleme alanında sözcükler vektörler olarak temsil edilir. Bu şekilde sözcüklerle işlemler yapılabilir ve sözcükler arasındaki ilişkiler matematiksel yöntemlerle ortaya çıkarılabilir. Sözcüklerin vektör temsiline sözcük gömmesi (word embedding) adı verilir. Bu gömmeler doğal dil işlemleme görevlerinin temel taşıdır. Doğal dil işlemleme görevlerinde sözcükler gömmeleri ile temsil edilir ve sözcük gömmeleri üzerinden işlem yapılarak görevler gerçekleştirilir.
Görsel 1: “kedi” sözcüğünün vektör temsili.
Sözcük gömmeleri, sözcüklerin dil içerisinde kullanımının, kullanım dağılımının öğrenilmesiyle oluşturulur. Bu nedenle de kullanımsal ve anlamsal olarak birbirine yakın sözcüklerin vektör temsilleri de birbirine yakınlık gösterir.[4]
Görsel 2: “ev”, “köpek”, “kedi” ve “at” sözcüklerinin vektörlerinin karşılaştırılması.
Statik ve Bağlamlaştırılmış Sözcük Gömmeleri
Sözcük gömmeleri farklı yöntemler kullanılarak oluşturulabilir. Büyük dil modellerinden önce, sözcük gömmeleri elde etmek için kullanılan en yaygın yöntemler Word2Vec, Glove, fastText gibi yöntemlerdi. Bu yöntemlerle bir dildeki her sözcük için, o sözcüğün o dilde kullanıldığı bütün bağlamlardan yola çıkarak tek bir sözcük gömmesi üretilir ve bu sözcük gömmelerine statik sözcük gömmeleri (static word embeddings) adı verilir.
Günümüzde ise BERT, RoBERTa gibi büyük dil modellerinin gömmelerinin kullanımı yaygındır. Bu modellerle sözcükler için o sözcüklerin belirli bir tümcede kullanımlarına denk gelen gömmeler üretilir. Bu sözcük gömmesinin hesaplanmasında sözcüğün statik gömmesinin (yani dildeki bütün kullanımlarının bilgisinin) ötesinde tümcenin bağlamı, yani tümcede bulunan diğer sözcükler de etkilidir. Bu nedenle de bu gömmelere bağlamlaştırılmış sözcük gömmeleri (contextualized word embeddings) adı verilmektedir. Örneğin, BERT’e bir tümce verdiğimizde modelden o tümcedeki istediğimiz bir sözcük için bir gömme alırız. BERT’e bu sözcüğün geçtiği başka bir tümce verdiğimizde modelden aynı sözcük için alacağımız sözcük gömmesi, ilk tümce için üretilenle aynı olmayacaktır.
Burada dikkat edilmesi gereken fark, bağlamlaştırılmış gömmelerin sözcüklerin belirli bir tümcedeki kullanımını temsil etmesi ve böylelikle her tümce için farklı sözcük gömmelerinin elde edilebilmesi, statik gömmelerin ise sözcüklerin bütün dildeki tüm kullanımlarını temsil etmesi ve bu nedenle de sözcüklerin bütün dildeki kullanıma denk gelen tek bir sözcük gömmesinin elde edilmesidir.
Statik sözcük gömmelerin en büyük dezavantajlarından biri çokanlamlılığı ve eşadlılığı temsil edememeleridir. Bunun nedeni ise sözcüklerin farklı anlamları için tek bir statik sözcük gömmesinin üretilmesidir. Bu nedenle de eşadlı veya çokanlamlı sözcüklerin farklı anlamları arasında ayrım yapılamamaktadır. Bağlamlaştırılmış sözcük gömmelerinde ise farklı tümceler için farklı sözcük gömmelerinin üretilmesinden dolayı bu ayrımın yapılması daha kolaydır. Örneğin; Türkçede “yaz” sözcüğünü düşünelim. Hem mevsim olan hem de eylem olan “yaz” sözcüklerinin tek bir statik sözcük gömmesi vardır. Bu nedenle farklı anlamlarını ve hatta ad-eylem ayrımını vektör temsiline bakarak ayırt etmek mümkün değildir. Bunun yanı sıra “Deftere bir sayı yaz.” ve “Bu yaz Bodrum’a gideceğiz.” tümcelerinde “yaz” sözcüğü için elde edilen bağlamlaştırılmış vektör temsillerinin sözcüğün hangi anlamını temsil ettiği daha açık olacaktır.
Görsel 3: “yaz” sözcüğünün farklı tümcelerdeki sözcük gömmeleri.
Anlam Çeşitliliği Özelinde Yorumlanabilirlik Çalışmaları
Dil modellerinin sözcüklerin farklı anlamlarına ilişkin bilgilerini ortaya çıkarmaya çalışan yorumlanabilirlik çalışmalarında genellikle sözcük gömmelerinin birbirlerine olan yakınlığına odaklanılmaktadır. Bir önceki bölümde de değindiğimiz gibi hem statik hem de bağlamlaştırılmış sözcük gömmelerinin en ilgi çekici özelliklerinden biri sözcükler arasındaki benzerlikleri ortaya çıkarmamıza yardımcı olabilmesidir.
Bu konudaki temel varsayım ise, sözcüklerin aynı anlamlarının tümcelerinde o sözcüğün gömmelerinin birbirine daha yakın olacağı ve benzer şekilde sözcüklerin farklı anlamlarında sözcük gömmelerinin farklı sözcüklere yakın olacağıdır.
Örneğin “yaz” sözcüğünün farklı tümcelerine bakalım:
- “Yaz mevsimini çok seviyorum.”,
- “Yaz gelsin de denize gidelim.”,
- “Yazın okullar tatil.”,
- “Bu makaleyi sen mi yazdın?”
- “Eve gidince bana mesaj yazarsın.”
- “Bu konuda bir şeyler yazmalısın.”
Yukarıda belirttiğimiz varsayımlara göre, 1, 2 ve 3. tümcelerde “yaz” sözcüğünün gömmeleri birbirlerine yakın ve 4, 5 ve 6. tümcelerdeki “yaz” sözcüğünün gömmelerine uzak olacaktır. Benzer bir şekilde, 1, 2 ve 3. tümcelerde “yaz” sözcüğünün gömmeleri “kış”, “sonbahar” gibi diğer mevsim sözcüklerine yakın olacakken, 4, 5 ve 6. tümcelerde “yaz” sözcüğünün gömmeleri “okumak”, “editlemek” gibi sözcüklere daha yakın olacaktır.
Burada ele alacağımız yorumlanabilirlik çalışmaları da sözcük gömmelerinin birbirlerine yakınlıklarından yola çıkarak sözcüklerin farklı anlamlarına ilişkin sonuçlara varmaya çalışmaktadır. Bunu, sözcüklerin farklı bağlamlarda birbirlerine yakınlığını ölçerek (Lake ve Murphy 2020, Nair vd. 2020, Garcia, 2021) ya da sözcük gömmelerinin yakınlıklarına göre tümceleri kümeleyerek yapmaktadır (Yenicelik vd. 2021).
Kümeleme yöntemi ise, vektörleri birbirlerine yakınlığına göre gruplandıran bir yöntemdir. Sözcük anlamlarının ele alındığı çalışmalarda kümelemenin, sözcüklerin aynı anlamlarda kullanıldığı tümceleri birlikte gruplaması beklenir.
Görsel 4: “yaz” sözcüğünün farklı tümcelerinin kümelenmesi.
Bağlamda Eşadlılığın Çözümlenmesi
Lake ve Murphy (2020) eşadlı sözcüklerin farklı anlamlarını bağlamlaştırılmış gömmeler ile ayırt edilip edilemediği ve tümce bağlamının bundaki etkisini inceler. Bu amaçla İngilizcede eşadlı olan “bank” (“banka” ve “nehir kıyısı”) sözcüğü için 3 farklı tümce oluşturur; nötr, bir anlamı öne çıkaran ve diğer anlamı öne çıkaran. Bu tümceleri BERT ve GPT-2 modellerine vererek bu tümcelerde “bank” sözcüğünün gömmesinin hangi anlama yakın olduğunu ölçer. Bunun için “bank” sözcüğünün gömmesinin, bu tümcelerde “banka” anlamına yakın olan “treasury” (“hazine”) ve “ATM” (“ATM”) sözcüklerine ve “nehir kıyısı” anlamına yakın olan “shore” (“sahil”) ve “beach” (“sahil”) sözcüklerine yakınlığını ölçer.
Sonuçlar “bank” sözcüğünün “banka” anlamında kullanıldığı bağlamda, banka anlamıyla ilişkili sözcüklere (“treasury”, “ATM”) daha yakın olduğunu ve “nehir kıyısı” anlamındaki bağlamda ise bu anlamla ilişkili sözcüklere (“shore” “beach”) daha yakın olduğunu göstermektedir (Tablo 1). Bu da bu modellerin eşadlı sözcüklerin farklı anlamlarının çözümlenmesinde bağlamdaki bilgiyi başarılı bir şekilde kullanabildiğini göstermektedir.
Tablo 1: “bank” Sözcüğünün Farklı Bağlamları için Deney Sonuçları.
Garcia (2021), Lake ve Murphy (2020)’ye benzer bir şekilde eşadlı sözcüklerin farklı anlamlarının BERT modelinin bağlamlaştırılmış gömmeleriyle tespit edilip edilmediğine odaklanır ve BERT modelinin bağlamlaştırılmış gömmeleriyle statik fastText gömmelerinin performansını karşılaştırır.
Garcia (2021), Galiçyaca, Portekizce, İngilizce ve İspanyolca üzerinde deneyler yapar ve bu diller için datasetleri oluşturur. Bu datasetlerinde seçilen her eşadlı sözcüğün iki anlamı için farklı tümceler oluşturur. Örneğin, “coach” sözcüğü İngilizcede eşadlı bir sözcüktür; hem “koç” hem de “otobüs” anlamlarına gelmektedir. Bu sözcüğün iki anlamı için oluşturulan bağlamlar ise şu şekildedir:
Tablo 2: Eşadlı Sözcükler için Oluşturulan Farklı Bağlamlar.
“Coach” sözcüğünün her anlamı için 5 tümce oluşturulmuştur. Bu tümcelerden iki tanesi sözcüğün kendisiyle (1, 2–6, 7), iki tanesi sözcüğün eşanlamlısı[5] ile (3, 4,-8, 9) ve bir tanesi de başka bir sözcükledir (5–10). Bu şekilde her eşadlı sözcük için 10 adet tümce oluşturulur.
Farklı deneyler için, bu datasetindeki tümceler modele verilir ve modelin bu tümcelerde sözcüklere atadığı gömmeler arasındaki benzerlik ölçülür. Bağlamlaştırılmış gömmelerin benzerlikleri ile bu sözcüklerin statik gömmelerinin benzerlikleri arasındaki farklar karşılaştırılır.
İlk deneyde bağlamlaştırılmış gömmelerle eşadlı sözcüklerin farklı anlamlarının tespit edilip edilemediği sorgulanır. Bunun için 1, 4 ve 6 tümcelerindeki “coach” sözcüğünün gömmeleri karşılaştırılır. Bu deneyde beklenen, sözcüğün aynı anlamlarının gömmelerinin birbirine benzer olmasıdır (coach 1-coach 2 < coach 1-coach 1). Deneyin sonuçları bağlamlaştırılmış gömmelerin bu konuda çok başarılı olduğunu ancak statik gömmelerin başarılı olmadıklarını göstermektedir. Bunun nedeni statik gömmelerin sözcüklerin farklı anlamları için farklılık göstermemesi ve her sözcüğün tek bir gömmesinin olmasıdır.
İkinci deneyde eşadlı sözcüklerin farklı anlamlarının birbirine yakınlığı ile eşanlamlılarına yakınlığı karşılaştırılır. Bunun için 1, 5 ve 6 tümcelerindeki “coach” sözcüğünün gömmeleri karşılaştırılır. Bu deneyde beklenen eşadlı sözcüklerin farklı anlamlarının birbirlerine değil ancak eşanlamlılarına yakın olmasıdır (coach 1-bus > coach 1-coach 2). İlk deneye benzer şekilde bu deneyin sonuçları da bağlamlaştırılmış gömmelerin bu konuda çok başarılı olduğunu ancak statik gömmelerin başarılı olmadıklarını göstermektedir. Bunun nedeni statik gömmelerin aynı sözcük için her zaman birbirine daha yakın olmasıdır, çünkü gömmeler aynıdır.
Son deneyde ise sözcüklerin eşanlamlılarına yakınlıkları test edilir. Bunun için 1, 2 ve 3 tümcelerindeki eşadlı sözcük, eşanlamlısı ve rastgele seçilmiş sözcüğün gömmeleri karşılaştırılır. Burada dikkat edilmesi gereken nokta, tümcelerin bir sözcük dışında aynı olmasıdır. Bu deneyde beklenen eşadlı sözcüğün, rastgele seçilmiş olan sözcüktense eşanlamlısına daha yakın olmasıdır (coach 1-bus > coach 1-bicycle). Bu deneyde statik gömmeler çok daha başarılı performans gösterir. Bunun nedeni statik gömmelerin farklı sözcükler arasındaki anlamsal yakınlığı yakalayabilmesidir. Bağlamlaştırılmış gömmelerin kötü performans göstermesinin nedeni ise tümce bağlamlarının aynı olması nedeniyle sözcükler arasındaki ayrımın yapılamamasıdır ve sözcüğün kendisinden çok bağlam ortaklığının sözcük gömmelerinin benzerliğini etkilemesidir.
Anlam Bağlantılılığı
Nair vd. (2020) çalışmalarında BERT modelinin çokanlamlı ve eşadlı sözcüklerinin farklı anlamları arasındaki bağlantılılık derecelerinin insan yargıları ile örtüşüp örtüşmediğini ve modelin gömmelerinde yola çıkarak çokanlamlı-eşadlı ayrımının tespit edilip edilemediğini ele alır.
Öncelikli olarak konuşucularla yaptıkları anketle datalarındaki çokanlamlı ve eşadlı sözcüklerin anlamları arasındaki bağlantılılığa ilişkin konuşucu yargılarını ortaya çıkarırlar. Bu anketin sonuçları, konuşucu yargılarının çokanlamlı-eşadlılık ayrımını yansıttığını göstermektedir.
Daha sonra aynı tümceleri modele vererek çokanlamlı ve eşadlı sözcüklerin farklı anlamları arasındaki bağlantılılığı ortaya çıkarmayı amaçlarlar. Bu amaçla bir sözcüğün farklı anlamlarının tümcelerinde o sözcüğün gömmelerini karşılaştırırlar. Örneğin, çokanlamlı “geçmek” sözcüğünün ve eşadlı “yaz” sözcüğünün farklı iki anlamının tümcelerini düşünelim; “Salondan odaya geçtim.” ve “Okulu geçtikten sonra sağa döndük.” ve “Yaz mevsimini çok seviyorum.” ve “Bu makaleyi sen mi yazdın?”. Bu deneyde beklenen “geçmek” sözcüğünün farklı anlamlarının gömmelerinin “yaz” sözcüğününkinden daha yakın olmasıdır.
Sonuçlar da bunu göstermektedir. Çokanlamlı sözcüklerin farklı anlamlarını temsil eden sözcük gömmeleri birbirine daha yakınken yakınlık, eşadlı sözcükler için daha azdır. Benzer bir şekilde, modelden alınan yakınlık sonuçları konuşucuların anlamsal bağlantılılık yargılarıyla yüksek korelasyona sahiptir.
Sözcüklerin Anlamlarının Kümelenmesi
Yenicelik vd. (2021) çalışmalarında kümeleme yöntemiyle sözcüklerin farklı anlamlarını ortaya çıkarmayı amaçlar. Bu amaçla, birden çok anlama sahip sözcüklerin farklı tümcelerini, bu tümcelerde sözcüklerin gömmelerinin birbirine yakınlıklarına göre kümelerler. Bunun sonucunda oluşan kümelerin sözcüklerin farklı anlamlarını temsil etmesini beklerler.
Oluşan tümce kümeleri incelendiğinde, kümelerin farklı anlamların kümelenmesi sonucunda oluşmadıklarını tespit ederler. Kümelerdeki anlam ortaklığının ötesinde tümcelerin sözdizimsel yapısında ortaklıklar olduğu ortaya çıkmaktadır. Bu da tümcenin yapısının ve tümcedeki sözcüklerin benzerliklerinin sözcük gömmelerinin benzerliklerinin üzerinde etkisi olduğunu göstermektedir.
Sonuç
Serinin bu yazısında büyük dil modellerinin sözcüklerin farklı anlamlarını ayırt edip edemediklerini sorgulayan yorumlanabilirlik çalışmalarına değindik. Bu çalışmaların sonucunda bu modellerin bağlamlaştırılmış sözcük gömmelerinin sözcüklerin farklı anlamlarını ve anlamlar arasındaki bağlantılılığı tespit etmede ve çokanlamlılık-eşadlılık ayrımını yapmada statik gömmelere kıyasla çok daha başarılı olduklarını gördük. Ancak aynı zamanda bağlamlaştırılmış gömmelerin anlamsal benzerliklerin ötesinde tümcedeki benzerliklerden dolayı da yakınlık gösterdiğini ve bu nedenle dezavantajları olduğunu da gördük.
Notlar
[1] Eşadlılığın iki alttürü vardır; eşseslilik (homophony) ve eşyazımlılık (homography). Türkçe’de çoğunluklu eşadlı sözcükler hem eşsesli hem de eşyazımlıdır. Ancak örneğin, İngilizce’de eşseslilik ve eşyazımlılık ayrı olarak görülebilir. Eşseslilik örneği olarak “their” (“onların”)-”they’re” (“onlar”); farklı yazılır ama aynı sesletilirler. Eşyazımlılık örneği olarak “bow” (“ok”)-”to bow” (“eğilmek”); aynı yazılır ancak farklı sesletime sahiptirler.
[2] Türkçe üzerine bir çalışma için bkz: Uçar (2009).
[3] Genel bir değerlendirme için bkz: Falkum ve Vicente (2015).
[4] Vektörler arasındaki yakınlık, iki vektör arasındaki benzerliğin ölçülmesiyle ortaya çıkarılır. Bunun için kullanılan en yaygın ölçme yöntemlerinden biri kosinüs benzerliğidir (‘cosine similarity’).
[5] İki sözcüğün aynı anlama gelmesi eşanlamlılıktır (synonymy). Örneğin; kara/siyah.
Kaynakça
Falkum, I. L., & Vicente, A. (2015). Polysemy: Current perspectives and approaches. Lingua, 157, 1–16.
Frisson, S. (2015). About bound and scary books: The processing of book polysemies. Lingua, 157, 17–35.
Klepousniotou, E., Titone, D, & Romero, C. (2008). Making sense of word senses: The comprehension of polysemy depends on sense overlap. Journal of Experimental Psychology: Learning, Memory, and Cognition, 34(6), 1534–1543.
Klepousniotou, E., Pike, B, G., Steinhauer, K., & Gracco, V. (2012). Not all ambiguous words are created equal: An EEG investigation of homonymy and polysemy. Brain and Language.
MacGregor, L. J., Bouwsema, J., & Klepousniotou, E. (2015). Sustained meaning activation for polysemous but not homonymous words: Evidence from EEG. Neuropsychologia, 68, 126–138.
Nair, S., Srinivasan, M., & Meylan, S. (2020). Contextualized word embeddings encode aspects of human-like word sense knowledge. In Proceedings of the Workshop on the Cognitive Aspects of the Lexicon, 129–141. Online: Association for Computational Linguistics.
Pylkkänen, L., Llinás, R., & Murphy, G. L. (2006). The representation of polysemy: Meg evidence. Journal of Cognitive Neuroscience, 18(1), 97–109.
Uçar, A. (2009). Türkçede Eylemlerde Çokanlamlılık: Uygunluk Kuramı Çerçevesinde Bir Çözümleme. (Yayınlanmamış Doktora Tezi). Ankara: Ankara Üniversitesi Sosyal Bilimler Enstitüsü.
Yenicelik, D., Schmidt, F., & Kilcher, Y. (2020). How does BERT capture semantics? A closer look at polysemous words. In Proceedings of the Third BlackboxNLP Workshop on Analyzing and Interpreting Neural Networks for NLP, 156–162. Online: Association for Computational Linguistics.
