YTGET

YouTube · Facebook · X · TikTok · Instagram · Threads

語言學家拆解AI如何判斷新聞句真偽與BERT的世界知識盲點

YouTube 影片筆記

語言學家拆解AI如何判斷新聞句真偽與BERT的世界知識盲點

原片標題:The Place Of Linguistics In Artificial Intelligence with Marie-Catherine De Marneffe

原片說明
Marie-Catherine de Marneffe obtained her PhD from Stanford University in 2012, and has been an associate professor in Linguistics at The Ohio State University. She got appointed as a FRNS Research Associate at UCL in 2021. Her research focuses on developing computational linguistic methods that capture what is conveyed by language beyond the literal meaning of the words. She recently worked on "veridicality": how do people interpret events they read about in the news, do they think such events really happen, did not happen, or are just a possibility? Automatic language processing tools such as the ones you can find on translation platforms or YouTube are all around us, using techniques from artificial intelligence and neural networks. What’s the place of linguistics there? If one reads that “Trump's administration does not believe that there is a risk of a pandemic due to the coronavirus", can we deduce that "there is a risk of a pandemic due to the coronavirus"? Can a computer deduce it? In this talk, we will briefly trace the evolution of the techniques used in natural language processing and show that, despite the progress in automatic language processing and high performance ratios (in the 80-90%), today's automatic systems are not yet able to understand language the way we do as humans. As soon as inferences require pragmatics, the systems' answers are wrong. There is therefore still progress to be made both in theoretical linguistics to better understand the factors that play a role in inference and in automatic language processing. For more science visit: • Website: https://www.scienceandcocktails.org • Facebook: https://www.facebook.com/scienceandcocktailscph/ • Youtube: http://www.youtube.com/c/ScienceCocktails • Instagram: https://www.instagram.com/scienceandcocktailsglobal/

我本來以為這種語言學講座會很硬,結果 Marie-Catherine De Marneffe 一開場就拿「我可以跟你要十歐元嗎」這種日常對話破題,根本是在提醒你:電腦聽不懂人話,其實我們自己也常聽不懂。她整場就在拆這件事,從「浪漫電影」查到「誰是演員」,一路講到新聞裡那些「沒發生、可能發生、真的發生」的句子,電腦到底能不能判斷。

跟朋友要十歐元,電腦聽得懂嗎
跟朋友要十歐元,電腦聽得懂嗎00:55

影片時間軸

  1. 03:48提到佛州發生的事情,開始評估「飛行」是否為真
  2. 06:27介紹另一個早期自然語言理解程式,能與使用者互動操作電腦
  3. 08:44談到 2000 年後、2015 年起深度學習在視覺與語言上的進展
  4. 12:08進入詞義消歧任務,舉「釘窗戶」等例子
  5. 14:52質疑如何評估事件真偽,並談到模型對資料的飢渴
  6. 18:36舉否定句為例,說明事件事實性如何隨語境改變
  7. 22:01說明如何給事件簽名,並檢驗動詞是否遵循這些簽名
  8. 25:09建立模型檢驗語言學預測是否成立,並談到標註資料與微調
  9. 29:21質疑某些系統宣稱超越人類,並進行質性分析
  10. 31:42分析系統學到「I don't believe」後面接的內容,Bert 並不具備世界知識
  11. 35:38總結系統擅長與仍不足之處,並介紹語言學家與電腦科學家的合作團隊
  12. 38:01從符號方法談到神經網路,並舉指物與法語陰陽性翻譯為例
  13. 41:34以一句自己很認同的話作結

語言裡沒說出口的那一半

她從「可以給我十歐元嗎」這種請求開始,說我們每天講話都藏了一堆沒明說的東西。你問「浪漫電影」,系統回你一部艾瑪華森演的片,你會覺得哪裡怪怪的,因為「浪漫」跟「有艾瑪華森」根本是兩件事。這種模糊地帶,語言學家研究很久了,但電腦要抓還早得很。

「浪漫電影」到底怎麼定義
「浪漫電影」到底怎麼定義01:55

新聞句子裡的真假判斷

她拿佛州颶風的新聞當例子,同一句話裡有的事已經發生、有的事還沒確認,人一看就知道哪些是事實、哪些是猜測。她說我們判斷這些幾乎不費力,但把同樣的句子丟給電腦,電腦只會把字串拆一拆,然後把不確定的事當成事實輸出。這段是整場演講的核心問題。

把新聞句子丟給電腦會怎樣
把新聞句子丟給電腦會怎樣04:04

規則派與統計派的交替

她快速掃過自然語言處理的歷史:五〇年代冷戰時期開始,早期靠語言學家一條一條寫規則,後來有了語料庫跟統計方法,再到現在的神經網路。她講到 Terry Winograd 那個會問「你說的是哪個綠方塊」的程式時,語氣明顯很懷念,也順便吐槽現在沒人真的懂那些黑盒子在做什麼。

會問你哪個綠方塊的老程式
會問你哪個綠方塊的老程式07:07

語言學家的推論放進系統裡

她介紹「事實性」這個概念:同一個動詞換個位置,你對後面那件事的相信程度就變了。「Judith 知道 Mary 在布魯塞爾」你會覺得 Mary 真的在;換成「Judith 相信」,就不一定了。她跟團隊把這套語言學推論寫成規則,再拿去跟真人標註比對,發現大致吻合,但總有例外。

「知道」跟「相信」差在哪
「知道」跟「相信」差在哪18:18

BERT 很強,但沒學會世界知識

她直接拿 BERT 來測,結果發現模型很會抓資料裡的模式,卻沒真的學到世界知識。遇到「我確信自己沒有過度自誇」這種句子,人知道那是反諷,模型卻可能當成字面意思。她說這就是那百分之十的落差,也是她認為語言學還不能被丟掉的原因。

BERT 讀不懂反諷的那個瞬間
BERT 讀不懂反諷的那個瞬間33:38

值得下載嗎

值得,如果你對 AI 怎麼處理語言有興趣,這場把技術史跟語言學觀點接得很清楚,而且她講話有節奏、會吐槽,不會讓你睡著。但如果只想看熱鬧的 AI 展示,這支偏學術,可以先跳過。

覺得這篇筆記有幫助嗎?
YTGet 編輯室|看完影片整理的筆記,細節以原片為準。

連線中

影片封面

擷取畫面

輸入時間點,例如 3:20、3.20 或 200

影片皆已含音訊。檔案越大準備時間越久,完成前請保持頁面開啟。