AI熱潮之下，今年的ACL備受關(guān)注。
文| Juny 編輯| VickyXiao
就在今天下午，自然語言處理領(lǐng)域的頂級學(xué)術(shù)會議、有NLP界奧斯卡之稱的ACL 2023 在加拿大多倫多揭曉了三篇”年度最佳“學(xué)術(shù)論文，其中有兩篇都有華人研究者的身影。
今年，除了最重磅的年度最佳論文由過去的一篇增至了三篇之外，ACL也大幅度增加了優(yōu)秀論文的獎項設(shè)置和獲獎比例，頒發(fā)了四大單項獎、39篇杰出論文和12大細(xì)分領(lǐng)域的最佳論文等獎項。ACL組委會表示，今年獲獎?wù)撐倪_(dá)到了總提交論文數(shù)的1.5-2.5%。
作為對比，去年ACL所有獲獎?wù)撐募涌們H有12篇，獲獎數(shù)量還不到今年五分之一，由此可見今年的ACL有多熱鬧！很多人甚至形容今年的ACL就像是AI圈的“火人節(jié)”，來自世界各地的AI研究者們都激情四溢，從7月9日開始，在加拿大多倫多進(jìn)行著一場為期5天的AI狂歡派對。
值得注意的是，不僅是最佳論文，在此次的所有獲獎?wù)撐闹校腥A人學(xué)者參與和由華人團(tuán)隊領(lǐng)導(dǎo)的研究幾乎占據(jù)了半壁江山。｜華人研究者成為ACL的“中流砥柱”在39個杰出論文中，全部都由華人研究者組成的研究團(tuán)隊達(dá)到了六個，有華人參與的杰出論文占一半以上。這些研究者所來自的中國機(jī)構(gòu)既有清華大學(xué)、復(fù)旦大學(xué)、南京理工大學(xué)等高校，也有華為、騰訊等大型企業(yè)。
在細(xì)分領(lǐng)域的主席獎中，來自清華大學(xué)和武漢大學(xué)的華人團(tuán)隊摘得了“情感分析、文體分析和論點挖掘”領(lǐng)域的最佳論文，來自中科大、北京交通大學(xué)、微軟亞洲研究院的華人團(tuán)隊摘得了“自然語言處理應(yīng)用”領(lǐng)域的最佳論文。除了這兩個領(lǐng)域之外，其他4個的領(lǐng)域中也有華人研究者的身影。在最佳演示論文獎中，由中科大、清華大學(xué)、智譜AI、財智科技的研究者組成的團(tuán)隊斬獲了唯一一篇最佳論文獎項。最佳學(xué)生研究獎項中，來自中國的學(xué)術(shù)團(tuán)隊也位列其中。而在四個特別單項獎中，有華人研究者身影的獎項達(dá)到了三個。
總體來看，無論是作為參與者還是研究領(lǐng)導(dǎo)者，華人研究者這次在ACL的存在感都特別強(qiáng)。｜3篇年度最佳論文，分別都在研究什么？本次獲獎的三篇年度最佳論文包括：- Do Androids Laugh at Electric Sheep? Humor “Understanding” Benchmarks from The New Yorker Caption Contest
論文作者：Jack Hessel（艾倫人工智能研究所）, Ana Marasovic（猶他大學(xué)）, Jena D. Hwang（艾倫人工智能研究所）, Lillian Lee（康奈爾大學(xué)）, Jeff Da（華盛頓大學(xué)）, Rowan Zellers（華盛頓大學(xué)）, Robert Mankoff（Air Mail and Cartoon Collections） 和 Yejin Choi（華盛頓大學(xué)）篇論文主要探討了人工智能是否真正理解了幽默。研究者通過三個有關(guān)《紐約客》漫畫標(biāo)題比賽的任務(wù)來挑戰(zhàn)AI模型，包括將笑話與漫畫配對、識別出贏得比賽的標(biāo)題，以及解釋為什么贏得比賽的標(biāo)題是有趣的。研究團(tuán)隊表示，這三個任務(wù)的復(fù)雜度是逐漸進(jìn)階的，關(guān)鍵點在于測試AI對于圖像和標(biāo)題之間復(fù)雜性的理解，以及對人類經(jīng)驗和文化的模仿和應(yīng)用。團(tuán)隊在研究中使用了多模態(tài)和單一語言兩種模型進(jìn)行測試，但最后研究發(fā)現(xiàn)，兩種類型的模型在所有三個任務(wù)上都存在困難。
圖片截自于論文正文例如，最好的多模態(tài)模型在匹配任務(wù)上的性能比人類低30個準(zhǔn)確性點，即使提供了真實的視覺場景描述，人類編寫的解釋也在大于2/3的情況下優(yōu)于機(jī)器編寫的。但同時團(tuán)隊也指出，這個研究結(jié)果是在比較少的GPT-4模型下所得出的。雖然這篇論文的作者分屬于不同機(jī)構(gòu)，但總體來看這也是一篇由OpenAI強(qiáng)參與的研究，論文作者中 Jeff Da, Rowan Zellers 和 Yejin Choi 都在 OpenAI 工作。- What the DAAM: Interpreting Stable Diffusion Using Cross Attention
論文作者：Raphael Tang（康卡斯特應(yīng)用AI團(tuán)隊）, Linqing Liu（倫敦大學(xué)學(xué)院）, Akshat Pandey（康卡斯特應(yīng)用AI團(tuán)隊）, Zhiying Jiang（滑鐵盧大學(xué)）, Gefei Yang（康卡斯特應(yīng)用AI團(tuán)隊）, Karun Kumar（（康卡斯特應(yīng)用AI團(tuán)隊）, Pontus Stenetorp（倫敦大學(xué)學(xué)院）, Jimmy Lin（滑鐵盧大學(xué)） 和 Ferhan Ture（康卡斯特應(yīng)用AI團(tuán)隊）這篇論文主要關(guān)注了大規(guī)模擴(kuò)散神經(jīng)網(wǎng)絡(luò)在文本到圖像生成中的應(yīng)用，研究團(tuán)隊認(rèn)為雖然目前文本到圖像模型已經(jīng)取得了重要的里程碑式成就，但從學(xué)術(shù)研究的角度人們對它們?nèi)匀蝗狈ι钊胝J(rèn)知和可解釋性分析。為了解決這個問題，研究團(tuán)隊基于最近很火的開源模型Stable Diffusion進(jìn)行了文本-圖像歸因分析。他們提出了一種名為DAAM的方法，通過放大和聚合去噪子網(wǎng)絡(luò)中的交叉注意力單詞-像素得分，以生成像素級的歸因圖。
圖片截自于論文正文最后，他們使用DAAM研究了幾種語義現(xiàn)象，重點是特征糾纏，其中，他們發(fā)現(xiàn)共同詞素降低了生成質(zhì)量，而描述性形容詞關(guān)注得過于廣泛。研究團(tuán)隊表示，他們的研究是首次從視覺語言角度來解釋大型擴(kuò)散模型，這可能為未來的研究開辟了新的道路。該研究主要由全美最大有線電視、第二大互聯(lián)網(wǎng)服務(wù)提供商Comcast集團(tuán)的AI研究團(tuán)隊領(lǐng)導(dǎo)，在該研究團(tuán)隊中，有一半以上的作者都是華人。- From Pretraining Data to Language Models to Downstream Tasks: Tracking the Trails of Political Biases Leading to Unfair NLP Models
論文作者：Shangbin Feng（華盛頓大學(xué)）, Chan Young Park（卡耐基梅隆大學(xué)）, Yuhan Liu（西安交通大學(xué)） 和 Yulia Tsvetkov（華盛頓大學(xué)）這篇論文主要研究了預(yù)訓(xùn)練語言模型（LMs）中的政治偏見，及其對下游自然語言處理（NLP）模型公平性的影響。研究團(tuán)隊開發(fā)了新的方法來測量在多樣化的數(shù)據(jù)源（如新聞、論壇、書籍、在線百科全書等）上預(yù)訓(xùn)練的LMs中的政治偏見，其中特別關(guān)注了仇恨言論和誤信息檢測這兩個高風(fēng)險的社會導(dǎo)向任務(wù)。該研究的發(fā)現(xiàn)預(yù)訓(xùn)練的語言模型確實存在政治傾向，不僅加強(qiáng)了語料庫中存在的極化，還將社會偏見傳播到了仇恨言論預(yù)測和誤信息檢測器中，論文討論了這些發(fā)現(xiàn)對NLP研究的重要影響，并提出未來的方向以減輕不公平性。其中，根據(jù)公開信息顯示，這篇文章的第一作者Shangbin Feng本科就讀于西安交通大學(xué)，于去年開始在華盛頓大學(xué)攻讀博士學(xué)位，師從Yulia Tsvetkov。｜NPL界的頂流大會，孕育無數(shù)AI新技術(shù)、新業(yè)態(tài)ACL（Association of Computational Linguistics）起源于1962年，源自美國一個小而專注的學(xué)術(shù)組織，其宗旨是推動計算語言學(xué)的發(fā)展。在當(dāng)時，計算機(jī)科學(xué)才剛剛起步，人工智能更是還處于嬰兒階段的學(xué)術(shù)概念，但ACL早在60多年前就已經(jīng)預(yù)見了的科技的巨浪，今年已經(jīng)是第61屆大會。如今，在人工智能、特別是研究自然語言處理領(lǐng)域有四大頂級會議，分別是ACL、NAACL、EMNLP、COLING。而除了COLING 之外，其他三大會議均由ACL（Association of Computational Linguistics）主辦。幾十年來，隨著技術(shù)的進(jìn)步和AI研究的深入，ACL逐漸發(fā)展成為全球最重要的自然語言處理領(lǐng)域的學(xué)術(shù)會議。作為AI領(lǐng)域里的“奧斯卡獎”一般的存在，ACL可以說是所有自然語言處理領(lǐng)域研究者們所向往和奮斗的方向。ACL會議每年都會產(chǎn)生大量的頂級研究論文，推動了自然語言處理技術(shù)的快速發(fā)展，這些新思想、新技術(shù)往往也會被業(yè)界快速應(yīng)用和商業(yè)化。最重要的是，ACL培育了一代又一代的AI領(lǐng)袖和研究者，是全球AI領(lǐng)域最重要的人才池。ACL大會的舉辦地點在每年都會變化，遍及北美、歐洲、亞洲等地，以盡可能吸引全球各地的研究者參與，每年的會議地點都由ACL的組織委員會提前選定并公布。今年的舉辦地則放在了AI研究前沿、有“深度學(xué)習(xí)之父”Geoffrey Hinton坐鎮(zhèn)的加拿大多倫多。
Geoffrey Hinton在ACL開幕上發(fā)表演講，圖片來自推特或許是受AI浪潮的影響，今年的大會氛圍尤其熱烈。全球各地的AI研究者們前來“朝圣”和分享、交流，谷歌、微軟、亞馬遜、IBM等大型科技企業(yè)也都在ACL上設(shè)置了展位，跟研究者們進(jìn)行面對面交流。知名的專家和研究者將進(jìn)行一系列的主題演講，各國年輕的學(xué)者們也將對最新研究成果進(jìn)行分享和研討，參會者能夠深入地參與特定主題。此外，ACL還設(shè)置了企業(yè)展示和招聘環(huán)節(jié)連接學(xué)術(shù)界和工業(yè)界，促進(jìn)AI技術(shù)的落地轉(zhuǎn)化。
注：封面圖來自于Pexels，版權(quán)屬于原作者。如果不同意使用，請盡快聯(lián)系我們，我們會立即刪除。END
*博客內(nèi)容為網(wǎng)友個人發(fā)布，僅代表博主個人觀點，如有侵權(quán)請聯(lián)系工作人員刪除。
加入技術(shù)交流群
