復旦大學教授肖仰華：ChatGPT 浪潮下，面向大模型如何做數據治理？（2）

認知增強技術
肖仰華表示，預訓練語言模型雖已具備初級認知能力，但仍缺乏高級認知能力?？蓮母拍?、類比、幽默、價值認知等角度探索如何增強模型的高級認知能力。增強通用大模型的高級認知能力會是未來重要的研究方向，需要人工智能與人文學科的深度交叉融合，這既是巨大挑戰，也是重大機遇。我們需要倡導人工智能與人文社科的深度交叉與融合的研究環境。概念認知增強對于人類來說，概念和實體間的知識可以互相遷移，以幫助我們理解新的陌生實體。語言模型雖然對語料庫中頻繁出現的概念和實體有一定了解，但它們仍對出現較少的冷門實體理解不足。現有工作將實體知識、知識圖譜中的關系知識、句法知識、語義知識、外部文本知識用到預訓練語言模型的學習中。然而，它們忽略了概念知識，一種對人類來說最為重要的知識。于是，一種全新的概念增強的預訓練任務——實體概念預測（Entity Concept Prediction, ECP）誕生。對于語料中的提及的實體，ECP旨在預測出實體相應的概念。實體將以一定概率被遮蓋住，即要求PLM僅基于上下文預測概念。類比認知增強類比是人類認知中最豐富和活躍的思維方式，類比是人類認知的核心，也是人類智能的核心。通過類比，人們可以證明日常的推理和發現新的見解，如老師用雞蛋來類比地球的構造，學生很快理解了。類比推理是把兩個或者兩類事物或者情形進行比較，找出它們在某一抽象層面上的相似關系。并以這種關系為依據，將有關知識加以適當整理，對應到另一事物或情況，從而獲得求解另一事物或情形的知識，類比推理是人類高級認知能力的重要體現。類比推理需要基于關系結構來實現源域到目標域的映射，從而幫助人類去學習和理解新的知識。現如今缺少大規模數據集讓機器具備類比推離能力。通過更豐富的類比數據集，模型可以使用顯式類比進行推理和解釋，甚至訓練專門的類比模型。2022年，復旦大學、字節跳動人工智能實驗室等機構的研究者提出首個可解釋的知識密集型類比推理數據集——E-KAR 數據集，由1,655個（中文）和1,251個（英文）來自中國公務員考試的問題組成，并提出了類比推理問題的兩個基準任務，用于教會和驗證模型學習類比的能力。隱喻認知增強隱喻本質是從源域概念到目標域概念的映射，基于相似性，反映了人類的認知過程。如在“今晚天空中有一團火”這句話中，通過“火紅”這一特點將晚霞和火焰之間建立聯系。讓機器具備隱喻認知能力，便能讓機器掌握事物間的內在聯系。讓機器具備隱喻相關推理的能力是實現類人智能非常關鍵的一個環節。大模型可以生成一些文本描述，但要做到優雅地生成很困難，為此復旦大學知識工場實驗室建立了一些相關的數據集和知識庫，在明喻解釋上，取得一些研究成果：（1）明喻推理與解釋：復旦大學知識工場實驗室在《Can Pre-trained Language Models Interpret Similes as Smart as Human?》中，提出明喻屬性探測任務(Simile Property Probing)，也即讓預訓練語言模型推斷明喻中的共同屬性。此工作從通用語料文本、人工構造題目兩個數據源構建明喻屬性探測數據集，規模為1,633個題目，涵蓋七個主要類別。（2）大規模明喻知識庫構建：構建大規模明喻知識庫的系統 MAPS-KB，一個百萬級別的明喻概率化知識庫，規模為430萬個明喻三元組，覆蓋70GB的語料庫。（3）面向明喻生成任務的自動評估指標 ：為明喻改寫任務設計全面、高效且可靠的評估系統。設計了五個評估準則：relevance、logical consistency、sentiment consistency、creativity、informativeness，并為每個評估準則設計評估指標。幽默認知增強科學家認為，隨著機器變得越來越聰明，幽默感也許是使人類區別于機器的最后一項特征。肖仰華表示，未來讓大模型參與吐槽大會或說脫口秀也是有可能的。其中關鍵是增強大模型的能力，來檢測幽默的笑點，甚至改寫生成這些幽默段子。然而，幽默計算有以下挑戰性：尚未建立完善的幽默理論，幽默難以形式化定義，當前研究只能處理一些簡單形式的幽默。據肖仰華分析，預訓練語言模型的幽默理解的第一個工作主要從預訓練語言模型的幽默判定、識別、可解釋三個方面來研究。隨著人機交互系統和應用的發展，能否讓機器具有幽默感可能預示著人機交互的通天塔能否建成。對此，肖仰華團隊發布了中文幽默評估數據集。預訓練語言模型的幽默理解的第二個工作主要從預訓練語言模型的幽默改寫、生成兩個方面來研究。當前的語言模型在給出幽默響應方面表現不佳，預訓練語言模型的幽默回復是自然語言處理中的一項挑戰任務。缺乏大規模的幽默回復數據集和定制化的知識來提高預訓練語言模型的幽默回復能力。對此，肖仰華團隊發布了一個中文幽默回復數據集，定制化知識庫和幽默回復輔助任務相關的數據集。共情認知增強在許多真實對話場景中，共情是十分重要的。如使用大模型診斷病人，醫生在和病人交流的過程中，不單有醫學知識，還需要共情能力，安慰病人等，共情能力非常重要。如何評測大模型與人類共情的水平？如何提升大模型與人類共情的能力？最近的一些報道稱，在最新版本的GPT-3.5中，通過心智理論測試，大幅超越之前的版本，其正確率逼近人類九歲孩子的水平?？傮w而言這方面的研究仍需巨大努力。信念認知增強在研究的過程中，可能會發現這樣一個問題：模型的信念容易受輸入影響，對同一問題的回答搖擺不定。如何讓模型擁有穩定的，正確的信念，以及更新特定信念？需要對信念檢測、信念更新、信念強化等工作。
推理增強技術
肖仰華表示，預訓練語言模型的推理能力有待加強，可從數值、邏輯、常識推理等角度探索如何增強模型的推理能力。數值推理增強大模型在不同領域應用時，需具備理解數值的能力。數值推理本質上是對自然語言文本中的數值實體進行區別與一般文本的特殊處理，包括將數值映射到數字線上的近似大小的量級化能力，以及對數值實體之間進行分析、思考以及符號化運算和推理的過程，反映了人腦具備的高級認知功能。對此，肖仰華表示，可通過構建量綱知識庫、半自動化數量數據集構建、量綱認知的預訓練增強、基于CoT的大模型數值推理等手段來增強數值推理能力。邏輯推理增強邏輯有“與或非”這三個原則，然而大模型在否定事實的生成上往往會犯錯。因為否定事實是開放的，關于人不能做什么在語料中的描述是極度稀缺的。大模型的否定事實生成與理解能力因而大打折扣。肖仰華團隊借助Chain-of-Thought，開展了一些研究工作，相關成果已經提交到學術會議。除此之外，還有常識推理增強、反事實推理增強、多模態推理增強、多跳推理增強等方法。目前科技巨頭均在積極布局大模型，以國內為例，華為云發布盤古大模型，北京智源研究院發布“悟道”，浪潮發布中文巨量模型“源1.0”，阿里達摩院發布巨模型M6，百度聯合鵬城實驗室發布大模型“鵬城-百度?文心”，復旦大學知識工場團隊也與超對稱技術公司發布金融預訓練語言模型BigBang Transformer 乾元等。值得一提的是，在我們關注這些大模型的最新發展的同時，為充分發揮大模型的價值，保障大模型的質量，歡迎各位開發者和肖仰華博士一起，積極關注大模型背后的數據治理。嘉賓簡介：肖仰華博士，復旦大學教授、博導、上海市數據科學重點實驗室主任、復旦大學知識工場實驗室負責人、復旦-愛數認知智能聯合研究中心主任。