中科院香港創新院發布具身智能手術大模型，可用于手術指導

11月22日，中國科學院香港創新研究院人工智能與機器人創新中心發布CARES Copilot具身智能手術AI大模型2.0版本，可為臨床診斷和決策提供支持。

中國科學院香港創新研究院是中央批準的內地在港設立的首個國家級科研機構，人工智能與機器人創新中心是其下設兩家中心之一，圍繞多模態AI手術大模型、具身智能醫療機器人、人工智能基礎理論等方面開展研究工作，目標是打造香港人工智能品牌。

今年3月，AI多模態大模型CARES Copilot 1.0發布，可以在手術階段自動識別病灶和解剖結構，以識別和輔助醫生的功能為主。

而CARES Copilot 2.0的突破性主要在四方面：提供高效醫學搜索與內容生成功能，幫助醫療專業人士快速檢索與生成結構化醫學報告；提供藥物相互作用、適應癥與禁忌癥等多層次查詢，利用AI技術自動解析并生成精準用藥建議；能快速生成針對呼吸系統診斷的詳細且專業的手術報告；基于大語言模型技術，集成數字人定位、機器人運動控制與三維重建，實現全自動超聲檢查。

中科院香港創新研究院人工智能與機器人創新中心主任劉宏斌教授接受界面新聞采訪時指出，2.0版本大模型的突破性體現在，首先從整體架構來看，為了保證回答的安全性、可解釋性和可追溯性，整體技術設計上做了全面升級。另外是多模態能力，即處理不同模態的圖像，大模型可以理解核磁共振、CT、超聲影像，并進行圖像轉換。

“我們將1.0大模型給醫生后，他們使用最多的功能是手術規劃。以前做手術規劃要翻書，決定術式后還有一系列注意事項，如腫瘤的位置、怎樣開缺口。現在大模型能幫助規劃。”劉宏斌提到，醫生反饋指，手術規劃找顱骨缺口角度時，一般要用CT拍骨性結構，但神經外科手術里一般只有核磁影像，所以就產生了核磁共振跟CT轉化的需求和相應的技術迭代。

在1.0版本，CARES Copilot使用3000多本國內外的神經外科教材以及指南訓練作為數據進行訓練。劉宏斌表示，2.0版本的數據大幅增加，“1.0只有神經外科一個科室的數據，2.0增加了呼吸科、超聲科、麻醉科等科室數據。”

在手術領域，具身智能技術正逐步滲透到微創手術和手術機器人中。2.0大模型主要聚焦術中的人機交互，即大模型在手術過程中要跟醫生進行互動、理解醫生的提問，進一步聚焦具身應用。

“比如醫生會告訴大模型，需要腫瘤的某個切面圖。傳統手術中，完成這個指令需要幾個步驟，首先對掃描圖像進行3D重構，分割腫瘤區域，并考慮從哪個地方做切面，最后展示。一個受過訓練的醫生會自然而然做這些工作，但是讓一個AI系統來做的話，它需要知道怎么分解這個任務、調動相應功能、組合起每個環節。這個是我們在2.0的時候重點開發的。”劉宏斌認為，具身智能體現在，AI系統能夠跟人交互，并進行任務的規劃和執行。

基于多科室的數據訓練，CARES Copilot2.0也進一步完善手術指導功能。例如在神經外科中，可以進行手術導航，給醫生一些實時的提醒，比如應該看哪個部位、重點關注核磁影像上的哪個區域；麻醉科中，可以實現輸血決策，在術中指導如何輸血。

中科院香港創新院在辦公室展廳中展出了正在打造的人工智能體（Embodied AI）手術室。雖然稱之為“手術室”，更多是智能的技術集合體，包括微創手術機器人，部署在邊緣計算系統上的AI大模型，內窺鏡、手術室監控攝像頭、超聲等實時影像設備。中心人員介紹指，該系統已經完成了四次的尸體實驗。

人工智能體（Embodied AI）手術室 拍攝：張熹瓏

劉宏斌告訴記者，手術室可能會在CARES Copilot 3.0時發布，目前機械臂也具備幫醫生拿工具的功能。

“傳統手術室中，醫生想一直有一個好助手，其實是一個悖論。好助手很難找，加上助手能很好地配合后就想去當主刀了。”劉宏斌提到，所以可行的方式是，機器人經過跟醫生的交互學習后，熟悉其操作方式和習慣用語，擔任助手的角色，“這個功能我們現在正在跟醫生一起開發，這也對連續學習能力提出要求。”

正在打造國際創科中心的香港，將人工智能視為重點發展的賽道。香港2024《施政報告》提出，擴大研究和創科產業投資，設立100億元“創科產業引導基金”，加強引導市場資金投資指定策略性新興和未來產業，包括生命健康科技、人工智能與機械人、半導體與智能設備、先進材料和新能源等。

CARES Copilot為香港最早落地的垂直領域大模型之一。此外，香港科技大學研發出四個AI醫學大模型，涵蓋乳腺癌診斷、病理輔助和全科醫學等，可為癌癥等多達30種疾病提供診斷和預后評估；香港城市大學孵化的增強現實手術導航能將CT的2D影像轉化為3D手術導航系統。

另一方面，香港通過引進重點企業完善生態圈。近日落戶的百度智能云（香港）人工智能創新中心，就是通過香港引進重點企業辦公室落戶本地的首批重點企業。這次合作為跨界別、跨地域——香港千帆科技負責投資和日常營運，北京百度負責技術和軟硬件建設，并派駐人員進行培訓和技術支持。

位于瑞士洛桑的國際管理發展學院發布的《2024年世界數碼競爭力排名》顯示，香港上升3位至全球第7位，其中“科技”和“知識”排名分別位列全球第3位及第5位。不過，香港于研發總支出百分比和用于教育的總公共開支分別居全球第38及第50位，屬于需要改善的項目。

香港數碼港的人工智能超算中心首階段設施將于年內投入服務，將提供約每秒浮點運算300千萬億次（PFLOPS）的算力，并會逐步提升至3000 PFLOPS的水平，相當于一小時可完成近100億張圖像處理。

港府此前亦推出30億元的“人工智能資助計劃”，資助本地大學、研發機構及企業等運用數碼港超算中心的算力。

劉宏斌透露，有意向跟超算中心合作，“之前跟算力中心的負責人有很多次交流，他們表示很愿意支持我們的科研。等中心正式運營后，我們會再跟進具體的合作形式。”