Apple Intelligence？Apple又要重新定義AI了？

又是一年一度的WWDC，而筆者也要來和各位一起分析一下，今年的WWDC蘋果又整出了什么“新活兒”。今年的WWDC長達一個半小時，主題和之前大眾猜測的一致，就是AI、AI、AI還是AI，從iPhone、iPad到Mac，無不被生成式AI覆蓋。橫空出世的Apple Intelligence，讓蘋果全系產品有了史詩級升級。但是，有趣的是，Apple的AI并不是傳統意義上的“Artificial Intelligence”，而是Apple自身重新定義了一個“Apple Intelligence”。我們都知道，Apple一向擅長“定義”，從改變世界的“重新發明手機”到最近的Apple Vision Pro的“空間計算設備”。那么這一次，所謂的“蘋果牌AI”帶給我們的是驚喜還是驚嚇呢？

對于Apple來說，AI的隱私安全是貫穿始終的重點，因此對于Apple Intelligence，Apple一直再強調這是一種部署在本地的AI，數據不會上傳。因此，又是Apple的傳統藝能，要想完整體驗Apple Intelligence的功能，那就得！加！錢！Apple Intelligence只支持運行在以下Apple Silicon M系列芯片和A17 Pro之上，也就是說，手機端只有iPhone 15 Pro系列能夠運行完整的本地Apple Intelligence功能。    

了解到這點之后，我們在具體聊聊這一次的Apple Intelligence。開始我們先總結一下，Apple Intelligence主要圍繞以下幾點，語言、圖像、操作以及個性化語言理解能力。之后也和Apple爆出的新聞一致，Siri也終于全新升級，AI 隱私功能的新標準也不會缺席，以及Apple平臺整合了ChatGPT。

首先，我們來看看Apple Intelligence的語言部分。這一部分的能力就是目前各位最熟悉的大語言模型常用能力，它可以借助本地AI實現文本檢驗，優化重寫，生成摘要信息等功能。例如，Writing Tools可以幫助用戶重寫、校對和總結文本，在幾乎任何輸入位置都可用，包括郵件、備忘錄、Pages文稿和第三方App等等。Apple的本地AI的語義理解能力使得系統能夠整合多種信息，并從中提取關鍵信息。這些關鍵信息可以被突出顯示，甚至在鎖屏界面上進行特別提醒。此外，AI還能生成自動回復，為用戶提供便捷的交互體驗。對于這一部分的“新能力”，筆者認為這些功能在很多大型語言模型中已經得到了實現，如GPT-3、BERT等。從這個角度來看，Apple AI的語言能力很可能給不了用戶太多的“驚喜”。但換一個角度，筆者認為我們依然能小小的期待一下Apple能否發揚自己的生態優勢，來給用戶更好的AI體驗，Apple Intelligence可能會將這些功能與蘋果硬件、軟件和服務緊密結合，為用戶提供更加流暢、無縫的使用體驗。    

之后，我們再來看看Apple Intelligence的圖像處理方面。同樣的，這也是之前無數AI大模型早已實現的能力，從目前來看，Apple似乎巧妙地把它融入了App生態之中。全新Image Playground，使用簡單，并且直接內置在信息等多款 app 中，也可以作為獨立app使用，可讓用戶在幾秒內創作出有趣的圖像，而當用戶使用imessage聊天之時（國內真的有人用imessage聊天嗎？），聊天的時候可以快速生成的有趣的圖片，而且完全可以基于當前會話內容生成。當您拍攝完成照片之時，Apple的AI也可以介入剔除畫面之中您不想要的要素了。筆者不知道當您看到這些功能的時候會想到什么，估計會有不少人都會有和筆者一樣的感受：“就這？”。

最后，我們再來看看Apple AI的個性化語言理解能力，這一部分的升級主要被應用于Siri之上。Siri終于可以識別設備屏幕上的內容了，而Siri的交互也變成了屏幕外邊緣處亮起柔光。現在Siri能夠識別屏幕上的內容，并支持跨應用交互。例如，如果在聊天中提到了一個地址，Siri可以直接將該地址添加到通訊錄中相應聯系人的信息里。    

Siri的智能化現在能夠完全基于用戶個人數據和設備端信息，它可以識別設備上各種應用中提到的信息，如信息、郵件等，并綜合這些信息來回答用戶的問題。例如，用戶無需提供任何前置信息，直接詢問Siri家人的航班到達時間，Siri就能給出答案。

Siri的屏幕識別和操作能力，正是利用了蘋果之前發布的ReALM技術。蘋果成功開發了一個僅有80M參數的ReALM模型，它在特定AI任務處理上的效果甚至能夠超越GPT-4。蘋果的ReALM模型有四種不同參數規模，這些就是蘋果的大模型。這確實有些令人難以置信，因為它們的參數規格只有GPT模型的幾百分之一，卻在某些任務上取得了更好的成績，單說這一點，Apple AI還真能給我們一點驚喜。              

讓我們回到最開始的問題：Apple又要重新定義AI了？很顯然，蘋果并沒有再續改變手機的“iPhone時刻”，縱觀這次的WWDC，Apple的AI功能似乎并未帶來太多創新。但是，如果我們換一個方向來看，Apple的重點似乎是將AI模型部署到本地設備之中，這一點也許在未來真的尤為重要。

與微軟直接宣布的Phi-Silica不同，蘋果在發布會上并未透露任何有關本地設備搭載模型的詳細信息，無論是模型的型號還是參數量。盡管蘋果的研究團隊在今年3月14日發表的arXiv技術論文中介紹了MM1多模態大模型，但與Phi-3家族中最小的Phi-Silica僅有3B參數相比，MM1的參數量大了10倍。    

現在Apple Intelligence最終選擇的端側小模型，如果不是其他未發布的研究成果，很可能是MM1大模型的縮小版，具有更小的參數規模。蘋果在本次發布會上也宣布了與OpenAI的合作，因此不排除OpenAI為Apple Intelligence的端側小模型提供了技術支持。

然而，考慮到OpenAI與英偉達的緊密合作，其技術架構必然會基于CUDA進行優化和迭代，蘋果不太可能放棄使用自家投入多年研發的M系列芯片，而不是基于硬件架構和軟件生態來開發自家的端側模型。畢竟，蘋果非常注重通過“軟硬一體”構建的優秀體驗和產品壁壘。

隨著微軟推出AI PC，蘋果也決定在設備本地部署一個可能相對較小的模型，未來我們可以預見將有更多的端側模型被集成到各種智能設備中。這些小模型有望滿足大多數用戶的需求，通過本地部署和本地計算的方式，為用戶提供快速響應且無需擔心算力成本的AI解決方案，這很可能是未來智能設備集成AI功能的主要趨勢。

當然，端側模型最終的效果如何，還需要通過大規模用戶的真實需求來進行驗證。