蘋果大中華區董事總經理葛越4千字演講：蘋果芯片都是量身定制

編 |  漠影
芯東西2021年7月8日上海世界人工智能大會現場報道，在今天上海開幕的世界人工智能大會（WAIC）上，很少公開露面的蘋果大中華區最高負責人，蘋果公司副總裁、大中華區董事總經理葛越在智能芯片分論壇進行了一場篇幅不小的現場分享。葛越核心講述了蘋果的產品開發邏輯，芯片、系統等軟硬件的關鍵特性和進展；其中她提到蘋果自研的芯片都是為自己（蘋果公司）的產品量身定制，也提到了在前一陣公布的新版iOS和MacOS系統平臺的一些新特性，比如圖片取字等等，同時她還透露，現在大中華區的蘋果開發者人數已經超過了440萬人。以下是蘋果公司副總裁、大中華區董事總經理葛越在7月8日上海人工智能大會的演講實錄：各位領導，各位嘉賓，大家下午好！首先非常感謝主辦方再次邀請我參加世界人工智能大會。很高興和這么多的業界專家和同仁匯聚一堂，探討如何讓技術為社會的發展起到更加有效的影響，并肩負起企業應有的社會擔當。Apple強大的人工智能技術幫助客戶、創意工作者、開發者取得成功。我們自豪地看到，無論在中國還是世界各地，Apple的人工智能和機器學習技術正在改變著人們的生活。今天我將分享Apple在人工智能和機器學習方面的做法，以及如何通過這些技術來幫助人們開創一個更美好、更健康、更繁榮、更加激動人心的未來。Apple端到端的產品設計，并嵌入機器學習，從而實現眾多耳熟能詳的功能，增強創造者和開發者的創新能力。在整個過程中，我們把用戶隱私放在首位，同時提供卓越的用戶體驗。

硬件和軟件

首先，我想談談Apple產品和技術開發的理念。我們對于我們的創造的技術是有選擇性的。我們產品和技術的開發永遠都是為了打造最好的產品，實現最好的體驗，獨一無二的軟硬件緊密結合讓我們能夠做到這一點。Apple的端到端的產品設計，從芯片到硬件再到軟件全棧式覆蓋。這意味著我們設計的是完整的用戶體驗，包括從芯片到操作系統，以及從拍攝到分享、溝通、創造和學習等一系列的豐富功能。讓我們從Apple的芯片說起。我們的芯片為我們自己的產品量身定制，并為機器學習進行了專門的優化。我們知道機器學習能夠為用戶提供更為獨特的體驗，因此很早就開始研發能在設備端有效運行復雜機器學習算法的芯片。10多年前Apple就開始了這一工作，今天，我們幾乎所有產品都搭載了Apple自己的芯片。我們的硬件技術團隊采用了可擴展的芯片架構，同樣的模塊可適用于多個系統級芯片（SoC）。芯片設計過程中，我們的工程師擁有著獨特的優勢：他們設計的芯片不是用來出售給其他公司，而是專門為Apple特定的產品，甚至是為了特定功能而專門設計的。這種優化貫穿于CPU、GPU、圖像信號處理器及更多組件。也正是這種不斷優化卓越用戶體驗的愿望，推動了我們開發出Apple神經網絡引擎。我們于2017年發布的A11仿生芯片中搭載了神經網絡引擎，這是SoC中專門負責機器學習的單元。自那時起，我們不斷增加神經網絡引擎的核心和能力。iPhone 12搭載的A14仿生芯片中的神經網絡引擎能夠完成驚人的計算能力，即每秒11萬億次的運算。去年，我們發布了搭載M1芯片的Mac，今年我們又發布了搭載M1芯片的iPad Pro。這是我們有史以來最強大的一款芯片，性能和能效都大幅提升。M1是首款采用先進5納米制程打造的個人電腦芯片，封裝了高達160億個晶體管，其數量為 Apple 所有芯片之最。這款低能耗芯片搭載了世界上最快的中央處理器核心，擁有最卓越的中央處理器性能功耗比，配備了世界上最快的個人電腦集成顯卡，它的Apple神經網絡引擎更帶來了突破性的機器學習性能。得益于此，M1芯片完成了看似不可能完成的任務：它的性能顯著提升，包括將機器學習速度提升最高15倍，與此同時電池續航時間最高提升2倍。

功能

在開發產品和功能時，我們最重要的目標就是通過更加簡單易用、富有創意、并且充滿個性的技術讓用戶的生活變得更輕松。因此，我們廣泛的將機器學習用于賦能用戶的日常活動。利用機器學習可以支持 Siri語音識別，語言翻譯，設備端聽寫，將照片進行分門別類。Apple Watch上的洗手和睡眠等健康應用也得益于此。機器學習甚至可以根據用戶的使用習慣，優化 Apple設備的續航和充電。我們在每一次軟件更新中，持續創新機器學習能力。例如，iOS 15和iPadOS 15 推出了一項我們稱之為“實況文本”的新功能。該功能可以識別圖片中的文字，因此用戶可以像選擇普通文本一樣選擇這些圖片中的文字。用戶可以拍一張指示牌的照片，通過機器學習就可以翻譯、搜索更多信息或分享給朋友。iOS 15和iPadOS 15中的另一項新功能叫做“視覺查找”。有了這個功能，大家可以選擇圖片中的一個對象，比如一款藝術品、一本書籍、一個動物或者一個地標，然后立即獲取關于這個對象更多的相關信息。我們相信，最好的產品是為所有人設計的產品。機器學習也驅動了Apple圍繞輔助功能開展的諸多創新。在我們產品自帶的輔助功能中，強大的麥克風可以充當失聰人士的耳朵。當他們的設備“聽到”火警、嬰兒啼哭或家用電器鳴叫等聲音時，會立即通知用戶。對視覺障礙用戶來說，Apple產品的“旁白”功能使他們能夠無障礙地使用應用程序。通過機器學習，旁白能識別出設備屏幕上的內容。它能幫助用戶“看見”圖像、文本或用戶界面上的按鈕等內容，并向用戶解釋看到了什么。還有一個令我們倍感興奮的例子。今年晚些時候，肢體殘障人士將能夠通過一項名為“輔助觸控功能”的技術更加充分地使用Apple Watch。用戶佩戴手表時，該技術將Apple Watch強大的傳感器與機器學習技術相結合，能夠檢測到肌肉運動與肌腱活動的細微變化。因此，用戶只需通過手勢，甚至無需觸碰手表屏幕，就能移動屏幕上的指針，調用各種強大的功能。通過這些方式，機器學習使得任何人都能輕松體驗Apple產品的魅力。我們相信，無論用戶使用產品的目的是什么，單純為了娛樂，或是想在世界上留下自己的印記，我們都應該為他們做出最好的產品，也就是適合每個人使用的產品。

隱私

我們希望所有人使用我們的產品的時候能用得順心，也用得放心。因此我們將隱私保護置于一切產品開發的核心。我們知道，機器學習需要使用大量數據。但人工智能和機器學習的有效性并不需要以犧牲用戶隱私為代價。對Apple的所有員工而言，這是我們的首要關注點，也是基本的價值觀。同樣的隱私保護融入到我們全球產品設計的每個階段之中。無論是設計和訓練機器學習模型，還是開發基于語音和文本的軟件，在開發的每個階段我們都會問自己同一個問題：“我們如何能用最少的數據和最大程度的數據安全，打造最智能化的功能？”因此我們不收集大量的個人信息，不將用戶數據存儲在服務器上，也不出售給第三方。我們并不需要做這種犧牲。在Apple所有的產品和服務中，我們僅使用必要的數據完成任務，并盡量在設備端進行數據處理。當機器學習是在用戶的設備端實時發生的時候，它不僅更安全，還更實用，更加個性化。這里我想給大家舉幾個例子。Apple Pencil能通過機器學習識別你的筆跡。面容 ID和觸控ID能通過機器學習檢測你的面部或指紋。Apple Watch也是通過機器學習檢測異常心率，并識別罕見的心臟疾病。在這個過程中，你的任何個人信息都從未離開過你的設備。在運行iOS 15和iPadOS 15的設備上，Apple的神經網絡引擎功能十分強大。用戶向Siri提問時，我們的目標是語音數據在設備端進行處理。這意味著Siri不需要錄音，也不用問題發送到云端就可以處理和回答語音請求。當隱私被置于設計的核心時，機器學習的力量更為強大，也更有溫度。在照片應用中也可以看到我們對用戶隱私的承諾。我們知道，照片中含有一些關于朋友、家人和日常生活的最私人的數據。因此當你在照片中搜索人物、寵物或地點時，搜索僅發生在你的iPhone或iPad上。我們所有的產品都以這種標準進行機器學習功能的開發。當隱私得到保護時，機器學習能夠發揮更巨大的潛力，激發創新，提升創造力。我們堅持在設備端處理數據的努力，不僅更好地保護了隱私，還帶來了開創性的新功能。我們認為魚和熊掌皆可得。
開發者

正如大家所了解到的，Apple對機器學習的投入不僅限于自身創新，也延伸到我們遍布在世界各地、不斷增長的龐大開發者社區。世界各地的開發者都可以使用Apple機器學習的框架Core ML，把機器學習模型融入到他們的應用中去。這使得開發者能夠更輕松地開發精彩的新功能和新體驗。Core ML大約在四年前推出，我們興奮地看到，中國和世界各地數以百萬的開發者都在使用這一框架。比如上海的開發者Versa用了Core ML進行創新，他們最新的編輯應用「不咕剪輯」深受視頻博主喜愛。利用Apple M1芯片，「不咕剪輯」幾乎可以對視頻進行實時逐幀處理。因為開發者們利用我們的產品和技術推出了優秀的創新應用，普通創意人員都可以享受以往只有專業工作室才能實現的視頻和圖像處理效果。通過Apple的硬件設備，以及包括Metal在內的技術，開發者們能最大程度地發揮App中的圖形和計算潛能。Metal幫助拓展了手機游戲的視覺前沿。同樣位于上海的開發者米哈游就基于此技術，開發的《原神》在全球受到追捧，還獲了年度 iPhone游戲的殊榮，相信很多人的iPhone上都有這款游戲。
開發者社區

類似這兩家的優秀開發者在我們的平臺上還有很多，而且他們的隊伍還在不斷壯大。大中華區的開發者人數現在已經超過了440萬人，過去兩年規模增長速度達到76%。Apple強大的技術支持正在惠及越來越多的人。通過Apple Developer Program，我們為眾多開發者提供了最先進的技術，幫助他們開發出更多更好的應用。這其中包括成熟的大公司，也有小而美的新興企業。Apple在2020年推出了 「App Store小型企業計劃」，致力于為更多的小型開發者提供支持，幫助他們開發出深受全球喜愛的應用。我們認為這些努力也才剛剛開始。Apple除了在所有設備中配有一顆強大的“芯”來保障技術賦能我們的生態和社區，更有一份為培育中國開發者社區全心投入的意愿和責任。我們在上海的「設計開發加速器」定期為中國的開發者舉辦線上和線下講座、研討會及社交活動。在全國各地不論是幾千人的大企業，還是包括個人開發者在內的小企業，我們都會給予支持。我們不僅支持現有的開發者，還通過“智惠計劃”激勵著未來一代。大家可能聽說過 WWDC獎學金計劃和全國大學生移動應用創新賽，這些競賽讓數以萬計的學生對編程產生濃厚的興趣。他們能獲得Apple工程師和成功開發者的指導，并與世界各地志同道合的朋友見面。通過“智惠計劃”，我們還與中國發展研究基金和中國扶貧基金會等伙伴合作，為數十萬從零到三歲的幼兒，農村地區的學齡兒童以及職業學校的年輕人們提供幫助。當我們提供給人們出色的工具時，他們就能實現非凡的創造。毫無疑問，教育正是最重要的工具之一。我們很高興能將Apple芯片的能力和機器學習技術交給優秀的年輕人、開發者、設計師和工程師，幫助他們實現夢想，我們更加期待用自己的教育之心承載我們的責任，賦能新一代。我們深信深思者慮遠，登高者望遠，輕履者行遠。我們愿和在座的各位領導和業界同仁上下求索，攜手同行，為用戶提供更卓越的技術、開拓更廣闊的天地、開創更美好的未來。謝謝大家！