說到AI，大家也許會想到Google、Facebook、Amazon這些玩家。畢竟，他們有AI明星，有數據，而且又比較高調。相比之下，蘋果似乎站在反面，最早被認為是AI代表的Siri還成為大家取笑的對象。但實際情況果真如此嗎？Samuel Axon採訪了蘋果AI的負責人John Giannandrea，也許你會發現，蘋果的AI之路其實也不簡單。
機器學習（ML）和人工智慧（AI）現在已經滲透到iPhone幾乎所有的功能裡面，但是跟其他競爭對手不一樣的是，蘋果並未吹捧這些技術。出於想多了解蘋果做法的考慮，我花了一個小時的時間對蘋果的兩名高級主管進行訪談，討論該公司的戰略，以及所有基於AI和ML的新功能對隱私的影響。
從歷史上看，蘋果公司並沒有在這一領域領先的公眾聲譽。部分原因是大家會把AI跟數位助理關聯在一起，而評論的人經常說Siri的作用比不上Google Assistant或Amazon Alexa。至於ML，很多技術愛好者認為，數據更多意味著模型更好，但是蘋果並不像Google那樣，有著愛收集數據的「名聲」。
儘管如此，蘋果仍為自己的大多數設備配備了用於處理機器學習任務的專用硬體。機器智慧驅動的功能越來越多地成為蘋果高級主管為iPhone，iPad或Apple Watch推出的新功能站台的主旨演講的焦點。今年下半年，引入蘋果晶片的Macs也將為該公司的筆記型電腦和桌上型電腦帶來許多相同的機器智慧型技術。
在蘋果發布晶片之後，我跟蘋果負責機器學習及AI戰略的高級副總裁John Giannandrea以及產品行銷副總裁Bob Borchers進行了深入交流。他們闡述了蘋果公司的AI哲學，解釋了機器學習是如何驅動其特定功能的，並熱情洋溢地介紹了蘋果的設備內建AI / ML戰略。
蘋果的AI戰略是什麼？
Giannandrea和Borchers都是在最近幾年加盟蘋果的。這兩人以前都在Google待過。不過Borchers其實是二進宮。在2009年之前，他一直擔任著iPhone的市場行銷高級總監。2018年Giannandrea從Google叛逃到蘋果這件事曾被媒體廣泛報導，因為他的位置——曾是Google的AI和搜尋主管。
Googe和蘋果是截然不同的兩家家公司。Google因為參與，並且在某些情況下領導了AI研究社群而享有聲譽，而蘋果在過去大部分的工作都是秘密進行的。近年來，這種情況已經有所變化，因為機器學習為Apple設備的眾多功能提供了強大動力，並且Apple增加了與AI社群的互動。
Giannandrea（同事喜歡叫他「JG」）告訴我說：「我加入蘋果的時候已經是iPad的使用者了，而且我也很喜歡Pencil。所以，我找到軟體團隊，問他們『負責手寫的機器學習團隊在哪兒呢？』結果卻找不到。」 實際上，他想找的團隊並不存在——鑑於機器學習是當今適用該功能的最佳工具之一，這一點令他感到驚訝。
他說：「我知道到，其實有很多的機器學習是蘋果應該做的，但令人驚訝的是，蘋果並沒有把那些都做了。不過，在過去的兩到三年時間裡，情況已經發生了巨大變化。說實話，我真的認為在未來幾年之內，iOS或蘋果體驗的各個方面都會被機器學習所變革。」
我問Giannandrea為什麼他認為蘋果對他來說是個合適的地方。他的回答同時也是該公司AI戰略的簡要概括：
我認為蘋果一直都代表著創造力與技術的交匯。而且我覺得，在考慮開發智慧體驗的時候，進行從app到框架乃至於晶片的垂直整合至關重要……我認為這需要一個過程，但這就是我們的運算設備的未來，就是設備變得更智慧化了，但是是那種潛移默化的智慧。
Borchers對此也表示贊同，並補充說：「這顯然就是我們的做法，我們所做的一切都是『讓我們把焦點放在好處是什麼方面，而不是怎麼實現的。』在最好的情況下，一切都變成了自動的。你看不見它……只關注發生了什麼，而不是它是怎麼發生的。」
再以手寫為例，Giannandrea認為蘋果在開發機器智慧驅動的功能和產品方面處於「行業領導」的位置：
Pencil是我們做的，iPad是我們做的，我們還為這兩個做了軟體。這是把工作做得非常非常好的一個獨特機會。我們在什麼地方做得特別好呢？讓大家做筆記，在數位化的紙上發揮他們的創造力上面。我感興趣的是，看到這些體驗在世界範圍內得到大規模的使用。
他把這個跟Google進行了對比。他說：「Google是一家了不起的公司，並且有很多非常出色的技術專家。但是從根本上說，他們的商業模式是不同的，而且他們出名的不是提供數億人使用的消費者體驗。」
今天的蘋果是如何運用機器學習的？
蘋果在最近的行銷示範裡面已經習慣於把iPhone、Apple Watch或iPad的某些功能的改善歸功到機器學習身上，但他們的介紹很少會涉及到太多的細節，而且大多數購買iPhone的人基本都沒看過這些示範。這與把人工智慧作為面向消費者宣傳的中心的Google形成了鮮明對比。
蘋果的軟體和設備大量使用機器學習，其中大多數都是在過去幾年的時間裡才出現的。
機器學習用來幫助iPad的軟體區分使用者在用Apple Pencil畫圖的時候，究竟是有意按壓提供輸入，還是不小心將手掌壓到了螢幕上。機器學習還被用來觀察使用者的使用習慣，進而最佳化設備的電池續航時間以及充電，既可以用來改善使用者在兩次充電之間的使用時間，又可以用來保護電池的長期使用壽命。它還用於提供app推薦。
然後就是Siri，也許任何一位iPhone使用者都會馬上把它看成是人工智慧。從語音辨識到提供有用答案的嘗試，Siri的各個方面均由機器學習驅動。
嫻熟的iPhone機主可能已經注意到，蘋果的「照片」APP能夠自動把圖片分類到預設的圖庫裡面，或者當你在搜尋框輸入朋友Jane的名字時，就能夠準確地把她的照片呈現在你眼前。
在其他一些情況下，很少會有使用者會意識到背後有機器學習正在發揮作用。比方說，每次你按下快門鍵的時候，其實iPhone可能會快速連續拍攝多張照片。然後，經過ML訓練的演算法會分析每一張圖像，並把它認為是每張圖像裡面最好的部分提取出來然後合成為一張照片。
手機很早就內建了用於（數位化的、即時的）改善照片品質的圖像訊號處理器（ISP），但2018年蘋果讓iPhone裡面的ISP跟Neural Engine（該公司最近新增的聚焦機器學習的處理器）進行結合來加快這一進程。
我請Giannandrea列舉一些蘋果在自家的最新軟體和產品裡面利用機器學習的不同方式。他舉了這麼一些例子：
- 機器學習提供了很多的新體驗。比方說像語言翻譯、設備的語音指令，或者我們圍繞著健康方面提供的新功能，比方說睡眠和洗手等，以及我們過去發布的有關心臟健康的內容等等。我認為iOS裡面不用到機器學習的地方會越來越少。
- 現在已經很難找在不做出一些預測性工作的情況下提供的體驗。比方說，app預測、鍵盤輸入預測或現代的智慧手機的鏡頭背後都會進行大量的機器學習，以找出所謂的「顯著性」 ，也就是圖像當中最重要的部分是什麼？或者，如果你想對背景進行模糊處理，則說明你正在使用人像模式。
- 所有這些都受益於蘋果核心平台內建的核心機器學習功能。所以，這幾乎就相當於讓你「找出我們不使用機器學習的地方」一樣，很難。
Borchers還把便利性功能當作了一個重要例子。他說：「從根本上來說，便利性之所以成為可能就是因為這個。像聲音檢測這種對於特定社群來說屬於改變遊戲規則的能力之所以成為是可能，因為我們慢慢積累的投資以及內建的能力使然。」
此外，你可能已經注意到，過去幾年裡蘋果的軟體和硬體更新都強調了擴增實境功能。這些功能大多數也是因為機器學習才有可能實現。Giannandrea說：
「擴增實境裡面大量使用了機器學習。所謂的SLAM，也就是即時定位與地圖構建，是個棘手的問題。不妨試著了解一下，如果你的iPad上裝了光學雷達掃描器，然後你帶著它四處走動的話，它會看到什麼？然後再要去構建一個它實際看到的3D模型。
現在使用深度學習的時候你得能夠在設備進行深度學習，因為你希望這可以即時進行。如果你帶著iPad到處逛，然後可能又不得不跑到數據中心進行深度學習的話，那就沒什麼意義了。因此，總的來說，我想說的是，我覺得深度學習尤其賦予了我們將裸數據變成語義化的能力。」
蘋果正在不斷將機器學習放到設備本地側進行，在類似Apple Neural Engine（ANE）的硬體上，或者在該公司定制的GPU（圖形處理單元）上執行機器學習任務。Giannandrea和Borchers認為，這種做法使得蘋果的戰略在競爭對手中脫穎而出。
為什麼要在設備進行機器學習？
在交談中，Giannandrea和Borchers均強調，之前看過的功能之所以有實現的可能，是因為所有工作都是在設備本地完成的。
有一種常見的說法是，機器學習可以歸結為這個：更多數據意味著更好的模型，這反過來又意味著可提供更好的使用者體驗和產品。這就是觀察者往往認為Google、Amazon或者Facebook也許是AI統治者的原因之一。這些公司管理著龐大的數據收集引擎，部分是因為是它們運營著在全球範圍內已經成為重要的數位基礎設施的東西，而且對裡面的東西具有完全的可見性。按照這種觀點來看的話，有些人會認為蘋果的表現差強人意，因為蘋果的商業模式不同，而且公開承諾要對數據收集進行限制。
我把這個觀點向Giannandrea提出來時，他並沒有避而不談：
是，這種位於數據中心的更大規模的模型多少要準確些的看法我可以理解，但那實際上是錯誤的。其實從技術上講也是錯誤的。最好是在靠近數據的地方去跑模型，而不是到處去移動數據。不管是位置數據（比方說你在做什麼）還是運動數據（比方說手機裡面的的加速計在做什麼），最好離數據源很近，這樣也可以保護隱私。
Borchers和Giannandrea均反復指出，在數據中心進行這項工作對隱私是有影響的，但是Giannandrea說在本地處理也與性能有關。
他說：「還有一點很重要，那就是延遲。如果你要向數據中心傳輸內容，想要以以影格速率來做這件事其實是非常困難的。所以，我們在應用程式商店裡面有很多app在做這樣一些事情，比方說姿勢估計，比方說弄清楚人的走動情況，以及比方說確定他們胳膊大腿在哪裡。這些都我們提供的高級API。基本上，只有在你可以用影格速率完成這些人物時才有用。」
他還提供了另一個消費者用例的例子：
假設你正在拍照，其實你在使用鏡頭拍照之前的時候，鏡頭就可以即時看到一切。它可以幫助你確定在什麼時候拍攝照片。如果這個決定要由伺服器端做出的話，那就得把每一格都傳給伺服器，才能決定怎麼拍照片。這就沒有任何意義了，對吧？所以說，有很多體驗是你希望在邊緣設備完成的。
當被問及蘋果是怎麼選擇在什麼時候在設備做某件事情時，Giannandrea的回答很簡單：「只要在設備做的品質達到或超過在伺服器端做，我們就選擇在設備去做。」
此外，兩位蘋果高級主管都認為蘋果的定制晶片（尤其是自iPhone 8和iPhone X以來iPhone內建的包含的ANE晶片）是設備處理的前提條件。Neural Engine是蘋果設計的八核神經網路處理單元（NPU），用於處理某些類型的機器學習任務。
Giannandrea說：「整個過程經歷了好幾年的時間，因為五年前在邊緣層還沒有硬體可以做到這一點。ANE的設計是完全可擴展的。iPad的ANE比手機的ANE要大，後者又要比Apple Watch裡面的ANE要大，但是我們所有產品線的app以及開發者的app基本上都是採用同樣的的CoreML API層。」
蘋果公開談論Neural Engine的時候，該公司曾分享過它的性能數據，比方說2018年的A12晶片支持每秒5萬億次的操作。但蘋果還沒有對這種晶片的架構進行過具體說明。這根本就是蘋果示範幻燈片的一個黑盒子。
鑑於此，我想知道Giannandrea能不能透露一點Neural Engine在引擎蓋之下的工作方式，但他拒絕透露更多細節，而是轉移話題。他說app開發者可以透過CoreML（CoreML是一種軟體開發API，可為開發人員提供存取iPhone的機器學習功能的權限）收集到自己需要了解的一切訊息。
「CoreML開發人員API非常清晰地概括了我們所支援的機器學習模型以及運行時模型的種類……我們支援的內核種類也越來越多。而且你可以利用任何流行的機器學習框架（比方說PyTorch或TensorFlow），然後編譯出你的模型，再交給CoreML。
CoreML的工作是弄清楚去哪裡跑那個模型。也許在ANE上面跑模型是做卻做法，也許在GPU上或者在CPU上跑模型是正確做法。而且我們的CPU還針對機器學習進行了最佳化。」
在整個對話過程中，兩位高級主管完全是將第三方開發人員的app與蘋果自己的app相提並論的。也就是說，他們的戰略不僅僅只是驅動蘋果提供的服務和功能；同時也向大型開發者社群至少開放了部分功能。自2008年應用程式商店推出以來，蘋果就一直在依靠開發者來進行進行創新。該公司經常在更新自己的內部開發的app時藉鑑那些開發者提出的想法。
當然，內建了機器學習晶片的設備並非只有蘋果一家。比方說，三星、華為和高通都在自家的片上系統裡面內建了NPU。Google也向開發人員提供了機器學習API。儘管如此，Google的戰略和商業模式跟蘋果是截然不同的。Android手機在本地無法完成各種各樣的機器學習任務。
有一顆蘋果晶片的Mac
我對Giannandrea和Borchers進行採訪的重點並不是他們不久前在WWDC上的那個重大宣布，也就是即將推出具有蘋果晶片的Mac。但是當我推測蘋果要為Mac設計自己的晶片原因之一可能是要引入Neural Engine時，Borchers說：
「我們會第一次擁有一個通用平台，一個可以支援我們以及我們開發人員想要做的事情的矽片平台……。這種能力會解鎖一些我們能想到的有趣事物，但更重要的是，它會給其他開發人員帶來很多樂趣。」
為了說明蘋果的機器學習工具和硬體在Mac上面是怎麼用的，Giannandrea舉了一個具體的例子：
「我不知道你在國情咨文裡面看沒看過那個示範，但其基本的想法是：對給定影片進行逐格瀏覽，同時進行對象檢測。在我們的晶片上做這件事情要比傳統平台快一個數量級以上。
然後，你可能會說：「呃，看起來挺有趣。可為什麼說這種做法很有用呢？」 不妨想像有個影片編輯器，裡面是有一個搜尋框的，然後你會說：「幫我找出桌上的比薩餅。」 然後它就會跳到相應的影格…...大家會想到要有這樣的體驗。我們非常希望開發人員能夠使用這些框架，然後想出讓我們感到驚喜的用法。」
蘋果在自己的開發者大會上表示，計劃從今年晚些時候開始發售具有自家晶片的Mac。
隱私怎麼辦呢？
在過去幾年的時間裡，隱私一直是蘋果面向使用者的推銷語言的核心。它在主旨演講和市場行銷資料裡面一再提到這個，同時透過iOS提醒大家去使用相關功能，在接受採訪時也經常說這個（本次也是這種情況）。
Giannandrea說：「大家之所以擔心AI，顯然是因為不知道這玩意兒是什麼。他們認為它比看起來更強大，或者他們會用那種科幻的視角看待AI，而且像比爾·蓋茲和伊隆·馬斯克這樣有影響力的人都認為AI是一種危險的技術。」
他認為，其他的大型科技公司對AI的炒作是消極的，而不是積極的，因為那些公司的行銷導致「大家擔心這項技術」。
「AI」這個術語也許沒起到什麼幫助的作用。這只會讓人想到流行文化裡被創造出來的惡棍，比方說Skynet或HAL9000。但是大多數應用人工智慧的專家會告訴你，這種陰暗的結局遠非現實。機器學習驅動的技術是存在很多的風險（比方說，繼承和放大了人類的偏見），但是AI變成無賴流氓以及會暴力攻擊人類這種情況似乎不大可能在不久的將來出現。
機器學習實際上並沒有讓機器變得像人類一樣智慧。由於這樣或者那樣的原因，許多AI專家（包括Giannandrea在內）提出了類似「機器智慧」之類的替代性術語，用來表明那種智慧跟人類的智慧並沒有什麼相似之處。
不管採用哪種命名方式，機器學習都可能帶來非常現實的危險：對使用者隱私的破壞。一些公司會以機器學習和訓練為名義，不斷地從使用者那裡收集個人數據並將其上傳到數據中心。
就像前面所指出那樣，此類收集和處理蘋果是大量在使用者設備本地進行的。Giannandrea明確表示，該決定是跟隱私權問題關聯在一起的。他說：「我認為我們對此持非常明確的立場，那就是我們會在盡可能的情況下在你的設備上部署這種先進的機器學習技術，數據不會離開你的設備。對於為什麼我們認為我們的設備更安全或更好或者更值得信賴，我們有一個非常明確的聲明。」
他用文字轉語音作為體現這一哲學的具體行動示例：
「比方說假設你說「把Bob發過來的郵件念給我聽」。這種從文本到語音的合成就會在設備進行，由Neural Engine（Neural Engine + CPU的組合）負責。所以，我們永遠也看不到Bob發出的消息內容，因為讀取郵件的是你的手機而不是伺服器。也就是說，郵件的內容永遠都不會傳給伺服器...
這可以說是一個很好的例子，說先進技術既可以改善使用者效能——因為語音是在設備合成的，所以哪怕連接斷開，語音合成仍然可以工作，但同時還有保護隱私方面的作用。其實要做到這一點是非常困難的。要在可以放進口袋的設備上合進行高品質的[文本到語音]的合成，需要付出大量艱苦的工程努力。」
當然，在很多情況下，你得利用部分使用者數據進行機器學習。那麼，蘋果究竟是怎麼利用那些進行處理的使用者數據呢？Giannandrea解釋說：
「一般而言，我們會有兩種建模的方式。一種是在哪裡收集數據並打標籤就在哪裡建模，很多時候都是這種情況。在某些情況下，我們會讓使用者捐獻自己的數據。最著名的例子就是Siri，當你安裝iPhone的時候，我們會問：「你能不能幫助我們改善Siri？」
在這種情況下，使用者會將一定數量的數據捐贈給我們，然後其中很小一部分會用來進行訓練。但是，我們這裡討論的很多很多東西（比方說手寫），我們是可以收集到足夠的數據來對模型進行訓練的，那樣的模型基本上只需要利用每個人的手寫數據即可，根本不需要利用任何其他消費者的數據。」
最近已加入了一些要求使用你的數據的提示。去年夏天，一份報告表明Siri被意外啟動後正在記錄使用者的講話；而負責Siri功能品保障品質證的承包商也會收聽一些錄音。
作為回應，蘋果承諾，在使用者明確選擇共享錄音選項（在iOS 13.2推出）來幫助改進Siri之後，自己只會儲存與Siri相關的音訊，然後會在內部完成所有的保障品質工作。我問蘋果在數據處理方面做法與承包商相比有何不同。Giannandrea回答說：
「我們有很多保障措施。比方說，我們有一套流程來辨識音訊是否給語音助理使用的，而這個流程跟審核音訊的流程是完全分開的。所以說，我們在內部做了很多事情來確保我們沒有捕捉然後丟棄任何不應該記錄的音訊。
但是，如果你不願意做保障品質（功能改進）的話，那個你永遠也沒法得到改善。正如你所知道的，機器學習得由你不斷去加以改進。為此，在把保障品質工作放回內部做之後，我們還對工作流和流程進行了全面改革。我們有著改進助理的最好流程之一，而且是在保護隱私的前提下，對此我非常有信心。」
顯然，蘋果正在尋求把隱私保護作為自家設備的一項關鍵功能。對於Giannandrea來說，他是真心相信這一點的。但這也可以幫助蘋果發展市場，因為在行動領域，蘋果的最大競爭對手在隱私方面的記錄要差得多，而且隨著使用者越來越關注人工智慧對隱私的影響，這讓蘋果有了蠶食對方市場的可能性。
在整個訪談過程中，Giannandrea和Borchers均強調了蘋果戰略的兩個基本點：1）在本地執行機器學習任務的性能更高； 2）對「隱私保護」（Giannandrea反復強調這個）更好。
黑箱的內部
蘋果在過去很長一段時間內基本上都是暗地裡在進行AI功能的開發工作，不過在最近幾年，蘋果對機器學習的重視力度已經有了極大的提高。
公司會定期發布消息，還進行學術贊助，獎學金計劃，贊助實驗室，參加AI / ML會議。蘋果最近還重新推出了一個機器學習部落格，在其中分享了自己的一些研究成果。而且蘋果還掀起了招聘狂潮，不斷挖掘機器學習領域的工程師及其他人員，其中就包括兩年前挖來的Giannandrea本人。
還記得Giannandrea前面說過的話嗎？他說自己很驚訝Pensil為什麼沒有利用到機器學習。然後他目睹了實現這一目標的團隊的組建。隨後，他們跟其他團隊一起，做出來靠機器學習驅動的手寫功能，這構成了iPadOS 14的基石。
Gianandrea說：「我們蘋果擁有很多出色的機器學習人才，我們會繼續聘用他們。我發現，蘋果很容易就能吸引到世界一流的人才，因為有一點已經變得越來越明顯，那就是機器學習對於我們想要為使用者打造的產品體驗至關重要。」
稍微停頓一下之後，他又補充說：「我想我面臨的一個最大問題是，我們最雄心勃勃的產品裡面有很多是我們沒法說出去的，所以這稍微會給我們的說服工作製造一些挑戰，『來我們這裡工作吧，我們在做著最雄心勃勃的東西，但是我不能告訴你那是什麼。』」
如果大型科技公司和風險投資可以相信的話，那麼人工智慧和機器學習會在未來幾年變得更加普遍。不管怎樣，Giannandrea和Borchers讓我們清楚了一件事：那就是機器學習現在在蘋果產品當中扮演著重要角色，而且消費者每天都在使用的很多功能都有它的影子。等到今年秋天Mac也使用Neural Engine之後，機器學習在蘋果所扮演的角色也許還會加大份量。
請注意！留言要自負法律責任，相關案例層出不窮，請慎重發文！