Apple於6/10發表Apple Intelligence,這是一款適用於iPhone、iPad和Mac的個人智慧系統,將生成式模型的強大功能與個人情境互相結合,提供極其實用且合乎需求的智慧功能。Apple Intelligence與iOS 18、iPadOS 18和macOS Sequoia深度整合。此功能充分利用Apple晶片的強大實力,從而理解並建立語言和圖片、在各種App中採取動作,並根據個人情境來簡化及加速日常任務處理。透過「Private Cloud Compute」,Apple為AI的隱私性訂定全新標準,而且不管是裝置端處理過程,或在專屬的Apple晶片伺服器上所運行的更大、以伺服器為基礎的模型,皆能靈活展現其運算能力。
Apple執行長Tim Cook表示:「我們很高興能夠開啟Apple研發創新的新篇章。Apple Intelligence將徹底改變用戶使用我們產品的方式,並提升我們產品對玩家們的幫助。我們獨特的技術將生成式AI與玩家們的個人資訊結合,並提供真正有用的智慧技術。它可以透過完全隱私且安全的方式取得資訊,協助玩家們執行最重要的事情。這是只有Apple才能實現的AI技術,而我們迫不及待地想讓玩家們體驗它的能力了。」
▲透過以Apple Intelligence驅動的全新全系統「Writing Tools」,玩家們幾乎在任何書寫之處都可以對文字進行重寫、校對和摘要。
語言理解和創作的全新能力
Apple Intelligence為玩家們開啟強化寫作能力和溝通效率的全新方法。藉由iOS 18、iPadOS 18和macOS Sequoia中新推出的全系統內建「Writing Tools」,玩家們幾乎可以在任何地方進行改寫、校對與文本摘要,包括「郵件」、「備忘錄」、Pages及第三方App。無論是整理課堂筆記、確認部落格文章通順流暢,或是確保電子郵件呈現完美文筆,「Writing Tools」都可以幫助玩家們對自己的寫作更有信心。藉由「Rewrite」,Apple Intelligence讓玩家們能夠從他們所書寫的不同版本當中,挑選最適合受眾和當前任務的語氣。
▲藉由「Summarize」功能,玩家們可選取文字,將內容概括成段落、重點條列、表格或清單。
「Rewrite」可以協助提供適合不同場合的文字,從精心設計的求職信、到充滿幽默感與創意的派對邀請函都可以。「Proofread」功能可以檢查文法、詞彙選擇和句子結構,並提供修改建議和說明,玩家們能校閱或快速接受這些建議。藉由「Summarize」功能,玩家們可選取文字,將內容概括成容易理解的段落、重點條列、表格或清單。
▲「郵件」裡的「Priority Messages」是收件匣置頂的新區塊,會顯示最緊急的電子郵件。電子郵件摘要能讓玩家們不用點開信件就能檢視重點訊息,而針對長串的信件,他們也只須輕點一下,就能瀏覽相關細節。「Smart Reply」可以提供快速回信的建議內容,並能辨識電子郵件中的提問,確定所有問題都有相應的答覆。
▲「Priority Notifications」會將最重要的內容置頂,而摘要功能可以協助玩家們瀏覽冗長或堆疊的通知訊息,並在「鎖定螢幕」上顯示重點資訊;全新的「Reduce Interruptions」專注模式只會顯示可能需要立即處理的通知。
▲玩家們現在可以在「備忘錄」和「電話」App中錄製、轉錄及摘要音訊內容。
用「郵件」處理電子郵件變得前所未有地簡單。「Priority Messages」是收件匣置頂的新區塊,會顯示最緊急的電子郵件,例如當天的晚餐邀請或登機證。在收件匣中,玩家們不再只能預覽電子郵件的前幾行文字,而是無須點開郵件就能檢視摘要。針對長郵件串,玩家們只須輕點,即可查看相關細節。「Smart Reply」可以提供快速回信的建議內容,並能辨識電子郵件中的提問,確定所有問題都有相應的答覆。對語言的深度理解也擴展至「通知」功能。
▲藉由「Summarize」功能,使用者可選取文字,將內容概括成段落、重點條列、表格或清單。
「Priority Notifications」會將最重要的內容顯示在堆疊的頂部,而摘要功能可以協助玩家們瀏覽冗長或堆疊的通知訊息,並在「鎖定螢幕」上顯示重點資訊,當有聊天群組特別活躍時尤其實用。此外,為了幫助玩家們專注於當前的工作,新推出的「Reduce Interruptions」專注模式只會顯示可能需要立即處理的通知,例如幼稚園通知要提早去接小孩的簡訊。玩家們現在可以在「備忘錄」和「電話」App中錄製、轉錄及摘要音訊內容。當通話期間啟動錄音時,參與者會自動收到通知;通話結束後,Apple Intelligence便會產出摘要,幫助玩家們回顧重點資訊。
▲通話結束後,Apple Intelligence便會產出摘要,幫助玩家們回顧重點資訊。
「Image Playground」讓溝通和自我表現變得更有趣
Apple Intelligence提供令人興奮的圖像創作功能,協助玩家們以全新方式溝通、表現自我。透過「Image Playground」,玩家們可以在幾秒鐘內創作出有趣的圖像,並從動畫、插圖或素描等三種風格中進行挑選。「Image Playground」操作簡單,更直接內建在「訊息」等App中。它還可以在指定的APP中使用,非常適合用來嘗試不同的概念及風格。所有圖像都在裝置端生成,讓玩家們可以自由地嘗試各種圖像且不限數量。透過「Image Playground」,玩家們可從主題、服裝、配件和地點等分類裡,挑選一系列概念;輸入描述來定義圖像內容,並從圖庫中挑選某個人,指定他出現在圖像裡,並挑出他們最喜歡的風格。
▲「Image Playground」操作簡單,更直接內建在「訊息」等APP中,能讓玩家們在幾秒內創作出有趣的圖像。
藉由「訊息」中的「Image Playground」體驗,玩家們可以快速為朋友創作有趣的圖像,甚至可以看到與對話有關的個人化建議設計。例如,若玩家們正在與一群朋友討論要去健行時,他們就會看到與朋友、目的地和活動相關的建議概念,使圖像創作更快速且更切題。
▲在「訊息」中,玩家們可以運用「Image Playground」,快速為朋友創作有趣的圖像,並看到與對話有關的個人化建議概念。
在「備忘錄」中,玩家們可以透過Apple Pencil調色板工具中的全新Image Wand功能使用「Image Playground」,使筆記更吸睛。潦草的素描可以變成令人喜愛的圖像,玩家們甚至可以選擇空白背景,並利用周遭環境來創造圖像。在Keynote、「無邊記」和Pages等App,以及採用全新 「Image Playground」 API的第三方App中,皆可使用 「Image Playground」。
創作適合任何時刻的Genmoji
玩家們可以創作原創的Genmoji來表現自我,並將表情符號帶至全新境界。只要簡單地輸入描述,就能產生專屬的Genmoji及其他額外選項。玩家們甚至可以根據照片創作朋友和家人的Genmoji。就像表情符號一樣,Genmoji可以穿插在文字訊息裡、作為貼圖分享,或用作「點按回應」。
▲只要簡單地輸入描述,就能產生專屬的Genmoji及其他額外選項。玩家們可以從他們的相片中挑出某個人,以此創作一個看起來像本人的Genmoji。就像表情符號一樣,Genmoji可以穿插在文字訊息裡。Genmoji也可以用作「點按回應」。
「照片」新功能讓玩家們更具掌控力
透過Apple Intelligence,搜尋照片和影片變得更加便利。玩家們可以自然的語言搜尋特定照片,例如輸入「Maya穿著紮染襯衫滑板」或「臉上貼著貼紙的Katie」。影片搜尋也變得更強大,能夠在片段中找到特定時刻,讓玩家們能夠直接跳到相關段落。此外,新的「Clean Up」可以辨別並移除照片背景中不相干的物品,而不會不小心影響到主體。
▲「照片」裡新的「Clean Up」可以辨別並移除照片背景中不相干的物品,而不會不小心影響到主體。
透過「回憶」,玩家們只需輸入描述,即可創作他們想看的故事。Apple Intelligence將利用語言和圖像理解,根據描述挑選出最適合的照片和影片,接著依據照片中辨別出來的主題,擬定故事情節和章節,並將它們編排成具備獨特劇情發展的影片。玩家們甚至可以從Apple Music中取得與回憶相符的歌曲建議。與所有Apple Intelligence功能一樣,玩家們的照片和影片都保存在裝置上,且不會與Apple或任何其他人共享。
▲在「回憶」功能中,Apple Intelligence可以根據玩家們的描述,挑選出最適合的照片和影片,接著擬定故事情節和章節,並將它們編排成具備獨特劇情發展的影片。
Siri進入全新AI時代
Apple Intelligence使Siri更深度地整合到系統體驗之中。藉由更豐富的語言理解能力,Siri變得更自然、更配合情境,也更加個人化,能夠簡化並加速日常任務的執行。即便玩家們口語不流暢,Siri也能理解並維持指令脈絡依序處理。此外,玩家們還可以對Siri打字,並在文字和語音之間切換,以當下最適合的方式與Siri進行交流。Siri也採用全新設計,運作時螢幕邊緣會發出優雅的光芒。
▲現在玩家們還可以對Siri打字,並在文字和語音之間切換,以當下最適合的方式與Siri進行交流。
Siri現在可以隨時隨地為玩家們提供裝置支援,並回答數千個關於如何操作iPhone、iPad和Mac的問題。玩家們可以學習各種知識,例如在「郵件」APP中排程電子郵件,或如何從淺色模式切換至深色模式。
▲Siri現在可以隨時隨地為玩家們提供裝置支援,並回答數千個關於如何操作iPhone、iPad和Mac的問題。
透過螢幕感知,Siri將能隨時間理解並處理更多App中的玩家們內容。例如,如果朋友在「訊息」中傳來了一個新地址,玩家們可以說:「將這個地址新增到他的聯絡人名片中。」有了Apple Intelligence,Siri將能夠在Apple和第三方App中執行數百項新動作。例如,玩家們可以對Siri說:「從我的『閱讀列表』中找出那篇關於蟬的文章」或「將週六烤肉的照片傳送給Malia 」,Siri就會處理好。
▲Siri現在可以在App中執行數百項新動作,包括在「訊息」和「郵件」中尋找朋友傳送的書籍推薦。
Siri將能提供為玩家們及其裝置端資訊量身定做的智慧能力。例如,玩家們可以對Siri說:「播放Jamie推薦的Podcast 」,Siri就會找到並播放該節目,玩家們甚至不用記得對方是在簡訊或電子郵件中推薦的。或是他們可以問Siri:「媽媽的航班什麼時候降落?」Siri將找出航班資訊,並與即時航班動態交叉比對後,回答航班抵達時間。
▲有了AI加持的Siri,能夠提供為玩家們及其裝置上資訊量身打造的智慧能力,例如確認即將啟程航班的位置資訊或追蹤晚餐訂位情況。
AI隱私新標準
為了提供實質助益,Apple Intelligence仰賴著對於個人資訊的深度瞭解,並同時保護玩家們隱私。Apple Intelligence的技術基石是裝置端處理,在其背後的許多模型都完全於裝置端運作。為了執行更複雜且需要更高處理效能的動作,「私有雲運算」將Apple裝置的隱私和安全性延展至雲端,以解鎖更多智慧技術。藉由「私有雲運算」,Apple Intelligence可以靈活展現其運算能力,並利用更大且以伺服器為基礎的模型來執行更複雜的指令。
這些模型在由Apple晶片提供支援的伺服器上運行,為Apple確保資料永遠不會保留或洩漏奠定基礎。獨立專家可以檢查在Apple晶片伺服器上運行的程式碼以驗證隱私,「 Private Cloud Compute 」以加密方式確保iPhone、iPad和Mac不會與伺服器通訊,除非其軟體已被公開記錄以供檢查。Apple Intelligence與「 Private Cloud Compute 」為AI隱私訂定了全新標準,解鎖更多玩家們可以信任的智慧技術。
▲當玩家們授權時,Siri可以利用ChatGPT上天下地的廣闊知識,直接呈現答案。
ChatGPT與Apple進行跨平台整合
Apple正在將ChatGPT的使用整合進iOS 18、iPadOS 18和macOS Sequoia的體驗中,讓玩家們無須在工具之間切換,即可運用其專業技術,以及圖像與文件的理解能力。若有需要時,Siri可以直接仰賴ChatGPT的專業技術。玩家們的任何提問、文件或照片在被傳送至ChatGPT之前,都將先徵求同意,再由Siri直接回答。
▲此外,ChatGPT將可在Apple的全系統「Writing Tools」中使用,協助使用者撰寫任何文稿。
此外,ChatGPT將可在Apple的全系統「Writing Tools」中使用,協助玩家們撰寫任何文稿。有了「Compose」,玩家們還可以利用ChatGPT的圖像工具來生成各種風格的圖像,以豐富撰寫內容。使用ChatGPT時可享內建隱私保護,玩家們的IP位址會被隱藏,而且OpenAI也不會記錄指令。ChatGPT的資料使用政策適用於選擇連結ChatGPT帳戶的玩家們。
ChatGPT將於今年稍晚在iOS 18、iPadOS 18和macOS Sequoia上推出,並由GPT-4o驅動。玩家們無須建立帳戶即可免費使用,ChatGPT訂閱者則可以連結至他們的帳戶,並直接在系統中使用已付費功能。推出日期Apple Intelligence無須額外付費即可使用。測試版將於今年秋季隨著iOS 18、iPadOS 18和macOS Sequoia一併推出,支援英文(美國)。
▲「Compose」功能還讓玩家們能透過ChatGPT的圖像工具,生成各種風格的圖像,達到與他們的寫作相輔相成的效果。
部分功能、軟體平台和其他語言將在明年陸續推出。Apple Intelligence將在搭載M1及更高階晶片,並且將Siri和裝置語言設定為英文(美國)的iPhone 15 Pro、iPhone 15 Pro Max以及iPad和Mac上提供。
延伸閱讀:
vivo X100 Pro超強蔡司長焦微距攝影手機開箱動手玩
Apple推出M3系列晶片MacBook Pro!14吋MacBook Pro NT$54,900起、新增太空黑色
福特Mustang Mach-E發表上市!不只林襄站台、更香的七代吃油野馬也現身
Google台灣辦公室開箱動手玩