利用LoRA架構,蘋果智慧可以使用同一套裝置端LLM模型,來搭配各種不同用途的轉接模型,蘋果目前已經訓練出了語言生成模型的多種轉接模型,像是摘要模型,校對模型、郵件回覆模型、查詢處理模型、友善回應模型、緊急回應模型等,在圖片生成也有許多不同用途的專用模型。/蘋果
轉接模型只有數MB,用記憶體快取就能快速切換不同模型
因為裝置端像是手機、平板的記憶體有限,蘋果指出,這個大小的轉接模型,就可以動態使用記憶體來快取,切換不同的轉接模型。等於只需要載入一份LLM,可以針對不同任務需求,快速切換不用用途的轉接模型,就可以讓GAI具備不同用途的專門能力,就可以更有效的管理記憶體,也能確保在裝置上的回應速度夠快。
採取LoRA有兩大好處,一是在模型預訓練階段,因為主要針對轉接模型進行微調,可以大幅減少需要訓練的參數量,很容易可以訓練出因應不同用途的轉接模型,例如用翻譯用轉接模型、內容摘要用轉接模型等。只需要使用不同用途的訓練資料,就能微調出適合不同任務的專用轉接模型,而不用每次都花時間和算力來微調大型語言模型。
另一個好處是,一個大型大型語言模型,可以搭配使用不同的轉接模型,換了一個轉接模型,就能擁有這個轉接模型所微調後的效果,例如換上「內容摘要用轉接模型」,就能提高LLM摘要內容的能力和品質,甚至,可以串接多個轉接模型來疊加效果。
若用專業相機的鏡頭來比喻LLM模型,不同鏡頭可以提供不同的功能,但是轉接模型就像是鏡頭的濾鏡,一個鏡頭可以搭配不同功能的濾鏡,不用每次都切換笨重的鏡頭,也能單靠快速更換濾鏡,就能拍出不同風格效果的照片,一個鏡頭還能搭配多個濾鏡,來呈現複合的效果。
利用LoRA架構,蘋果智慧可以使用同一套裝置端LLM模型,來搭配各種不同用途的轉接模型,蘋果目前已經訓練出了語言生成模型的各種轉接模型,像是摘要模型,校對模型、郵件回覆模型、查詢處理模型、友善回應模型、緊急回應模型等,在圖片生成也有許多不同用途的專用模型。
可以用不同專門模型,指揮第三方App來執行特定任務
蘋果將蘋果智慧的功能,高度整合到系統元件中,不同功能用途的元件可以使用對應功能的專用轉接模型,來提高執行特定任務的能力。
蘋果新增的個人脈絡能力,像是語意索引、螢幕文字理解,將使用者當下的畫麵,或與一項行動所需的相關個人化資訊,也可以用來分辨,裝置端LLM模型可以搭配使用哪些轉接模型來強化,符合個人化脈絡操作需要的能力,更可以搭配蘋果的App意圖框架,根據不同的App意圖,切換適合這項意圖的轉接模型。
早在2年前的WWDC 2022,蘋果就發表了可讓Siri控制的App意圖,能讓使用者用語音指揮Siri來控制某些App的內部行為,更可以透過蘋果OS中的捷徑功能,組合不同App的行動,打造出一隻自動化RPA程式一樣,後來發展成了現在App意圖框架,到了今年WWDC,App意圖是整個系統可以用的基礎功能,任何第三方App,都可使用App意圖框架,將App內部的核心功能,定義成可以供Siri、Spotlight搜尋或是捷徑可以操作的App意圖。過去幾年已有不少第三方App,自定出了數百項App意圖,都成了Siri可以指揮的行動,讓蘋果智慧呼叫這些第三方App,來完成不同用途的功能。
不只如此,過去幾年,蘋果不斷強化裝置端的隱私機制,盡可能讓用戶擁有更大的資料自主權,從2021年上路的ATT(App Tracking Transparency,ATT)政策,可拒絕廣告識別碼,來避免跨App追蹤,可隱藏真實Email的Hide My Email功能,可隱藏用戶IP的Private relay,更容易開關的精細權限控管、揭露度更高的App隱私報告。今年更新增了App層級的隱私控制,可以將一隻App所用的資料上鎖,沒有解鎖,就無法看到這隻App所用的任何資料。這就讓使用者對裝置端上的App,有更高的資料主控權,也能讓各種裝置端AI代理,更安全、在授權下,完成各項App意圖所驅動的行動。
蘋果採用LoRA架構和種種模型優化技術,讓裝置端的LLM,可以快速切換搭配不同的專用轉接模型,來提供不同任務需要,更專門的GAI能力,還能用來判讀,使用者下達的指令背後的意圖,可以使用哪些第三方App能支援的行動來滿足使用者的需求,這就像是一個以使用者名義來採取各種行動的AI代理,而且蘋果智慧的AI代理,還可以只靠裝置端LLM,就能完成大部分日常活動需要的任務。
蘋果在WWDC主題演講中,一點都沒有提過「AI代理」這個字,這個今年各大科技巨頭強打的GAI新主流,但是,採取LoRA架構來實現超強裝置端LLM的蘋果智慧,早已展開了各項AI代理基礎工程的佈局。
相關報導 【蘋果私有AI戰略關鍵2】用5大安全設計落實隱私3準則,打造高度私有的雲地混合架構