隨著 Gemini 的發布,Google 也開放 Gemini Pro 給開發者運用,並帶來了生成式 AI 垂直整合的技術堆疊(technology stack),其中建於 Gemini 模型之上的應用有:Google AI Studio、Vertex AI 以及 Duet AI。
更多關於 Gemini 介紹:Google 壓箱寶 AI 模型「Gemini」降臨!30 項評分直接超越 GPT-4V
Google AI Studio
Google AI Studio 是開發者要使用 Gemini 建構應用最快的方式,以瀏覽器就能登入 Google AI Studio,可加以選擇要使用的模型,包括 Gemini Pro 和 Gemini Pro Vision,後者較為合適一併處理影像和文字輸入。
在 Google AI Studio 中輸入文字加上圖像指令,待 Gemini 回應後,再取得 API key 和程式碼,就可進一步移動至自己的整合開發環境中繼續開發。
Vertex AI
如果想使用更完整管理的 AI 平台,可從 Google AI Studio 移動至企業用 AI 平台「Vertex AI」。
Vertex AI 的功能包括「模型園地」,有各式第一方、第三方和開放原始碼的模型供選擇,數量超過 130 個,也含 Gemini Pro、Imagen 2。其中 Imagen 2 現在可生成有文字、logo 的圖像。
Vertex AI 涵蓋的功能包括:
微調模型
用戶能藉由 Vertex AI 提供的功能對模型進行微調,像是「Adapter tuning」以特定參數來微調模型、「逐步蒸餾法」(step-by-step distillation),讓擁有完整能力的大型語言模型創作出規模較小的專用模型等。
同時,Vertex AI 也能確保模型取得最新的資料,透過檢索增強生成的架構(Retrieval-Augmented Generation, RAG),讓用戶能以自家或外部的增強 Gemini 給出的回答。
延伸 Gemini 能力
「擴充功能」能串聯起模型和外部應用或,可加以擷取即時資訊和觸發動作;「函數呼叫」將 Gemini 的輸出餵給函數或 API,再進一步提升模型輸出的品質;「Orchestration 架構」 連結起各式模型,共同給出品質最高的回應。
到了部署模型的階段,Vertex AI 能助開發者掌握模型輸出的品質,也能比較兩款以不同方式微調的模型,進行類似 A/B 測試的評估。
Vertex AI 使用方式與 Google AI Studio 一樣使用指令即可,但可將模型的輸出微調成各種風格,同時也支援 38 種語言。
搜尋與對話
另外,Vertex AI 也有「搜尋與對話」功能,讓企業以 no-code 打造基於自家數據的搜尋和通訊應用,在搜尋方面 Vertex AI 具備「Blended Search」能力,可在一項查詢中結合不同數據種類,包括 圖像、影片等;對話上則是能用接近人聲的聲音和文字來互動,並涵蓋多個對話渠道。在 2024 年稍早就能使用 Gemini 驅動搜尋和對話。
Duet AI
除了開發者端,Gemini 的多模態能力也將在 2024 年初來到 Google Workspace 中,之後在 Google 簡報中就能請助手 Duet AI 將一幅手繪圖變成更具象化的,也能整理 Google Meet 會議中的簡報、語音和文字等各式型態的內容。
Duet AI 也同樣能協助使用 Google 雲端之開發者的工作流程,又稱為「Duet AI for Developers」,能生成程式碼、程式碼重構,進行單元測試,也能解釋程式碼方便其他協作者理解等,且開發者在自己最熟悉的環境就能享 Duet AI 的協助,像是 Visual Studio Code 等。
Duet AI 的一大特點在於可用自家的程式碼和架構來客製化,AI 也會確保建議的程式碼符合公司制定的格式和規範。
:Sisley
快加入 INSIDE Google News 按下追蹤,給你最新、最 IN 的科技新聞!