Sign in

Member Benefits

Get Demands

View Business Cards

Exclusive Service

Noble Identity

AS LOW AS 1.5U /DAY

Amazon SageMaker新增模型推論結果串流功能,可提升AI應用回應性

Share

流量营销

2023-09-05

AWS於Amazon SageMaker中新增回應串流功能,能即時串流模型推論結果至客戶端,增進應用效能,提供流暢的對話體驗

AWS在機器學習服務Amazon SageMaker添加回應串流(Response Streaming)新功能,用戶現在可以將模型推論結果串流傳輸至客戶端,在回應生成時立即開始串流傳輸回應,不必等待回應完全生成,而這將可加速生成式人工智慧應用程式收到第一個位元組的時間。

過去用戶發送查詢,需要等待回應完全生成完畢,才能夠收到答案,是以批次作業的方式進行,但是這可能會需要數秒或是更長的時間,官方提到,這樣的形式降低了應用程式的效能。透過應用回應串流功能,應用程式可以更快地產生回應,在用戶看到初始回應時,人工智慧可以繼續在後臺完成處理其解答,聊天機器可以更迅速發送生成結果,如此便能夠創建無縫地對話流程,讓終端使用者獲得流暢的對話體驗。

要從SageMaker擷取串流回應,用戶需要使用新的InvokeEndpointWithResponseStream API,應用程式將可以更快地收到第一個回應位元組,使用者會明顯有感覺延遲降低,AWS提到,在人工智慧應用程式中,立即處理的價值比獲得整個完整有效負載更重要,而且更能創建有黏著度的對話,藉由實現互動的連續性創建更好的用戶體驗。

包括文字和圖形形式的結果,都可以運用串流式回應,也就是說在SageMaker端點所託管的Falcon、Llama 2和Stable Diffusion等模型,都能夠將模型推論結果以串流的形式回傳。官方深入解釋,SageMaker即時端點回應串流是透過HTTP 1.1區塊編碼實作而成,也就是説資料會被分成多個區塊(Chunked)傳輸,而非一次性傳送整個資料,伺服器可以在生成內容的同時立刻開始傳輸,不必等待所有內容都準備好。

要使用這項新功能,用戶需要擁有AWS IAM(Identity and Access Management)角色帳戶,並具備管理部分解決方案資源的權限,除了網頁機器學習開發環境Amazon SageMaker Studio,用戶也需要請求相對應SageMaker託管執行個體的服務配額。




o游戏需求资源高效对接 o精准触达游戏供应商 o免费发布业务需求

欢迎加入 Huidu.io出海遊戲項目交流社區:@HUIDU_SQ

商务合作: @HDDanny @HDYoyi  @HDseven777 

会员充值: @HDFreya  @HDmax933 @HDElira

媒体合作: @HDmax933  @Huidu852

Disclaimer:
浏览使用本站时请注意核实信息的准确性或完整性,由于网站信息的非可用性造成的损害,灰度(www.huidu.io)绝不会对任何性质的损失承担责任。任何机构或者个人不得以任何方式修改或非法使用本站内容。此外,您同意不假冒任何个人或实体、不虚假声明或谎称与任何个人或实体之间的关系。灰度(www.huidu.io)可自主决定终止
Details

Please Play Responsibly:

Casino Games Disclosure: Select casinos are licensed by the Malta Gaming Authority. 18+