Sign in

Member Benefits

Get Demands

View Business Cards

Exclusive Service

Noble Identity

AS LOW AS 1.5U /DAY

Meta釋出可用來分割影片物件的Segment Anything Model 2

Share

支付動態

2024-07-30

Meta強調SAM 2模型可以分割圖像或影片中的任何物件,還能即時於影片中的所有畫面追蹤該物件

/Meta

要成功分割影片中的物件,需要了解實體於空間與時間中的位置,相較於圖像中的物件分割,影片中的物件移動、變形、遮擋、照明變化或其它因素,都可能在不同的畫面之間發生重大變化,再加上影片品質通常低於圖像,更增加了難度。於是Meta藉由建立新的影片物件分割資料集(SA-V Dataset)來訓練SAM 2。

/Meta

SA-V Dataset包含了5.1萬個真實世界的影片,以及超過60萬個時空掩碼(Masklet),Masklet標註了物件於畫面中出現的時間點與位置。相較於坊間最大的影片分割資料集,SA-V Dataset的影片數量是它的4.5倍,標註數量則是53倍。

自釋出圖像物件分割模型SAM以來,除了Meta的內部應用外,SAM已被應用在海洋科學中以分割聲納圖像或分析珊瑚礁,亦已被應用在救災的衛星圖像分析,以及醫療領域上的細胞圖像分割,並協助檢測皮膚癌。Meta更預期可同時分割影像及影片物件的SAM 2可望被用在自動駕駛系統,追蹤瀕臨絕種的動物,或是應用在醫療領域的腹腔攝影鏡頭上,相信它有更廣泛的可能性。

SAM 2程式碼及權重採用Apache 2.0開源授權,SAM 2評估程式碼則採用BSD-3開源授權,而SA-V Dataset亦透過CC BY 4.0授權與外界共享。使用者可透過SAM 2的展示網站理解它的能力。

Disclaimer:
Details
HUIDU.io

GROWTH DRIVEN GLOBAL PTE. LTD. 202618650K

101 THOMSON ROAD, #28-03A, UNITED SQUARE, SINGAPORE 307591

Copyright 2026 HuiDu