登录

会员权益

获取需求

查看名片

专属客服

尊贵标识

VIP低至1.5U/天

Meta发布可用来分割视频对象的Segment Anything Model 2

分享

支付動態

2024-07-30

Meta强调SAM 2模型可以分割图像或视频中的任何对象,还能即时于视频中的所有画面追踪该对象

/Meta

要成功分割视频中的对象,需要了解实体于空间与时间中的位置,相较于图像中的对象分割,视频中的对象移动、变形、遮挡、照明变化或其它因素,都可能在不同的画面之间发生重大变化,再加上视频品质通常低于图像,更增加了难度。于是Meta借由创建新的视频对象分割数据集(SA-V Dataset)来训练SAM 2。

/Meta

SA-V Dataset包含了5.1万个真实世界的视频,以及超过60万个时空掩码(Masklet),Masklet标注了对象于画面中出现的时间点与位置。相较于坊间最大的视频分割数据集,SA-V Dataset的视频数量是它的4.5倍,标注数量则是53倍。

自发布图像对象分割模型SAM以来,除了Meta的内部应用外,SAM已被应用在海洋科学中以分割声纳图像或分析珊瑚礁,亦已被应用在救灾的卫星图像分析,以及医疗领域上的细胞图像分割,并协助检测皮肤癌。Meta更预期可同时分割影像及视频对象的SAM 2可望被用在自动驾驶系统,追踪濒临绝种的动物,或是应用在医疗领域的腹腔摄影镜头上,相信它有更广泛的可能性。

SAM 2代码及权重采用Apache 2.0开源授权,SAM 2评估代码则采用BSD-3开源授权,而SA-V Dataset亦通过CC BY 4.0授权与外界共享。用户可通过SAM 2的展示网站理解它的能力。

免责声明:
详情

Please Play Responsibly:

Casino Games Disclosure: Select casinos are licensed by the Malta Gaming Authority. 18+