Meta开源新一代”SAM2”视频分割新技术

10 个月前 语音视觉 111

Meta刚在SIGGRAPH上推出了其 “分割一切AI” 的第二代——SAM2,不仅能实时处理任意长度的视频,连视频中从未见过的物体也能轻松分割追踪。

更重要的是,Meta决定开源SAM2的代码、权重和数据集,这意味着任何人都可以免费使用这项前沿技术。

SAM2的核心升级包括支持任意长视频的实时分割、零镜头泛化、分割和追踪准确性的提升,以及遮挡问题的解决。

此外,SAM2通过引入流式记忆机制,大大提升了视频分割的准确性和效率。

而且,自家数据集SA-V的规模远超过当前最大同类数据集,有51000个真实世界视频和超过600000个时空掩码。

这次开源,无疑将推动视频分割技术以及相关应用领域的快速发展。

相关资讯