SAM 2

Meta图像分割模型

图像 Meta 图像分割

图像工具 1 年前 7222 540 0

Meta Segment Anything Model 2（SAM 2）是 Meta 推出的下一代对象分割模型，它支持视频和图像中的对象分割。

SAM 2 的主要特点和优势包括：

统一模型：是首个能在图像和视频中进行实时、可提示对象分割的统一模型。
性能提升：图像分割精度超越以往，视频分割性能优于现有工作，交互时间减少了三倍。
零样本泛化能力：能够分割任何视频或图像中的对象，包括以前未见过的对象和视觉域，无需进行自定义调整。
快速推理：使用时感觉几乎是实时的，大约每秒 44 帧。
数据支持：Meta 为训练 SAM 2 构建了 SA-V 数据集，这是迄今为止最大的数据集，包含约 5.1 万个视频和 64.3 万个时空分割掩码，收集了来自 47 个国家/地区真实世界场景的视频，其标注涵盖整个物体、部分物体、物体被遮挡、消失和重新出现等挑战性实例。
广泛应用：其输出可与生成式视频模型结合以创建新的视频效果和创意应用；能加快视觉数据标注工具的开发，用于训练更好的计算机视觉系统；还可在许多需要实时反馈的应用场景中发挥作用，如自动驾驶、医学、视频拍摄剪辑、监控等。
开放科学：Meta 以 Apache 2.0 许可发布了 SAM 2，允许任何人使用它来构建体验；以 CC BY 4.0 许可共享了用于构建 SAM 2 的 SA-V 数据集；并发布了基于网络的演示体验，供用户试用模型的一个版本。