一、Cutie是什么？
Cutie 是一个由 Ho Kei Cheng、Seoung Wug Oh、Brian Price、Joon-Young Lee 和 Alexander Schwing 开发的视频对象分割（VOS）框架，旨在通过对象级别的内存读取提高视频对象分割的效果和效率。该项目的核心思想是利用高级别的对象查询来改进视频中目标对象的表示和分割，与传统的基于像素级别的内存读取方法相比，Cutie 在处理分散因素时表现出更好的鲁棒性和准确性。
Cutie 项目的亮点在于它采用了一种称为 query-based object transformer 的技术，这种技术通过对象查询对高分辨率的像素特征图进行迭代重构和交互，以此实现准确的视频对象分割。该框架还包括了一个前景-背景掩模注意力机制，使得前景对象与背景的语义得到了清晰的分离。在挑战性较高的 MOSE 数据集上，Cutie 相比前作 XMem 在 J&F 指标上提高了 8.7 个百分点，同时保持了类似的运行时间 。
二、Cutie的网站地址：
1、GIthub开源：
https://github.com/hkchengrex/Cutie
三、Cutie的技术原理：
我们提出了 Cutie，一种具有对象级内存读取功能的视频对象分割（VOS）网络，它将内存中的对象表示放回到视频对象分割结果中。最近关于 VOS 的工作采用了自下而上的像素级内存读取，这种方法由于匹配噪声而陷入困境，尤其是在存在干扰因素的情况下，导致在更具挑战性的数据中性能较低。相比之下，Cutie 通过调整一小组对象查询来执行自上而下的对象级内存读取，以便通过基于查询的对象变换器 （qt ，因此Cutie）迭代地与自下而上的像素特征进行重构和交互。对象查询充当目标对象的高级摘要，同时保留高分辨率特征图以进行准确分割。与前景-背景屏蔽注意力一起，Cutie 干净地将前景对象的语义与背景分开。在具有挑战性的 MOSE 数据集上，Cutie 在运行时间相似的情况下比 XMem 提高了 8.7 J&F，在运行速度是 DeAOT 的三倍的情况下比 DeAOT 提高了 4.2 J&F。
1.初识目标：在视频的第一帧（就是视频的第一张图片）里，Cutie 首先找到你想跟踪的物体，并记住它的位置和形状。
2.记忆特点：找到物体后，Cutie 不仅记住了物体的大致轮廓，还会存储物体的详细像素信息。这就像是给物体拍了一张身份证照。
3.新帧识别：当视频继续播放，出现新的画面（或称为“帧”）时，Cutie 会用之前记住的“粗略特征”来快速找到物体。
4.精确定位：找到大致位置后，Cutie 再用之前存储的“详细信息”来精确确认物体的位置和形状。
5.快速准确：因为Cutie 同时使用了粗略特征和详细信息，所以它能在视频中非常快速而准确地找到并跟踪物体。
这样，无论视频里的物体如何移动或变化，Cutie 都能准确地“锁定”它。这在很多场合都非常有用，比如在安全监控、自动驾驶车辆或者医学研究中。
四、整合包
此程序为开源项目，本程序由圈圈整合修改升级，【解压即用】、【无需登录】、【无限使用】、【不限次数】、【离线运行】。软件只要下载到您手上，就可以永久使用。
五、一键启动器
双击【Cutie启动器.exe】，输入视频，然后点开始执行即可。生成的蒙版在程序的workspace目录
● 使用条件
○ 操作系统：Win10、Win11
○ 最低显卡：英伟达显卡（N卡）1660 8G
○ 不需要VS，已经整合完毕，解压即用！！！
○ 不需要VS，已经整合完毕，解压即用！！！
○ 不需要VS，已经整合完毕，解压即用！！！
○ CUDA版本：虽然不需要额外安装CUDA，但要确保你的显卡驱动正常，且驱动版本不能太旧，要求驱动里CUDA版本>=11.8。
扫码免费下载
此处有隐藏内容--请扫描下方二维码查看
© 版权声明
文章版权归作者所有，未经允许请勿转载。
相关文章
暂无评论...