刚做的网站搜全名查不到,网络广告和传统广告的区别,效果图设计费收费标准,商务网站规划建设与管理试卷文章目录 简介关于具体的思路问题描述算法细节 实验结果模型的潜力模型结果 论文链接#xff1a;Visual Prompt Multi-Modal Tracking 开源代码#xff1a;Official implementation of ViPT
简介 这篇文章说了个什么事情呢#xff0c;来咱们先看简单的介绍图 简单来说Visual Prompt Multi-Modal Tracking 开源代码Official implementation of ViPT
简介 这篇文章说了个什么事情呢来咱们先看简单的介绍图 简单来说这篇文章主要干了这么一个事情 以前的多模态呢都是直接提取特征然后拼接到一起。这个文章不一样我把所有的模态分开主次其中只有一个主要模态剩下的都是附加的。这些附加的模态可就不要再提取特征了而是通过他们来提取prompt出来。并且使用这些prompt来帮助我的模型更好的在主要模态上提取特征。除此之外还有一个不一样的点就是在主要模态上提取特征的时候backbone这里叫fundation model的模型参数是不更新的。 OK你已经看完这篇文章了。。当然啦如果还想知道知道更多的技术细节咱们接着往下看。
关于具体的思路 咱们来看第二张图模型的详细介绍 这个图其实画的很好过程非常直观。接下来咱们只需要展开说说其中的细节就可以了
问题描述 首先我们想要得到的是追踪器单模态的方法中假如说叫做 F R G B : { X R G B , B 0 } → B F_{RGB} : \{X_{RGB}, B_0\} \rightarrow B FRGB:{XRGB,B0}→B那么 B B B就是目标的box B 0 B_0 B0就是这个框的初始值 X R G B X_{RGB} XRGB就是需要搜索的帧。那么接下来在多模态的方法中加入了一个啥呢 F R G B : { X R G B , X A , B 0 } → B F_{RGB} : \{X_{RGB}, X_{A},B_0\} \rightarrow B FRGB:{XRGB,XA,B0}→B变成这个样子了。其中这个 A A A代表的就是其他的模态比如说深度图热力图之类的东西。 接下来我们把问题拆成两个部分首先是 f 1 : X R G B , X A , B 0 } → H R G B f_1 : {X_{RGB}, X_{A},B_0\}} \rightarrow H_{RGB} f1:XRGB,XA,B0}→HRGB 。这个部分表示的是特征提取和交互的部分之后我们紧跟 f 2 : H R G B → B f_2 : H_{RGB} \rightarrow B f2:HRGB→B 这个部分也就是最后的预测头。
算法细节 在这里会将一些细节但是也不会那么细。简单来说是这样的
使用类似ViT之类的模型从最初的 X R G B X_{RGB} XRGB得到 H R G B 0 H^0_{RGB} HRGB0接下来就可以进行后续的迭代编码然后的公式其实就很直观了哈咱们紧接上一步接着往下看。首先我们可以知道通过RGB和补充模态A我们可以得到两个初始化的值 H R G B 0 H^0_{RGB} HRGB0和 H A 0 H^0_{A} HA0。接下来 H R G B 0 H^0_{RGB} HRGB0通入我们的解码器或者叫Foundation model而 H R G B 0 H^0_{RGB} HRGB0和 H A 0 H^0_{A} HA0被送到一个叫做MCP (modality-complementaryprompter) 的模块里面这个模块咱们之后细讲。接下来从MCP学到的prompt就被按照这样的方式使用起来了 这个其中的P其实就是我们的promptH就是我们需要送入下一层解码器的输入。那么这个具体怎么得到呢咱们再往下看简单来说MCP就是这个样子 展开来说呢 H 0 H R G B 0 H^0 H^0_{RGB} H0HRGB0 P 0 H A 0 P^0 H^0_{A} P0HA0。然后 P l P^l Pl表示第l个MCP模块这个MCP模块具体长成这样 OK细节基本就是这样再具体的可以去看一下原来的论文。
实验结果
模型的潜力
better adaptability than full fine-tuninga closer association between RGB and RGBauxiliary modality tracking, as well as learning about the modal complementarities其实说白了就是更好的适应性和更好的学习能力
模型结果 OK那么以上就是本篇文章的全部内容了感兴趣的小伙伴可以点击开头的链接阅读原文哦
关于更多的文章请看这里哦文章分享专栏 Paper sharing Blog
