网站空间免费,新品发布会流程策划方案,wordpress谷歌字体 360,电子商务项目设计案例文章目录 定位损失 L l o c L_{loc} Lloc偏移值的计算smooth L1 loss 置信率损失 L c o n f L_{conf} Lconf 最近看看这个古早的目标检测网络#xff0c;看了好多文章#xff0c;感觉对损失函数的部分讲得都是不很清楚得样子#xff0c;所以自己捋一下。
首先#x… 文章目录 定位损失 L l o c L_{loc} Lloc偏移值的计算smooth L1 loss 置信率损失 L c o n f L_{conf} Lconf 最近看看这个古早的目标检测网络看了好多文章感觉对损失函数的部分讲得都是不很清楚得样子所以自己捋一下。
首先SSD 得损失函数由两部分得加权和一部分是定位损失 L l o c L_{loc} Lloc另一部分是分类置信率损失 L c o n f L_{conf} Lconf。公式一般写成 L ( x , c , l , g ) 1 N ( L c o n f ( x , c ) α L l o c ( x , l , g ) ) L(x,c,l,g) \frac{1}{N}\left( L_{conf}(x, c) \alpha L_{loc}(x, l, g) \right) L(x,c,l,g)N1(Lconf(x,c)αLloc(x,l,g))总结来说定位损失 L l o c L_{loc} Lloc 是使用 smooth L1 loss 来计算的而分类置信率损失 L c o n f L_{conf} Lconf 是通过 softmax loss 来计算的。 定位损失 L l o c L_{loc} Lloc
接下来就分开讲讲两部分首先是定位损失 L l o c L_{loc} Lloc 它的公式可以写成 L l o c ( x , l , g ) ∑ i ∈ P o s N ∑ m ∈ { c x , c y , w , h } x i j p ⋅ s m o o t h L 1 ( l i m − g ^ j m ) L_{loc}(x, l, g) \sum_{i \in Pos}^{N} \sum_{m \in \left\{ cx, cy, w, h \right\}} x_{ij}^p \cdot \mathbf{smooth_{L1}}(l_i^m - \hat{g}_j^m) Lloc(x,l,g)i∈Pos∑Nm∈{cx,cy,w,h}∑xijp⋅smoothL1(lim−g^jm)下昂西介绍一下里面的各种参数的含义 i ∈ P o s i \in Pos i∈Pos第一个求和下的 P o s Pos Pos 是一个集合我们知道在训练的时候会根据 IOUSSD 里好像是大于 0.5 对 Default box其实和 anchor 的含义一样与 Ground truth box后面统称 gt box进行匹配如果 第 i i i 个 default box 与 第 j j j 个 gt box 匹配上了那么这个 default box i i i 就会被放入 P o s Pos Pos 的集合中表示 positive也就是被标记成了正样本。 N N N是正样本集合 P o s Pos Pos 的总数表示有 N N N 个 default box 与 gt box 匹配上了。 m ∈ { c x , c y , w , h } m \in \left\{ cx, cy, w, h \right\} m∈{cx,cy,w,h}这四个值是 anchor 的位置参数表示中心点的坐标和 anchor 的尺寸。 x i j p x_{ij}^p xijp可以理解为唯一标识 flag如果 default box i i i 与 gt box j j j 是匹配的gt box 的类别是 p p p则为1否则 0。 l i m l_i^m lim是预测值也就是 bounding box 与 default box 的偏移值不是真实的坐标具体的转换在下面给出。 g ^ j m \hat{g}_j^m g^jm是真实值是 gt box 与 default box 的偏移值。
偏移值的计算
回到前面提到的偏移值如果 default box i i i 的位置参数是 { d i c x , d i c y , d i w , d i h } \{ d_i^{cx}, d_i^{cy}, d_i^{w}, d_i^{h} \} {dicx,dicy,diw,dih}gt box j j j 的位置参数是 { g j c x , g j c y , g j w , g j h } \{ g_j^{cx}, g_j^{cy}, g_j^{w}, g_j^{h} \} {gjcx,gjcy,gjw,gjh}我们就可以算出真实值对应的偏移量 { g ^ j c x , g ^ j c y , g ^ j w , g ^ j h } \{ \hat{g}_j^{cx}, \hat{g}_j^{cy}, \hat{g}_j^{w}, \hat{g}_j^{h} \} {g^jcx,g^jcy,g^jw,g^jh} g ^ j c x ( g j c x − d i c x ) d i w g ^ j w log ( g j w d i w ) g ^ j c y ( g j c y − d i c y ) d i h g ^ j h log ( g j h d i h ) \begin{align*} \hat{g}_j^{cx} \frac{(g_j^{cx} - d_i^{cx})}{d_i^w} \space\space\space\space\space\space\space\space\space \hat{g}_j^{w} \log\left( \frac{g_j^w}{d_i^w} \right)\\ \hat{g}_j^{cy} \frac{ (g_j^{cy} - d_i^{cy})}{d_i^h} \space\space\space\space\space\space\space\space\space \hat{g}_j^{h} \log\left( \frac{g_j^h}{d_i^h} \right) \end{align*} g^jcxdiw(gjcx−dicx)g^jcydih(gjcy−dicy) g^jwlog(diwgjw) g^jhlog(dihgjh)同理我们也可以通过预测得到的 bounding box 参数 { b i c x , b i c y , b i w , b i h } \{b_i^{cx}, b_i^{cy}, b_i^{w}, b_i^{h} \} {bicx,bicy,biw,bih} 来计算得到 bounding box 的偏移量也就是预测值 l l l。 l i c x ( b i c x − d i c x ) d i w l i w log ( b i w d i w ) l i c y ( b i c y − d i c y ) d i h l i h log ( b i h d i h ) \begin{align*} l_i^{cx} \frac{(b_i^{cx} - d_i^{cx})}{d_i^w} \space\space\space\space\space\space\space\space\space l_i^{w} \log\left( \frac{b_i^w}{d_i^w} \right)\\ l_i^{cy} \frac{ (b_i^{cy} - d_i^{cy})}{d_i^h} \space\space\space\space\space\space\space\space\space l_i^{h} \log\left( \frac{b_i^h}{d_i^h} \right) \end{align*} licxdiw(bicx−dicx)licydih(bicy−dicy) liwlog(diwbiw) lihlog(dihbih)
中心点的偏移量计算是很好理解的为什么宽高的偏移量要用 log 函数来算呢
smooth L1 loss
SSD 是用到 smooth L1 loss 来计算真实值与预测值之间的差异 s m o o t h L 1 ( x ) { 0.5 x 2 if ∣ x ∣ 1 ∣ x ∣ − 0.5 otherwise \mathbf{smooth_{L1}}(x) \begin{cases} 0.5x^2 \text{ if } |x| 1 \\ |x| -0.5 \text{ otherwise } \end{cases} smoothL1(x){0.5x2∣x∣−0.5 if ∣x∣1 otherwise
这篇文章我觉得解释得挺清晰的比较了 L1 loss L2 loss 和 smooth L1 loss 三者之间的优劣。也提到了 loc loss 的演进。
bounding box 回归损失函数也就是用于定位边界框的损失函数其演进线路如下 #mermaid-svg-Tt5J7YHASIQ2as9e {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-Tt5J7YHASIQ2as9e .error-icon{fill:#552222;}#mermaid-svg-Tt5J7YHASIQ2as9e .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-Tt5J7YHASIQ2as9e .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-Tt5J7YHASIQ2as9e .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-Tt5J7YHASIQ2as9e .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-Tt5J7YHASIQ2as9e .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-Tt5J7YHASIQ2as9e .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-Tt5J7YHASIQ2as9e .marker{fill:#333333;stroke:#333333;}#mermaid-svg-Tt5J7YHASIQ2as9e .marker.cross{stroke:#333333;}#mermaid-svg-Tt5J7YHASIQ2as9e svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-Tt5J7YHASIQ2as9e .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-Tt5J7YHASIQ2as9e .cluster-label text{fill:#333;}#mermaid-svg-Tt5J7YHASIQ2as9e .cluster-label span{color:#333;}#mermaid-svg-Tt5J7YHASIQ2as9e .label text,#mermaid-svg-Tt5J7YHASIQ2as9e span{fill:#333;color:#333;}#mermaid-svg-Tt5J7YHASIQ2as9e .node rect,#mermaid-svg-Tt5J7YHASIQ2as9e .node circle,#mermaid-svg-Tt5J7YHASIQ2as9e .node ellipse,#mermaid-svg-Tt5J7YHASIQ2as9e .node polygon,#mermaid-svg-Tt5J7YHASIQ2as9e .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-Tt5J7YHASIQ2as9e .node .label{text-align:center;}#mermaid-svg-Tt5J7YHASIQ2as9e .node.clickable{cursor:pointer;}#mermaid-svg-Tt5J7YHASIQ2as9e .arrowheadPath{fill:#333333;}#mermaid-svg-Tt5J7YHASIQ2as9e .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-Tt5J7YHASIQ2as9e .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-Tt5J7YHASIQ2as9e .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-Tt5J7YHASIQ2as9e .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-Tt5J7YHASIQ2as9e .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-Tt5J7YHASIQ2as9e .cluster text{fill:#333;}#mermaid-svg-Tt5J7YHASIQ2as9e .cluster span{color:#333;}#mermaid-svg-Tt5J7YHASIQ2as9e div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-Tt5J7YHASIQ2as9e :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} Smooth L1 loss IOU loss GIOU loss DIOU loss CIOU loss 我记得 YOLOv1 的损失函数在计算位置损失的时候还是使用的欧式距离也就是所谓的 L2 loss。
L1 loss 是求两个数之间的绝对值距离导数是常数小于 0 则为 -1大于等于 0 则为 1在零点处是不平滑的
L2 loss 是两个数之间差的平方导数是 2 x 2x 2x也可以看出受到 x x x 的影响很大但是在零点处是平滑的。多个 L2 loss 求和再平均也叫做 MSE loss Mean Square Error。
而我们的主角 smooth L1 loss如名字所见是平滑版的 L1 loss导数为 d s m o o t h L 1 ( x ) d x { x if ∣ x ∣ 1 ± 1 otherwise \frac{ \mathrm{d} \space \mathbf{smooth_{L1}}(x)}{\mathrm{d}x} \begin{cases} x \text{ if } |x| 1 \\ \pm1 \text{ otherwise } \end{cases} dxd smoothL1(x){x±1 if ∣x∣1 otherwise 在零点附近都是平滑的而且在其它区间都是常数也不会出现 L2 loss 随着 x x x 的增大而在损失函数中占据主导地位。 置信率损失 L c o n f L_{conf} Lconf
下面就讲一下分类的置信率损失 L c o n f L_{conf} Lconf完整的公式如下 L c o n f ( x , c ) − ∑ i ∈ P o s N x i j p log c ^ i p − ∑ i ∈ N e g log c ^ i 0 where c ^ i p exp ( c i p ) ∑ p exp ( c i p ) L_{conf}(x, c) - \sum_{i \in Pos}^N x_{ij}^p\log{\hat{c}_i^p} - \sum_{i\in Neg} \log{\hat{c}_i^0} \space\space\space\space \text{where} \space\space\space\space \hat{c}_i^p\frac{\exp{(c_i^p)}}{\sum_p \exp{(c_i^p)}} Lconf(x,c)−i∈Pos∑Nxijplogc^ip−i∈Neg∑logc^i0 where c^ip∑pexp(cip)exp(cip)从公式的形态可以看出来是二元交叉熵。没错其实 softmax loss 就相当于交叉熵和 softmax 的组合先看看最后的 softmax 公式 c ^ i p exp ( c i p ) ∑ p exp ( c i p ) \hat{c}_i^p\frac{\exp{(c_i^p)}}{\sum_p \exp{(c_i^p)}} c^ip∑pexp(cip)exp(cip) c i p c_i^p cip 对于分类的部分一般网络的全连接层会输出 P P P 个类别的向量在 SSD 因为要考虑背景背景是分类 0这个长度为 P 1 P1 P1 的向量经过 softmax 之后所有值的和会被限制为 1。其中置信率最大的值即是 c i p c_i^p cip目前这个值还没经过归一化这表示 anchor i i i 是的类别是 p p p 的可能性最大。 c ^ i p \hat{c}_i^p c^ip是通过对 c i p c_i^p cip 进行 softmax 而得到的表示 anchor i i i 是分类 p p p 的概率值是位于 0~1 之间的。
然后就是主公式的各个参数的具体含义 x i j p x_{ij}^p xijp含义同上面位置损失提到的如果 anchor i i i 与 gt box j j j 是匹配的gt box 的类别是 p p p则为1否则 0。 c ^ i 0 \hat{c}_i^0 c^i0就是背景的分类概率负样本。
其实这个公式也没什么难理解的。 大致就是这么多了如果大家有什么不清楚的地方或者是文章哪里写错了欢迎评论留言。
