闵行网站建站多少钿,百度怎么做广告,佛山网站建设小程序,上门做网站公司哪家好6.1.1 不变性 平移不变性#xff08;translation invariance#xff09;#xff1a; 不管检测对象出现在图像中的哪个位置#xff0c;神经网络的前面几层应该对相同的图像区域具有相似的反应#xff0c;即为“平移不变性”。 局部性#xff08;locality#xff09;translation invariance 不管检测对象出现在图像中的哪个位置神经网络的前面几层应该对相同的图像区域具有相似的反应即为“平移不变性”。 局部性locality 神经网络的前面几层应该只探索输入图像中的局部区域而不过度在意图像中相隔较远区域的关系这就是“局部性”原则。最终可以聚合这些局部特征以在整个图像级别进行预测。
6.1.2 多层感知机的限制
假设多层感知机的输入是 X X X将其隐藏表示记为 H H H二者形状相同。
使用 [ X ] i j [\boldsymbol{X}]_{ij} [X]ij 和 [ H ] i j [\boldsymbol{H}]_{ij} [H]ij 表示位置 ( i , j ) (i,j) (i,j) 位置上的像素点。
因为每个像素点都需要和其他像素点联系故每个像素点都需要一个二阶的权重张量又由于是二维图像故最终权重张量 W \mathrm{W} W 为四维。
再假设偏置参数为 U U U则可以将全连接层表示为 [ H ] i j [ U ] i j ∑ k ∑ l [ W ] i , j , k , l [ X ] k , l [\boldsymbol{H}]_{ij} [\boldsymbol{U}]_{ij}\sum_k\sum_l[\mathrm{W}]_{i,j,k,l}[\boldsymbol{X}]_{k,l} [H]ij[U]ijk∑l∑[W]i,j,k,l[X]k,l
为了方便表示我们对下标 ( k , l ) (k,l) (k,l) 进行重新索引使得 k i a , l j b kia,ljb kia,ljb则可以得到重拍后的权重矩阵 [ V ] i , j , a , b [ W ] i , j , i a , j b [V]_{i,j,a,b}[\mathrm{W}]_{i,j,ia,jb} [V]i,j,a,b[W]i,j,ia,jb。
上式可表述为 [ H ] i j [ U ] i j ∑ a ∑ b [ V ] i , j , a , b [ X ] i a , j b [\boldsymbol{H}]_{ij} [\boldsymbol{U}]_{ij}\sum_a\sum_b[\mathrm{V}]_{i,j,a,b}[\boldsymbol{X}]_{ia,jb} [H]ij[U]ija∑b∑[V]i,j,a,b[X]ia,jb 平移不变性 现在引入平移不变性即检测对象在输入 X X X 中的平移应该仅导致隐藏表示 H H H 中的平移。简言之无须每个像素都要独享一个二维权值张量所有像素共享同一个即可故权重张量降为二维即可。此时式子可以简化为 [ H ] i j u ∑ a ∑ b [ V ] a , b [ X ] i a , j b [\boldsymbol{H}]_{ij} u\sum_a\sum_b[\boldsymbol{V}]_{a,b}[\boldsymbol{X}]_{ia,jb} [H]ijua∑b∑[V]a,b[X]ia,jb 这就是所谓卷积使用系数 [ V ] a , b [\boldsymbol{V}]_{a,b} [V]a,b 对 ( i , j ) (i,j) (i,j) 附近的像素 ( i a , j b ) (ia,jb) (ia,jb) 进行加权得到 [ H ] i j [\boldsymbol{H}]_{ij} [H]ij。 局部性 对于上述的 a , b a,b a,b 不应该取太大即范围不应太大至少不应该是全图。故可将 ∣ a ∣ Δ ∣ b ∣ Δ \left|a\right|\Delta \left|b\right|\Delta ∣a∣Δ∣b∣Δ的范围设置为0即不考虑范围外的影响。故可将式子重写为 [ H ] i j u ∑ a Δ ∑ b Δ [ V ] a , b [ X ] i a , j b [\boldsymbol{H}]_{ij} u\sum_a^\Delta\sum_b^\Delta[\boldsymbol{V}]_{a,b}[\boldsymbol{X}]_{ia,jb} [H]ijua∑Δb∑Δ[V]a,b[X]ia,jb
至此可以称 V V V 为卷积核。简言之卷积操作实际就是计算一圈像素对中间像素的影响使用不同的卷积核则计算的是不同方面的影响最终实现提取不同特征的效果。此处参考王木头大佬的视频《从“卷积”、到“图像卷积操作”、再到“卷积神经网络”“卷积”意义的3次改变》。
6.1.3 卷积
在数学中卷积被定义为 ( f ∗ g ) ( x ) ∫ f ( z ) g ( x − z ) d z (f*g)(\boldsymbol{x})\int f(\boldsymbol{z})g(\boldsymbol{x}-z)d\boldsymbol{z} (f∗g)(x)∫f(z)g(x−z)dz
用一个例子说明的话一个不确定的输入函数叠加上一个确定的输出函数计算最终余量即为卷积。
6.1.4 “沃尔多在哪里”回顾
上面一直将图片作为二维张量实际上图像一般包含三个通道即RGB三原色因此图像应该是一个由高度、宽度和颜色组成的三维张量。故我们应将 X \boldsymbol{X} X 索引为 [ X ] i , j , k [\boldsymbol{X}]_{i,j,k} [X]i,j,k由此卷积核相应的调整为 [ V ] a , b , c [\boldsymbol{V}]_{a,b,c} [V]a,b,c再添加一个 d d d 以实现不同通道的输出即 [ H ] i , j , d ∑ a − Δ Δ ∑ b − Δ Δ ∑ c [ V ] a , b , c , d [ X ] i a , j b , c [\boldsymbol{H}]_{i,j,d} \sum_{a-\Delta}^\Delta\sum_{b-\Delta}^\Delta\sum_c[\boldsymbol{V}]_{a,b,c,d}[\boldsymbol{X}]_{ia,jb,c} [H]i,j,da−Δ∑Δb−Δ∑Δc∑[V]a,b,c,d[X]ia,jb,c
练习
1假设卷积层式6.3覆盖的局部区域 Δ 0 \Delta0 Δ0。在这种情况下证明卷积核为每组通道独立地实现一个全连接层。
若 Δ 0 \Delta0 Δ0 则意味着卷积核大小为1那感觉和全连接没区别的哇。 2为什么平移不变性可能也不是好主意呢
太单一也许不同区域需要的卷积核不一样。 3当从图像边界像素获取隐藏表示时我们需要思考哪些问题
应该考虑关于填充的事情。 4描述一个类似的音频卷积层的架构。
将音频信息转换为二维数据或更高维再进行卷积操作。 5卷积层也适合于文本数据吗为什么
我觉得可以只要找到合适的方法数据化文本。因为卷积这种对于特征的提取对于自然语言也应该是适用的。 6证明在式6.6中 f ∗ g g ∗ f f*gg*f f∗gg∗f。 ( f ∗ g ) ( x ) ∫ f ( z ) g ( x − z ) d z ∫ f ( x − t ) g ( t ) d ( x − t ) ( 令 t x − z ) ∫ g ( t ) f ( x − t ) d t ( g ∗ f ) ( x ) \begin{align} (f*g)(\boldsymbol{x}) \int f(\boldsymbol{z})g(\boldsymbol{x-z})d\boldsymbol{z}\\ \int f(\boldsymbol{x-t})g(\boldsymbol{t})d\boldsymbol{(x-t)}\qquad(令 t\boldsymbol{x-z})\\ \int g(\boldsymbol{t})f\boldsymbol{(x-t)}d\boldsymbol{t}\\ (g*f)(\boldsymbol{x}) \end{align} (f∗g)(x)∫f(z)g(x−z)dz∫f(x−t)g(t)d(x−t)(令tx−z)∫g(t)f(x−t)dt(g∗f)(x)
