双流区的规划建设局网站,如何利用源代码做网站,wordpress微商货源,南昌网站建设工作室摘要#xff1a;光场相机作为一种新型的成像系统#xff0c;可以直接从一次曝光的图像中得到三维信息。为了能够更充分有效地利用光场数据包含的角度和位置信息#xff0c;完成更加精准的场景深度计算#xff0c;从而提升光场相机的三维重建的精度#xff0c;需要实现精确…摘要光场相机作为一种新型的成像系统可以直接从一次曝光的图像中得到三维信息。为了能够更充分有效地利用光场数据包含的角度和位置信息完成更加精准的场景深度计算从而提升光场相机的三维重建的精度需要实现精确的几何建模并精确标定其模型参数。该方法从薄透镜模型和小孔成像模型出发将主透镜建模为薄透镜模型将微透镜建模为小孔成像模型结合光场相机双平面模型将每个提取到的特征点与其在三维空间中的射线建立联系详细解释了内参矩阵中每个参数的物理意义以及标定过程中初值确定的过程并在镜头径向畸变模型的基础上进一步应用了相机镜头的切向畸变模型以及基于射线重投影误差的非线性优化方法改进了光场相机的标定方法。实验显示该方法的RMS射线重投影误差为0.332mm与经典的Dansereau标定方法相比进行非线性优化后得到的射线重投影误差精度提升了8%。该方法详细分析的场景点与特定像素索引的推导过程对光场相机的标定具有重要的研究意义为光场相机光学模型的建立与初始化标定奠定了基础。
关键词机器视觉光场相机重投影误差相机标定镜头畸变
引言
传统相机的成像方式只能记录光线所经过的位置信息丢失了光线的深度信息即三维信息。光场相机作为一种新型成像系统由于其内部含有微透镜阵列这一特殊构造[1]可以同时获取光线的角度和位置信息能颠覆传统成像方式的图像生成方法实现如数字重聚焦、合成子孔径图像、光场显微成像、全景深图像合成、场景深度图获取等功能[2]。能够为三维重建[3]、全景拼接、视角合成、目标识别与跟踪等计算机视觉问题提供更加完备而有效的解决方案[4]。
光场相机的原型首先是由Adelson和Wang[5]在1992年提出的。第一个商业化的手持光场相机是由NgR[6]在2005年设计的然后由Lytro公司发布。该光场相机在图像传感器与主透镜之间放置了一个微透镜阵列通过它来获取光线的更多场景信息。但是该相机模型的空间分辨率不高又被称为未聚焦光场相机。2009年Georgiev和Lumsdaine[7−8]提出了基于Ng光场相机模型的新模型名为聚焦光场相机其中微透镜阵列(MLA)聚焦于主透镜形成的图像平面上。这个相机模型由Raytrix公司发布有更高的空间分辨率但是角度分辨率较低。
相机的标定参数可以提高其精度和性能因此研究者们提出了不同的标定方法。2013年Dansereau[9]等人提出一种包含15个参数的相机标定模型和方法他们推导了像素索引与光线的四维内参矩阵和畸变模型但其工作中仍然存在着初始化优化和解决校准参数等问题。2014年Bok[10]等人提出了利用原始图像提取适当区域内线的特征校正线性形状的相机投影模型的方法然而他们并没有模拟外子孔径图像的镜头畸变。2016年Zeller[11]等人提出了一种测量校准方法使用全聚焦图像和虚拟深度图计算三维观测结果然而该方法未能得到物体距离超过1m的特征点。Johannsen[12]等根据该特征重建标定物的三维点坐标通过序列二次规划(SQP)优化方法求解内外参数但却忽略了微透镜产生的畸变。Zhang[13]等人提出了一种基于原始图像特征与深度尺度信息之间关系的校准方法然而他们没有对微透镜阵列引起的畸变误差进行补偿为了填补这一空白2017年Noury[14]等人提出了一种仅基于原始图像的校准方法。这项工作开发了一种新的检测器以直接估计棋盘格观察原始图像的亚像素精度。然而他们从白图像而不是捕获的原始图像估计微图像的网格参数这在标定过程中引入了不确定性。光场相机出现时间不长其成像模型的建立与参数标定研究并不多仍然不成熟。
文中在经典的Dansereau方法的基础上改进了光场相机的标定与畸变校正方法通过通用的小孔成像与薄透镜模型分析了光场相机模型中参数的物理意义并用通用相机的标定方法进行光场相机标定推导出不同方向的子孔径图像像素坐标的索引与穿过主透镜和微透镜阵列的光场射线的精确关系利用投影转换关系估计出光场相机的内参并考虑相机的径向畸变与切向畸变模型最后利用重投影误差对其参数进行优化。
1光场相机精确几何模型建立
1.1成像模型
光场相机的典型代表是Ng等设计的传统光场相机(Plenopic1.0)。小孔成像模型描述微透镜阵列薄透镜模型描述主镜头。该成像装置在传统相机的焦平面处放置一个微透镜阵列并将图像传感器置于微透镜的一倍焦距处。真实场景中特定深度平面上来自同一点的不同方向光束通过主镜头折射、微透镜聚焦最终被图像传感器上的成像单元所记录如图1所示。 如图1所示A表示图像传感器平面B表示微透镜阵列平面C表示主透镜平面O−XY为图像坐标系Oc−XcYcZc为相机坐标系Ow−XwYwZw为世界坐标系。光场相机模型表示为光线的路径以穿过微透镜阵列平面及图像传感器平面的射线作为此光线的开始即n[ijkl]Ti和j为每个微透镜对应像元的索引k和l为微透镜的位置索引完整的转换过程如公式(1)所示[9]。如果每个微透镜对应的像元像素为Ni×Nj那么i和j的范围为0∼Ni,j若有Nk×Nl个微透镜则kl的范围为0∼Nk,l。 为了便于说明将四维坐标简化为横向的二维坐标再延伸至四维光场即n[ik1]T。Hs是将相对坐标转换为绝对坐标的矩阵即把i转换为iabs如图2所示i是相对坐标表示每个微透镜下宏像素的索引把相对坐标加上其对应的微透镜索引k处的实际像素即kN并减去宏像素的中心cpix就得到了绝对坐标iabs其表示在图像传感器平面上相对坐标对应的微透镜图像的实际索引转换过程为公式(3)N是每个微透镜下的宏像素大小cpix是每个微透镜下的宏像素的中心cpixN/2。 下一步是把绝对坐标转换为光场射线表示此处与普通相机的小孔成像模型类似首先通过Hbs将绝对坐标iabs与微透镜阵列的索引k分别减去图像传感器和微透镜阵列的中心位置偏移量再除以对应的单位物理尺寸(mm)可得到其在图像传感器平面与微透镜阵列平面实际的物理尺寸(mm)1/Fs和1/Fu分别表示图像传感器像素和微透镜的单位物理尺寸(mm)cm和cu分别为图像传感器和微透镜阵列的中心位置偏移量FsNFucmNcu转换公式如公式(4)所示xi表示该点到图像中心主点之间的物理距离k′表示该点所在的微透镜中心到图像中心主点之间的物理距离如图3所示。 然后通过HφΦ推导出其对应光线的角度θ,如图3所示使用宏像素的中心偏移cpix减去在该宏像素的相对坐标i得到i与当前微透镜光轴的像素然后除以Fs得到该距离的实际物理尺寸xi最后除以图像传感器平面和微透镜阵列平面的距离du即可得到该条光线的角度θ。转换过程如公式(5)所示xi是光线在图像传感器平面的坐标θ是光线的角度du代表图像传感器平面和微透镜阵列平面的距离。最后通过HT将光线在图像传感器平面的坐标(即光线在i平面的坐标xi)延伸至主透镜s平面如图3所示主透镜与图像传感器平面的距离(dudm)乘上光线的角度θ,再加上xi即可得到延伸至主透镜上的点xm转换过程如公式(6)所示dm代表主透镜平面与微透镜阵列平面的距离xm是光线在主透镜s平面的坐标。 最后通过HM推导出入射光线的方向如图4所示主透镜符合薄透镜模型根据高斯成像公式1/fM1/u1/v,fM为主透镜的焦距u为物距v为像距uxm/θ′,vxm/θ,即1/fMθ′/xmθ/xm可得到入射光线的角度θ′,转换过程如公式(7)所示。然后通过HΦφ推导出经过xm的入射光线与u平面的交点D是u平面与主透镜s平面的距离入射光线的角度θ′与距离D相乘并加上xm即可得到该光线与u平面的交点s如公式(8)所示s为入射光线在u平面的坐标u为入射光线的角度。注意此时u不是双平面模型中的坐标而是入射角度此处是为了和Dansereau等提出的经典模型中的u做区分。 因为垂直和水平方向的索引部分是独立的所以将2D索引延伸为4D索引是简单的。通过公式(1)将公式(2)中的矩阵相乘可以得到一个具有12个非零项的矩阵的表达式 1.2镜头畸变模型 微透镜阵列和主透镜都有可能导致镜头畸变[15]忽略微透镜阵列产生的畸变考虑主透镜产生的畸变。由透镜的形状引起的径向畸变模型如下 式中k1、k2等是径向畸变系数根据光场相机的镜头 参数可以选择双参数模型和三参数模型u、v和ud、vd分别为没有畸变和有畸变的光线角度。由相机组 装过程中透镜和像面不严格平行引起的切向畸变模型可用畸变系数p1和p2类似描述为 2 光场相机标定 光场相机的标定有三个主要模块第一部分是合成所有角度的子孔径图像并提取所有角度子孔径图像的特征点第二部分是对相机参数进行初始化[16]第三部分根据相机的重投影误差构造函数进行非线性优化它优化了第二部分产生的初始估计。 2.1合成子孔径图像及提取所有子孔径图像的特征点 首先将原始的2D图片解码为4D光场表示通过得到的微透镜图像合成不同方向的子孔径图像再对所有子孔径图像进行特征点提取。将每个微透镜宏像素上相同位置的像素点按照顺序进行重排列操作即可得到该方向的子孔径图像以此类推可以得到所有角度的子孔径图像原理如图5(a)所示。i、j是一个微透镜下的宏像素索引k、l是微透镜的个数索引。例如微透镜阵列有381×383个即有381×383个微透镜每个微透镜下的宏像素有9pixel×9pixel那么就可以提取9×9张子孔径图像每张子孔径图像有381pixel×383pixel[17]。对于子孔径图像来说i、j是图片索引k、l是像素值。中心角度的子孔径图像就是按照顺序提取每一个微透镜宏像素中心位置的像素点然后把这些像素按顺序重新拼接成的图像所有角度子孔径图像如图5(c)所示因为每个微透镜的边缘存在渐晕现象所以边缘角度的子孔径图像较暗。 与传统相机标定类似光场相机从不同角度拍摄棋盘格图像[18]得到所有角度子孔径图像后对子孔径图像进行灰度化处理然后通过Harris角点检测[5]方法提取每一幅子孔径图像的特征点。 2.2相机参数初始化 在光场相机的模型中当u平面在主透镜的焦平面上时即DfM光场相机的坐标系原点为主透镜 光轴与主透镜焦平面的交点。XY轴方向仍是像平面的XY方向Z方向垂直于焦平面向外。通过公式(9)可以得出H1,1H2,2H3,3H4,4H1,3H2,4H3,1H4,2H1,5H2,5H3,5H4,5。对其参数进行化简可以得出 光场相机的初始化首先要得到主透镜的焦距在光场相机的模型中从图像传感器到微透镜的每条相同角度的射线路径(即ij相同)都收敛到主透镜焦平面上的一个点这个点是虚拟相机的中心位置即ui如图6所示。此时每个子孔径图像的成像等效为小孔成像模型其焦距是主透镜的焦距fm子孔径图像相邻像素之间的距离也就是微透镜的物理尺寸为1/Fu(mm)。中心角度的子孔径图像(光线角度为0°,即过主透镜光心)所等效的虚拟相机的坐标系为光场相机的坐标系。 类似张正友的平面靶标标定方法[14]求解主透镜焦距首先要通过世界坐标系的3D点和像素坐标系的2D点得到单应矩阵H 式中s表示尺度因子K表示相机内参矩阵r1r2t为相机外参fxfy为主透镜的等效焦距u0,v0为图像的主点是两个坐标轴的偏斜参数可以忽略不计。通过将单应矩阵H中无关的参数(即主点(u0,v0))消除可以求出焦距fxfy 因为相机外参的旋转矩阵是正交的即r1和r2正交由此可推出相机主透镜的等效焦距fx和fy由 等效焦距等于焦距fM除以像素之间的物理尺寸1/Fu即fxfyfMFu。
相邻虚拟相机中心之间的距离称为基线(baseline)该基线距可以通过标定时虚拟相机的外参得到即外参平移量之间的距离如图7所示。当DfM时由图7根据相似三角形可知两个角度θ是相等的即 假如n1那么基线就是ui1和ui之间的距离。即通过公式(18)可以得出 2.3重投影误差
对于传统相机的标定特征点P对应于图像平面中的某一点如图8(a)所示从观测到的和预期得到的投影特征位置i和iˆ之间的距离称为“重投影差”|E|i−iˆ对这个误差建立目标函数采用非线性优化方法对相机参数进行优化。但是在光场相机标定中由于一个特征点会多次出现在成像平面上重投影误差是比较复杂的如图8(b)所示对于光场相机每个特征点都有多个预期和观测到的图像点iˆjij并且它们通常不会出现在相同的微透镜下的宏像素内。从每一个观测到的点ij可以得到一条投影光线φj每条投影光线与特征点之间的距离Ej称为“光线重投影误差”。 因为已经得到了Ni×Nj的子孔径图像阵列从其中提取观察到的特征点从M个不同的角度捕获标定板并且每一个标定板有Nc个标定特征点所以优化的总特征集大小为NcMNiNj。优化目标是找到内参矩阵H、相机姿态Tm(光场相机的外参等于最中心的虚拟相机的外参)、畸变系数d、n[ijkl]Ti和j为每个微透镜对应像元的索引即子孔径图像的索引
(0−Ni0−Nj)k和l为微透镜的位置索引即子孔径图像上像素值。φ表示点n通过畸变校正后通过光场相机模型(公式(1))得到光线的位置和角度优化函数如公式(20)所示 式中∥·∥pt−ray为“光线重投影误差”。
对该误差建立目标函数采用Levenberg-Marquardt的优化算法对其进行优化使用lsqnonlin函数得到优化后的结果。
3 实验
利用光场相机LytroIllum对该方法进行验证。进行标定的实验系统如图9所示包括光场相机和标定板。从图像传感器上记录的原始2D图像中恢复4D光场L(s,t,u,v)并使用MATLABtoolboxLFToolboxV0.4[9]进行子孔径图像的提取。使用了相机提供的白图像来定位微透镜图像中心和矫正镜头的渐晕。提取到的四维光场有15×15个子孔径图像每个子孔径图像有434pixel×625pixel。实验中使用Lytro光场相机拍摄16个不同视角的棋盘格图片该棋盘格有12×9个网格标定板相邻特征点之间的距离为30.0mm×30.0mm。 光场相机标定结果详见表1。该模型在非线性优化和畸变校正前后的重投影误差如图10所示。图10(a)中主透镜边缘的重投影误差相比主透镜中间的重投影误差有较大浮动而优化校正后的重投影误差大致相同如图10(b)所示。文中改进的标定方法与Dansereau[9]等人的方法相比均方根误差由0.363mm降低到0.332mm精度提升8*如图10(b)、(c)所示。另外对于Dansereau[9]等人方法中采用的径向畸变模型文中验证了采用多项式模型中双参数、单参数径向畸变模型以及除法模型其标定精度不如三参数的径向畸变模型也说明了原本径向模型的准确性。 4. 结论
文中改进了一种双平面模型的光场相机的标定模型和方法。基于微透镜阵列和主透镜模型推导了从场景点到特定像素索引的投影关系并应用了主透镜的径向和切向畸变校正方法和基于射线重投影的非线性优化方法实验显示该方法的RMS射线重投影误差为0.332mm。Dansereau等人提出的参数模型缺乏对参数的实际物理意义的解释文中从小孔成像模型和薄透镜模型出发详细解释了每个参数的物理意义及初值的确定过程为光场相机模型参数的理解与初始化奠定了理论基础并且优化了针对光场相机主透镜的畸变模型。下一步计划包括研究一个更复杂的透镜畸变模型以及更精巧的相机投影模型提高光场标定的准确性并克服针孔模型和薄透镜模型的局限性。
文章来源《红外与激光工程》第52卷第1期
作者杨守瑞段婉莹艾文宇陈胜勇
声明转载此文目的在于传递更多信息仅供读者学习、交流之目的。文章版权归原作者所有如有侵权请联系删除。
