企业免费建网站,绵阳市建设银行网站,深圳 手机网站建设,哪个网站可以做印章图案#灵感# 摆烂时间太长了#xff0c;感觉知识忘光光了。重新学习#xff0c;常学常新。
因为公司文档都不让摘抄、截取#xff0c;所以内容是工作的一些自己记录和网络内容#xff0c;不对的欢迎批评指正。
1、ISP概述
ISP是Image Signal Processor 的简称#xff0c;也就…#灵感# 摆烂时间太长了感觉知识忘光光了。重新学习常学常新。
因为公司文档都不让摘抄、截取所以内容是工作的一些自己记录和网络内容不对的欢迎批评指正。
1、ISP概述
ISP是Image Signal Processor 的简称也就是图像信号处理器。
ISP内部包含 CPU、SUP IP、IF 等设备事实上可以认为 ISP 是一个 SOCsystem of chip可以运行各种算法程序实时处理图像信号。
ISP 工作机制
lens 将光信号投射到sensor 的感光区域后sensor 经过光电转换将Bayer 格式的原始图像送给ISPISP 经过算法处理输出RGB空间域的图像给后端的视频采集单元。在这个过程中ISP通过运行在其上的firmware固件和ISP逻辑从而对lens 和sensor 进行相应控制进而完成自动光圈、自动曝光、自动白平衡等功能。
ISP 由ISP逻辑及运行在其上的Firmware组成逻辑单元除了完成一部分算法处理外还可以统计出当前图像的实时信息。Firmware 通过获取ISP 逻辑的图像统计信息重新计算反馈控制lens、sensor 和ISP 逻辑以达到自动调节图像质量的目的。
PQ Tools 工具通过网口或者串口完成对ISP 的在线图像质量调节。IPC和UVC一般是在线调整手机一般是先采图再离线调节 2、ISP 流程
先看一个手机流程 再看一个MTK的仿真流程 再看一个流程 再来一个流程我的文章就多贴几个流程方便对比 好了总结以上4个流程基本是
DPC——RNR——BLCOB——DGN——LSC——AWB——LTM——DMSRNR——CCM——gamma——color conversion——YNR——EE(CNR)——color其它特殊处理。
MTK调了两年所以我以MTK的流程为标准且目前的自研ISP流程和MTK 几乎一样。 ISP流程总共有两个数据转换节点涉及三个数据域raw——RGB——YUV
1、raw(bayer)数据转换rgb数据
sensor捕获景物的光信号强度输出图像是黑白的没有色彩信息。CMOS上的R、G、B三色的滤光片将图像数据分成RGB三种分量而形成的Bayer raw图。Bayer格式的RAW数据包含了2个G、1个R和1个B一般格式有GBRG、GRBG、BGGR、RGGB多种Bayer的数据是每个像素点只包含了一种色彩信息呈现了一种“马赛克”的样子我们需要将RGB数据结合在一个像素点中展现消除马赛克的样子也就是这个过程就是 - Demosaic。
demosaic 算法举例以红色像素区域为例我们需要的是丢失了的绿色与蓝色的值。插值法可以通过分析与这个红色像素相邻的像素计算出这两个值。比如算法发现该区域像素绿色像素均含有大量电荷但蓝色像素电荷数为零所以可以推断出这个红色像素实际上是黄色的。 2、RGB 到YUV的色彩空间转换
原因
1为何会有色彩空间的转换呢我们图像的采集和处理在RGB空间就已经有很好的效果了但是显示和信号的处理多数在YUV空间下进行。显示主要指的是电视使用YUV格式可以兼容黑白电视和彩色电视。
2色彩空间转换这个模块将RGB 转换为 YUV444 然后在YUV 色彩空间上进行后续的彩色噪声去除、 边缘增强等 也为后续输出转换为jpeg 图片提供方便。在YUV 家族中YCbCr 是在计算机系统中应用最多的成员JPEG、MPEG 均采用此格式。 一般人们所讲的YUV 大多是指YCbCr。YCbCr有许多取样格式如 4∶4∶44∶2∶2 4∶1∶1和 4∶2∶0。NV12 和 NV21 属于 YUV420 格式。 -----------------------------------------一个发散问题 start ------------------------------------------------
其中gamma模块不同的曲线指数会影响CC的颜色还原程度理应先调整gamma,再去调整CCM模块。但是以上几个流程中gamma却都位于CCM 模块之后。
大概的解释Color ConstancyAWBCCM。Gamma校正就是对图像的灰度进行非线性处理这个曲线类似于指数关系最终处理后图像灰度是类似人眼的非线性效果这个指数就是Gamma。
Gamma矫正会影响到整个图像的对比度。对比度越高整个图像的通透性越好让人眼视觉效果更加明显。Gamma矫正也会影响到图像的色彩对比度越高整个图像的色彩饱和度也越高。
CC是在RGB域进行的一种映射这个映射是sensor输出数据——人眼真实感受值。为了实现这个映射的具体的映射方式常用的一种方法是标定法。即利用标定好的某种颜色的标准值比如color checker 色卡和sensor输出数据做差来求得CC对该颜色需要做的映射。
结论使用工具校准时需要填入饱和度而gamma 影响饱和度所以校准CC时要输入使用的gamma。而实际上为了主观表现亮度、对比度或者噪声CC校准后gamma 还会进行调整所以gamma 属于CC的辅助模块而不是必备模块。gamma 和CC的位置在ISP pline中就没有强相关性。
-----------------------------------------一个发散问题 end ------------------------------------------------ 3、ISP 问题来源
再回顾一下流程DPC——RNR——BLCOB——DGN——LSC——AWB——LTM——DMSRNR——CCM——gamma——color conversion——YNR——EE(CNR)——color其它特殊处理。
各模块解释
[转]-- ISP图像信号处理算法概述、工作原理、架构、处理流程 - 知乎 (zhihu.com)
问题来源列举
1OBBLC物理器件不可能是理想所以会产生暗电流出现不合适的black level。(另一种奇怪的解释实际AD芯片模数转换芯片的精度可能无法将电压值很小的一部分转换出来因此sensor厂家一般会在AD的输入之前加上一个固定的偏移量使输出的pixel value在n每家不同~255之间目的是为了让暗部的细节完全保留当然加了之后高光信号溢出会损失一些亮部细节。当ISP 接收到sensor 的数据时就要通过标定的方式确定这个偏移量的具体值。后续的 ISP处理模块需要先减掉该偏移值才能保证数据的线性一致性。)
2DPC坏点一般是由于制造工艺的问题使得个别pixel 不良造成的。它是指某个像素点与周围像素有较大的差异。一般是在全黑的环境下出现白点或者高亮的环境下出现黑点。
3LSC由于镜头本身就是一个凸透镜Lens的光学特性——凸透镜原理,中心的感光必然比周边多,通光量从中心到边角依次较少,导致图像中间亮,四周偏暗; 第二当Lens CRA主光线角度Chief ray angle小于 Sensor CRA(microlens)导致sensor传感器边缘像素收集光能衰减更大CRA矫正改善因此导致传感器中心像素收集光能大于边缘像素加剧Luma Shading。
color shading 各种颜色的波长不同经过透镜折射后折射的角度也不一样就会造成color Shading的现象另外由于CRA的原因也会导致shading现象。当入射光线的CRA角度超过sensor 的CRA时就会导致经过R-filter的光线照到了G像素上造成像素之间的串扰出现color shading CRA选择lens CRA 大于 Sensor CRA 会出现明显的 color shading当 lens CAR 小于 Sensor CRA 会出现 luma shading。建议是选择 lens CRA 小于 sensor CRA 的配置。 4NRsensor在输出图像的时候就会带有一些噪声原始RAW图经过ISP处理后会引入一些新的噪声或者对原有噪声进行了放大。 5AWB人眼具有色彩恒常性sensor并没有人眼这么强大为了模拟人眼的成像效果保证任何色温场景下白色都是白色。视锥细胞会根据周围环境光的情况独立地调整颜色通道的敏感度如果一个物体表面对光线的反射特性不随光照条件而变化除了变色龙外大多数物体都满足那么该表面的光亮度与环境光亮度的比值也恒等数值上等于视锥细胞的三刺激值与白场响应的比值因此该表面在各种光照下激发的颜色知觉都基本相同。这就是颜色恒常的原理。 6DMS从sensor出来的图是通过cmos上透红色、 透绿色和透蓝色的滤镜阵列单元分别接收红(Red)、 绿(Green)、 蓝(Blue)三个分量的信息将三个分量最终合成一个彩色信息。 7gamma: 摄像机感光与输入光强呈线性关系 而人眼对外界光源的感光值与输入光强呈指数关系。为方便人眼辨识图像 需要将摄像机采集的图像进行gamma 矫正。
