免费网站部署,注册公司100万意味着什么,呼和浩特网站制作,吉林市网站制作【 声明#xff1a;版权所有#xff0c;欢迎转载#xff0c;请勿用于商业用途。 联系信箱#xff1a;feixiaoxing 163.com】 前面我们讨论了camera#xff0c;也讨论了屏幕驱动#xff0c;这些都是基础的部分。关键是#xff0c;我们拿到了这些视频数据之后#xff0c;…【 声明版权所有欢迎转载请勿用于商业用途。 联系信箱feixiaoxing 163.com】 前面我们讨论了camera也讨论了屏幕驱动这些都是基础的部分。关键是我们拿到了这些视频数据之后是否还需要做一些后面的工作。难道拿到这些视频数据之后仅仅是为了lcd显示一下是否有必要保存下来、送出去或者是从视频中提一些信息呢。 截图是hdmi转csi2的设计呼应文章最后一小段内容。 1、mcu、fpga、soc处理视频的驱动差不多 其实不光soc可以处理视频mcu和fpga也是可以处理视频的。只不过mcu处理的视频一般sensor都自带isp功能fpga处理sensor则比较麻烦一点编译起来也不方便。相比较而言soc处理视频会复杂一点分成了i2c驱动、mipi驱动、isp驱动、uvc驱动等几个部分。对于mcu和fpga的驱动大家可以参考某火、某原子的资料。对于soc资料i2c驱动、mipi驱动、uvc驱动这些都可以找到但是isp一般厂家都只是提供工具不会提供对应驱动代码的。客户会使用、会配置isp即可。 比如这是v3s驱动中mipi的代码
https://github.com/aodzip/sun6i-mipi-csi 假设sensor用的是ov5640驱动代码在这
https://elixir.bootlin.com/linux/v5.2.21/source/drivers/media/i2c/ov5640.c 2、视频编码 和传统pc编码相比较嵌入式soc上面的视频编码一般都是硬件完成的。常见的编码有h264、h265。具体的编码通常都是硬件来完成的而把h264、h265组合成mp4、avi这样的工作就会用ffmepg来完成。毕竟对于软件来说实时编码几乎是不可能的只要靠硬件来实现实时的编码操作。 3、视频解码 很多时候视频编、解码不一定是同时存在的。比如说ipcam上面很多soc只有编码。而dvr等很多设备则只有视频解码。这里面主要还是基于成本和市场的考虑。当然如果不考虑成本或者soc的价格足够高这个时候视频编、解码就会都存在了。 4、isp功能 虽然都叫isp但是不同厂家的isp差异很大。可以这么说一般的小厂soc也就是做一些基本的图像处理比如自动曝光、自动白平衡、自动对焦、黑电平、左右翻转、上下反转、噪声处理、osd这些。而大厂的soc这方面做的要多得多不仅引入更多的isp图像算法比如去雾算法、畸变矫正等等还会引入更多的ai model对isp进行处理。所以大家虽然名字都叫isp但是差异还是非常大的。 如果本身对isp的要求比较高可以考虑大厂的soc反之为了降成本的话则可以选择一般的soc甚至是自带部分isp功能的sensor都是可以的。 5、存储 本地存储是最容易想到的功能。一般的行车记录仪、运动相机基本上就是编码lcd显示/本地保存这样的思路。 6、npu处理 现在图像处理除了图像本身还会引入越来越多的ai功能。目前来说刚需的ai功能有这几个部分人脸识别、车牌识别、ocr识别、指纹识别等等。npu的话不必注重数值越大越好主打一个够用就行。毕竟一分钱一分货。 7、机器视觉 图像本身除了用来看还可以从中提取到很多的有用信息。这个时候可以把一些常规的机器视觉算法移植到嵌入式设备上这样设备摇身一变就是智能嵌入式设备了。 8、网络处理 目前视频处理这块很火有一部分就是基于网络的处理。网络的带宽一般都是大小一定的我们总是希望图像要尽量地好但是带宽要尽量地低延迟也要尽可能地低所以这里面能做的工作还是非常多的。常见的rtsp、rtmp未必能满足我们要求有些场景需要我们自定义协议才能去解决。 网络这部分如果是后端处理一般就是ipcam如果是前端处理一般就是dvr。不过大家可以扩展一下思路毕竟还可以用于飞控、监控、医疗等很多领域。 9、fpga导出接入csi2 有些算法如果为了低延时和高性能引入fpga也是有可能的。这种情况下就是fpga接入sensor对图像进行预处理之后再把图像传给soc的csi2接口进行后续的处理。fpga虽然处理图像比较方便但是没有linux的帮助很多事情都做不了也不方便。所以fpgasoc这样的处理模式还是非常方便的。 10、csi2接入转换芯片 很多时候我们会认为csi2接口只能接入sensor其实除了camera sensor之外还可以是fpga的接口甚至是其他芯片转换过来的数据比如hdmi转换过来的mipi数据。大家试想一下如果是hdmi转换过来的数据不就是一个视频采集设备吗现在的销售直播、游戏直播、综艺直播这么火这方面肯定有很大的市场。
