医院网站建设滞后,联想官方服务网站,电影大型网站制作,网络推广网站套餐计算光学成像所涉及研究的内容非常广泛#xff0c;虽然计算光学成像的研究内容是发散的#xff0c;但目的都是一致的#xff1a;如何让相机记录到客观实物更丰富的信息#xff0c;延伸并扩展人眼的视觉感知。总的来说#xff0c;计算光学成像现阶段已经取得了很多令人振奋…计算光学成像所涉及研究的内容非常广泛虽然计算光学成像的研究内容是发散的但目的都是一致的如何让相机记录到客观实物更丰富的信息延伸并扩展人眼的视觉感知。总的来说计算光学成像现阶段已经取得了很多令人振奋的研究成果这些成果必将会对光学成像技术未来的发展方向产生深远影响。我们可以将注意力进一步前移通过探讨计算光学成像的优势、面临的挑战来大胆展望它的未来发展趋势。
自2010年代初以来业界和学术界对光学计算的兴趣再次高涨。光学计算机至少在某些任务上优于电子计算机的基本物理基础是什么 事实上任何光学计算机要想在实践中取得优势都可能需要利用其中一个以上的特性成功的光学计算机设计必须经过精心设计以避免出现瓶颈或开销超过光学优势。本文将讨论其中的一些误区以及可以采取的缓解方法。 电子处理器设定的高标准导致人们对光学计算的前景一度持悲观态度。鉴于CMOS技术的不断改进那么为什么现在人们对光学计算包括商业发展又重新燃起了热情对光学计算的主要批评之一是光学晶体管无法与电子晶体管竞争。 目前人们对光学计算的兴趣主要集中在光学计算机架构上而不是基于用光学晶体管复制数字逻辑。业界的主要目标不是试图构建通用数字计算机而是构建专用模拟计算机。这两种转变——向特殊用途和模拟处理的转变都很重要。试图用光学技术构建性能卓越的通用处理器仍然遥不可及这主要是因为人们希望通用处理器不会出错例如会计师希望电子表格中的数字完全正确而人们只知道如何用数字逻辑实现无差错机器要构建数字逻辑就必须使用满足高标准的光学晶体管。不过我们也可以制造专门针对特定应用的光学处理器这些应用并不需要完全无差错运行。 目前专用光学计算机正瞄准几个应用领域包括神经网络、科学计算、组合优化和密码学。所有这四个应用领域都以矩阵-矢量乘法过程为关键算法原型而这正是当前光学计算研究的主要目标。傅立叶变换和卷积适用于神经网络、科学计算和密码学因此在目前的研究中占有重要地位。 在过去几十年中光学相关器已多次作为商业产品发布因此即使在商业上这也不是一个新方向而是一个已焕发新活力的方向。此外在为神经网络进行计算方面也有很大的发展这些计算并没有明确设计为矩阵-向量乘法或卷积。所有这四个应用领域的一个共同点是通过光学方法执行的子程序即使存在一些误差噪声仍然非常有用。这一因素至关重要因为任何模拟计算机包括模拟光学计算机都很难达到大于10比特的有效精度因此模拟光学计算机的应用应能承受这种程度的噪声。 神经网络是一个特别好的选择因为至少在推理过程中而不是训练过程中神经网络的精度不会大幅下降即使它们只能进行精度低于8比特的整数运算。任何模拟神经网络处理器包括模拟光学处理器都会担心在执行深度神经网络时可能会积累错误。最近科学家们对这一问题进行了理论分析得出的结论是即使在相关噪声的情况下噪声累积的有害影响也可以得到缓解。在对深度光学神经网络有60个光学执行层的模拟中显示仅导致有效低位精度的非相关噪声产生的精度与使用8比特整数运算执行相同神经网络的数字电子处理器相同或更好也就是说模拟预测与标准数字电子执行相比神经网络光学执行中的误差积累不会对精度产生明显影响。对于模拟光学处理器、神经网络的所有应用而言有关抗噪声能力的直觉和模拟最终都需要通过光学实验来验证。 有了这样的背景我们现在就可以更全面地回答为什么光学计算领域再次掀起热潮。第一个原因是神经网络的崛起在过去十年中神经网络已成为机器学习的主流方法并变得极其耗费计算资源。这引起了人们对专门用于神经网络的替代硬件方法的浓厚兴趣而神经网络对噪声的内在适应能力使其非常适合模拟光学实现。 其次CMOS的改进不足以满足应用需求尽管CMOS硬件已经取得了显著进步但对于神经网络和其他一些应用如组合优化来说CMOS硬件未来的预期改进也不如用户所愿并将限制应用能力。例如神经网络的参数数量——衡量其规模和计算需求的标准之一的增长速度远远超过了硬件改进的速度这主要是因为人们发现规模的扩大往往会带来能力或精度的提高。 第三光子学硬件有了巨大进步在消费电子和光通信行业的推动下光子设备的规模、速度和能效在上一次光神经网络热潮之后的30年里取得了巨大进步。例如三星公司现在推出了像素达2亿的照相机功率仅为10 W的每秒400千兆比特光收发器也已投入商用。在这一时期光子集成电路也得到了发展和商业化为体形光学器件提供了微型化的替代品光学材料和器件也有了长足的发展。
电子领域CMOS和超越CMOS技术的一个补充趋势是开发用于神经网络处理的专用电子芯片这为神经网络光学计算机的发展提供了进一步支持。在许多情况下这些芯片还能进行模拟而非数字矩阵-矢量乘法运算这一事实促使人们开发出了在模拟硬件上训练神经网络的方法其中许多方法也适用于模拟光学神经网络。模拟和数字电子神经网络芯片通常都采用数据流架构尤其是收缩阵列架构。它们还经常采用内存计算的概念这意味着存储神经网络权重矩阵元素的物理元素同时也是进行权重乘法运算的物理元素通常情况下存储的值只能缓慢更新但这对于神经网络推理或其他需要多次重复使用权重的情况是可以接受的。 在这种架构中光信号编码的信息流经处理元件如空间光调制器像素阵列、马赫-泽恩德干涉仪网、相变存储器单元横杆或微波谐振器网络。模拟电子神经网络处理器与模拟光学神经网络处理器的结构相似这使得光计算机设计师可以借鉴电子处理器界的见解。结构上的相似性也使我们更容易预测未来电子和光子实现的性能比较。并不是每台神经网络光计算机都基于与电子神经网络处理器相似的架构偏离架构是有充分理由的但在架构和算法具有可比性的情况下性能分析就会变得更加简单因为我们不必区分不同算法和不同架构的影响而可以专注于基本的物理差异有多少并行元素数据通过它们发送的速度有多快等等。同样许多用于组合优化的专用电子处理器与同一应用领域的光学方法在架构和算法上也有相似之处。 我们在下文中列出了光学本身或利用光学进行计算的方式的11个特征这些特征是构建光学计算机的要素这些特征可以解释光学如何带来更微妙但正确的优势。 并非所有这些特征对获得光学计算优势都同等重要但我们也没有按重要性排序部分原因是确定这种排序需要了解未来光学计算机最终最依赖哪些成分。不过在下一节中我们将讨论如何使用这些特性并就哪些特性最有可能成为关键发表看法。 1带宽 光子学的带宽B比电子学大约100,000倍。光子学的带宽约为500THz而电子电路的带宽通常约为5GHz图 1a。小型模拟电子电路的带宽可以大于5GHz小型数字电子电路的时钟频率也可以大于5GHz但用于计算系统的模拟和数字电子设备都会受到延迟的限制速度往往不能超过≪5GHz而且自2000年代中期以来还受到功率耗的限制。 光子技术的大带宽带来了两个潜在优势 - 大规模频率多路复用并行性 例如在一个频率梳中可以有107条梳状线在一个长光纤环腔中可以有109个频率模式每个梳状线频率模式所代表的数据都可以并行处理图1b不仅可以单独处理即按元素处理还可以对不同频率模式中的数据进行相加或相乘等操作。光频模式的并行性通常在光通信中得到利用波分复用技术可使单模光纤的通信速率大于每秒1013比特。 这种技术也可用于计算例如在相干线性光子处理器上实现了带宽为B ~ 5THz的水库计算。 - 光学系统的快速动力学 光学系统的动力学可以非常快这可以转化为非常高的运行速度进而带来更高的计算吞吐量和更低的延迟如果使用光学的全部带宽操作延迟的极限τdelay≳1/B对于光学来说比电子学小约100,000倍。 不过从带宽角度看光学的潜在优势有一些微妙之处。首先τ延迟的带宽限制只是一个限制如果设备的传播长度使得光穿过设备所需的时间长于1/B也就是说光速限制开始占据主导地位延迟可能会更长。需要注意的是当传播延迟在总延迟中占主导地位时仍有可能通过流水线技术(pipelining)从带宽受限的快速吞吐量中获益例如向系统发送多个光脉冲其间距大于时间脉冲宽度~1/B但小于传播延迟。然而由于电子计算机也可以而且通常也会利用流水线技术因此在进行性能比较时需要再次谨慎。 另一个微妙之处在于单个现代电子晶体管在典型负载下的延迟时间约为1ps因此如果在单个开关的层面上将光子学与电子学进行比较光学的带宽优势将远远小于 ~100,000倍。在整个芯片层面电子处理器的时钟频率比电路延迟所显示的速度慢10-100倍这主要是由于功率耗散的限制。相比之下光子处理器的功耗很低因此在系统层面上光学器件结合了固有带宽和低耗散可实现约100,000倍的潜在全系统带宽优势。 图1未来的光处理器最有可能在延迟、吞吐量或能效方面实现整体优势的三个关键特性。 2空间并行性 光子系统可以利用大量(106)并行空间模式。在约2.5cm−2的面积上使用108个空间模式的消费电子产品已经实现这说明在实践中可以实现大规模并行。学术界也开发出了控制多种模式的先进集成光子学设备图1c。 对于光被限制在单个二维平面内的光子系统如二维光子集成电路光子元件的密度可高达~106cm−2我们可以粗略地认为每个元件都能并行执行一个或多个计算操作如乘法。编写一个或多个运算而不只是一个运算有多种原因。例如如前所述空间中的单个分量可并行作用于多个频率模式或多个偏振模式。另一种情况是根据人们对操作的定义和对单个元件的定义一个元件可以在光通过它的一次过程中自然地执行多个操作例如一个50:50耦合器可以执行两次乘法和两次加法。 虽然这个元件密度的绝对值很高但我们应将其与CMOS电子技术中的空间并行性进行比较后者的晶体管密度约为1010cm−2。作为另一个比较点举一个未来候选电子技术的例子IBM制造的基于相变存储器交叉条阵列的模拟矩阵-矢量-乘法器内核在约0.6平方毫米的芯片面积内拥有65,536个相变存储器单元。这相当于每平方厘米约107个单元的密度每个单元可以理解为每个时钟周期执行一次标量模拟乘法运算。 在这种二维光子集成电路环境下光学在可制造元件的纯密度方面与电子学相比处于劣势因为电子学的晶体管密度比片上光子学的元件密度大104倍。这种比较可以说是最贴切的因为在大多数情况下基于晶体管的电子处理器是最理想的系统。不过还可以进行其他比较。即使二维光子学也能比二维微波电子学具有空间并行性优势例如光子晶体腔谐振器的面积可达~1μm2而电子微波谐振器通常要大几个数量级。 然而如果使用第三空间维度光学可能会在空间并行性方面获得几个数量级的优势因为电子学实际上仅限于非常有限的三维集成。典型的现代电子芯片很薄只有1毫米左右而且只有几十层而光学处理器通过体晶体或多模光纤等传播厚度可达几厘米甚至几米。然而在NAND存储器的具体案例中电子集成电路已经扩展到 128层这表明对于存储器而非计算而言光子学在三维空间的扩展比电子学的优势要小。 关于空间并行性还有一个重要的补充观点重要的不仅是可制造元件的密度或数量还有在实践中可并行使用的元件数量。换句话说元件密度的提高并不一定意味着计算性能的相应提高。现代CMOS电子处理器通常只能在一个时钟周期内切换一小部分例如3%晶体管这主要是由于冷却方面的限制。如果考虑到在功率耗散的限制下有多少元件可以实际并行操作那么二维光子集成电路在空间并行性方面与电子集成电路相比其劣势可能要小于元件制造密度本身所显示的。 作为光学计算空间并行性的一个例子自由空间光学处理器的原型已利用商用空间光调制器实现这些调制器拥有 ~106-107个可控像素使其成为构建高度并行系统的有用工具。通过一个具有~5 × 105像素的光学装置每次通过的光可并行计算~5 × 105的标量乘法。对于不需要空间光调制器可编程性的应用如神经网络推理制造元表面提供了实现更大并行性的途径根据成像系统空间-带宽乘积与面积的线性比例我们预计可以利用~10 × 10平方厘米的面积创建基于元表面的矩阵乘法或卷积其预编像素参数大于109个。 3几乎无耗散的动力学
光子在自由空间光学装置中传播时几乎没有能量损耗仅靠传播就能进行计算。(在某些芯片上光子的传播甚至几乎没有能量损耗例如铌酸锂薄膜芯片的波导传播损耗为0.06 dB cm−1。
那么究竟需要进行多少计算呢我们考虑线性光学系统和非线性光学系统的情况。 - 线性光学 通过光传播进行计算的一个例子是单透镜可以有效地对照射到它上面的光进行二维傅立叶变换光相关器和光神经网络中的卷积层图1d都利用了这一现象。更一般地说光在线性光学系统中的传播可以用矩阵-矢量乘法来模拟因此只需将空间模式中编码矢量维数为N的光照射到光学系统上就能进行矩阵-矢量乘法。 - 非线性光学 在光通过非线性光学系统传播时也可以看到可用于计算的近乎无耗散的动力学。例如光在具有非零二阶非线性光学易感性(χ(2))的光学介质中传播时一般会产生和频生成和差频生成过程其中输出端的光振幅是输入端两个频率的光振幅的乘积。非线性光动力学可以实现非线性数学函数这在深度神经网络和更广泛的计算中至关重要。 此外正如多个空间光束在线性光学系统中的传播可以看作是矩阵-矢量乘积一样多个空间光束在非线性光学系统中的传播可以实现矩阵-矢量乘积的高维概括即涉及n 1阶张量的张量收缩其中n是非线性光学感度χ(n)的阶数。这是一个令人印象深刻的计算特性在最低阶非线性n 2的情况下仅仅通过光在系统中的传播所进行的计算就是一个包含~N3次乘法运算的张量收缩其中N又是空间模式的数量。 光学非线性的阶数越高光在系统中的单次传播所进行的计算量就越大因为这涉及到更高阶的张量。 - 具体优势 在光学中几乎可以无耗散地进行计算这是有好处的。首先我们有可能利用无耗散动力学来执行计算所耗费的能量比在有大量耗散的不同平台如电子平台上所需的能量更少。 第二个好处是性能更高。耗散不仅会导致计算耗费更多能量还会限制处理器的时钟速度和并行性最终限制其总计算吞吐量每秒操作次数和延迟。现代CMOS电子处理器的时钟速度和晶体管的三维密度都受限于从中提取散热的能力。通过显著降低每次运算的散热量就有可能显著提高时钟速度和空间并行性单位体积内同时执行的运算次数。 就三维芯片而言光子学在耗散方面比电子学有另一个潜在优势虽然芯片中电能的损耗通常是由于能量损耗点产生热量例如导线的电阻加热但光子学中的情况可能完全不同因为光能的损耗通常不是由于吸收和随之产生的热量而是由于散射。例如硅光子集成电路中的波导就属于这种情况这表明如果构建三维硅光子芯片芯片内波导的损耗主要不会导致发热而是会导致光子在芯片内散射直到出现在表面。总之光学中近乎无耗散的动力学使三维光子芯片的制造成为可能而这种芯片不会像三维电子芯片那样面临极端的散热挑战即使发生少量的光子耗散如果是由于散射也不会在芯片的主体内引起发热因此只要避免使用吸收光子的元件我们甚至不必担心残余光子损耗会造成热管理方面的困难。 不过这些好处也有一个障碍那就是输入/输出成本计算的输入数据如何加载结果如何读出如果输入数据来自电子存储器而计算结果需要存储在电子存储器中那么即使计算本身几乎可以“免费”进行我们也需要将电子数据转换到光域以进行数据输入然后再将光答案转换回电子域。这种内存访问和转换通常还涉及数模转换和模数转换将耗费大量能源与太赫兹的光带宽相比速度有限。 幸运的是这种能量成本只与输入矢量的大小N成比例而执行的计算量可能与N2线性传播或N3或更高的幂非线性传播成比例因此对于足够大的N输入和输出的能量成本与电子处理器计算所需的成本相比是很小的。同样对于足够大的N维向量输入和输出所需的时间与电子处理器进行N2复杂度或N3复杂度计算所需的时间相比也非常少。一般来说系数的加载如线性传播中的矩阵元素也需要耗费能量和时间但这可以在多次运行中摊销如神经网络的分批推理。 4低损耗传输 光“远距离”传输信息的能量成本远低于电信号这主要是因为电线单位长度的信号衰减能量损耗远高于光纤或波导。 首先电子设备之间的光通信需要将信号从电信号转换成光信号再转换回电信号而转换设备需要耗费能源。另外沿着导线传输电信号所需的能量会随着导线长度的增加而增加因为导线的电阻会随着长度的增加而增加但这并不是问题的全部对于细导线如CMOS电子处理器中使用的导线导线延迟会随着长度的增加而二次增长为了缓解这一问题需要使用中继器来恢复延迟与长度的线性比例关系而中继器也有能量成本与驱动晶体管的开关有关。 对于片上光子处理器AIM Photonics等商业代工厂生产的氮化硅波导在波长~1,600-1,640nm时的损耗为~0.06 dB cm−1在电信C波段~1,530-1,565nm时的损耗小于 0.25 dB cm−1。 自由空间和片上光学处理器的一个重要注意事项是尽管元件之间的传播损耗可能很低但当光传播到元件或从元件传播出来时通常会产生反射或散射损耗如折射率不匹配导致的菲涅尔反射。因此光学处理器仍需精心设计以避免总体光损耗过大。 光学的低损耗传输特性已在电子计算机中得到利用数据中心的光链路、甚至芯片之间的直接光链路都利用光在从几厘米到几米的长度范围内传递信息。未来预计甚至单个芯片内的某些通信最终也可能使用光学技术。 图2光学系统中的信号传输 光尚未用于单个电子处理器芯片内的通信特别是短距离通信的一个主要原因是在光域和电域之间传输信号的光电元件需要耗费空间和能源只有当信号需要传输的距离足够长时才值得支付这些费用。然而光学计算机原则上可以利用光学技术在所有长度范围内实现低能耗、几乎无耗散的信息传输而且无需为信号传输支付空间或能量成本因为信号已经是光学的了。但需要注意的是光学处理器将不可避免地需要使用一些能量进行转换例如加载计算的初始输入数据和/或读出最终答案这通常需要在电场中进行。但是在计算过程中发生的能量转换及其成本是可以避免的。 5光束和“电线”可以交叉电线则不能 在许多情况下光学非线性几乎可以忽略不计不仅在自由空间环境中如此在光功率较低、传播长度较短的材料中也是如此非正式地说我们在普通光学环境中没有光剑。在这种情况下光束可以相互穿过而不会产生串扰。同样芯片上的光导线波导图2b也能以极低的串扰进行交叉不仅在原理上如此在实际应用中也会出现制造缺陷。 相比之下电线需要有自己的隔离物理空间区域除了不能相互穿过外即使只是相互靠近也往往会产生串扰。 这种差异为光子处理器提供了可能性使其比电子处理器更紧凑因为互联是造成处理器尺寸的一个重要因素尽管由于衍射、散射和不必要的反射使用光束传递信息并非没有自身的串扰问题。 我们可以将光束交叉的能力理解为许多自由空间空间多路复用卷积和矩阵向量乘法光学实现的关键因素。例如在使用透镜阵列进行扇出的矩阵矢量乘法器的实现中图3b输入矢量和扇出副本之间的光线会交叉。这种交叉原则上支持在小体积内实现大卷积和密集矩阵向量乘法。光学开关图2c提供了另一个光束交叉可实现更紧凑设计的例子。 图3光学系统与电力系统的其他不同之处 6光束可以高速可编程地转向而电线要么是固定的要么只能缓慢地重新配置 自由空间光束可以轻易地重新定向例如使用声光偏转器延迟时间为微秒量级图2d从而实现可重新配置的光互连图 2c。 相比之下芯片上的电线在制造时是固定的连接处理器、电路板或机架之间互连节点的电线只能缓慢移动通常为几秒量级。电子处理器通常通过使用多跳通信依靠发送方和接收方之间有一条涉及一些中间节点的路径和交换在固定的网络拓扑结构中实现信号的快速重路由来缓解固定网络的缺点。这些策略的代价是延迟增加和潜在的带宽瓶颈。 7扇入求和和扇出复制在光学中的作用不同 复制要并行处理的数据扇出和汇总多个并行处理单元的输出扇入是并行处理的重要基本原理。两者在光学中的实现方式与电子学不同也有不同的取舍。在数字处理器中扇入和扇出通常保持在低于10的水平因此每当需要更大的扇入/扇出时就必须使用多个缓冲级从而进一步延迟。 在自由空间中可以通过将光束引向空间中的一个共同点例如通过使用透镜图3a来对空间模式编码的信号进行扇入图3a在该点可以安装光电探测器如果下一步处理需要将光信号转换为电信号、全息元件将不同方向的光束合并为一个方向的光束但会损失光功率或增强器可以放大合并后的光束并重新发射单一光信号。 从概念上讲将单个空间模式的信号扇出到多个空间模式的过程在自由空间中也很容易实现基本上不需要任何特殊的工程努力图 3b想象一下一个向多个方向发射信号的光学显示屏如手机上的发光二极管显示屏--多个人从不同的有利位置观看显示屏都能看到相同的图像我们可以解释为显示屏上的数据被复制了多个副本并传输给了不同的接收器。 空间模式的扇入和扇出也可以很容易地在集成光子学平台中实现。然而在片上环境中光的传播实际上通常被限制在单个平面内而在自由空间中信号自然会在所有三个维度内传播这就使得扇入和扇出的程度更高。因此在自由空间环境中使用光学扇入或扇出比使用片上电子处理器也是准平面更容易获得优势。 到目前为止我们已经讨论了空间模式下的扇入和扇出。对于使用频率或时间模式的光学计算机扇入和扇出可通过其他方式实现。例如可以通过调制光频梳在频域中将作为电子信号输入的数据扇出也可以使用波分复用技术包括片上平台进行加权扇入。 要说明光扇进或光扇出为何或何时比电扇进或电扇出更有优势不妨考虑光学的带宽和低损耗传输以及光束可以交叉。然而光学的扇入/扇出可能性与光学的带宽、低损耗传输和光束交叉的潜在优势截然不同因此将光学中的扇入和扇出视为可用于光计算架构的特殊功能是很有意义的尽管它们也可能使用光学的其他功能来良好运行。 事实上找出潜在优势的来源可能相当微妙。例如扇入可以说在实现矢量-矢量或矩阵-矢量乘法引擎方面发挥了重要作用这些引擎每次乘法使用的光能极少在这种情况下无论矢量大小如何实现矢量-矢量点积的特定信噪比所需的光能都是固定的但光电子扇入也能实现类似的效率在这种情况下求和是在电域中进行的。 与数字-电子方法相比纯模拟电子方法计算矢量-矢量点积的能耗也更低因此对于任何使用光扇入的计算方案我们都可以问哪一部分潜在优势来自于以模拟而非数字方式执行求和哪一部分来自于使用光学而非电子技术 8单向传播 我们可以很容易地构建出自然单向传播的光学系统例如如果在系统的一部分形成一个光腔情况就会变得更加复杂。相比之下电信号可以反向传播图3c。在电子处理器中反向传播从输入到其他输入或从输出到输入可能会导致不必要的动态变化以及不必要的功耗。在某些模拟架构中这种差异使光学比电子更具优势。 尽管反向传播是电路的一个普遍特征如果电路中没有缓冲器或二极管等隔离元件只要两个连接的电路节点之间存在电压差它们之间就会有电流流过即使这两个节点是输入端但对反向传播的担忧主要出现在模拟交叉阵列处理器中与它们的扇入阶段以及潜行路径问题有关。模拟光学矩阵-矢量-乘积引擎通常采用单向传播避免了模拟电子矩阵-矢量-乘积引擎即交叉条阵中出现的一些问题而且光学提供自然隔离的概念更为宽泛可在计算中发挥作用。 需要注意的是虽然如果光线不通过任何界面完全的单向传播是可能的但任何有用的光学处理器都至少涉及一些界面例如光线从空气进入玻璃透镜因此会产生一些不可避免的反射。可以通过适当选择几何形状和材料来减少反射但永远无法完全消除。在许多情况下例如光学处理器的紧凑性和系统中反射的大小换句话说单向性之间可能存在工程上的权衡。 9绝热、最小作用和最小功率耗散原理的不同实现方式 一般物理学原理如绝热性、最小作用原理和最小能量耗散原理可导致物理系统启发式地解决优化问题这些原理的变体可用于构建优化机器如伊辛机。鉴于优化在机器学习尤其是神经网络中的核心作用设计用于执行优化的计算机通常也非常适合执行机器学习因此优化方面的优势也完全可以转化为机器学习方面的优势。 同样我们也可以将偏微分方程的求解问题重塑为变分优化问题从而将物理学优化原理应用于更广泛的计算领域。 例如费马光学的最短时间原理指出光在两点间移动的时间最小的路径图3d。费曼用路径积分公式解释了这一原理即光可以走所有可能的路径但只有建设性干涉的路径才有实质性贡献而传播时间与费马解法相差甚远的路径则是破坏性干涉。这一观点可能有助于思考如何设计使用费马大定理的优化机器。相比之下费马原理在电路中并没有直接的类似物因此利用费马原理进行优化的计算机更自然地可以尝试用光学来创建。 昂萨格的最小能量耗散原理既适用于光学也适用于电子学但由于基础物理学的不同其行为和由此产生的计算性能可能会有所不同。例如光学中的激光和参量振荡器在增益等于损耗时有一个阈值它们首先在损耗最小的模式中振荡这一事实可用于设计光学伊辛机图3e。包括振荡器在内的电路也具有启发式能量耗散最小化的动力学特性但它们与激光器或光参量振荡器并不完全相同一般来说具有不同的行为。 使用昂萨格原理的光学系统是否或在何种情况下比电子系统更具优势这还是一个未决问题但光学计算机的设计者可能希望探索这种可能性。这个问题涉及多个方面如果光学和电子动力学方程完全相同那么出于本文所述的其他一些原因如带宽光学系统仍有可能比电子系统更具优势。 然而我们还可以问除了更高的带宽导致更快的时间尺度或更大的空间并行性导致更大的系统规模之外底层方程之间的差异是否会导致不同的行为换句话说这些差异超出了迄今为止得出的其他光学与电子学的区别。 10光的量子特性可在室温下获得 我们可以在室温下存储和处理用单个光频光子编码的信息也可以在室温下以低噪声探测单个光子。这与微波频率的情况截然不同在微波频率中室温下的热噪声会迅速淹没存储在单光子中的任何信息因此无法进行低噪声单光子探测图4a。微波光子的量子特性可在约10mK的温度下获得但这种低温通常只能通过稀释制冷机来实现而稀释制冷机既笨重又昂贵金钱和能源。 对于经典信息处理而言由于可以操作和测量少量光子因此与可靠运行所需的更多光子相比能量成本可能更低。在室温下产生和测量光的挤压态也是可能的挤压态的噪声降低可能会被证明有助于经典信息处理例如在固定的能量预算光子平均数量下实现更高的数字精度。 光学中缺乏强烈的单光子非线性这在无串扰的信息交流中是一种优势但在处理光子数量较少的信息时可能成为一种劣势而单光子检测则可以规避这一问题图4b。检测过程本身的非线性是一个可以利用的特点但也可以利用光检测来概率性地诱导多种光学模式的非线性操作。 图4光的量子本质 在这篇文章中我们不考虑量子信息处理在这里当我们谈到在量子环境中运行时我们指的是光由光子组成我们在如此低的功率下运行以至于光的量子噪声和离散性质与计算机的运行建模相关。利用纠缠等量子现象构建量子计算机的话题令人兴奋但超出了本文的讨论范围。 11波物理学 观察单个光子的波性很容易在马赫-泽恩德干涉仪中观察单个光子的干涉是本科生的实验图4c而在片上光子处理器中光子的相干性得到了很好的保存但观察单个电子的波性却很困难。即使在先进的片上电子传输实验中电子相干长度也小于~250μm1μm至20μm之间的值更为典型而且仅在低温条件下。 电子的波浪特性之所以难以观测和利用是因为需要低温片上电子相干长度比片上光子相干长度更依赖于材料宿主的特性。因此尽管光子和电子的波粒二象性都是量子物理学的一部分但我们仍将光子的波物理学可及性视为其量子性质可及性的一个单独优势。 与此相对应的是尽管观察单个电子的波性质并不现实但电子学中微波信号的波现象却可以很容易地被观察到并用于计算。然而这些并不是单个电子的波现象而是由许多微波光子组成的信号的波现象。这种区别在工程学上的一个关键后果是电子微波信号的波长很长例如千兆赫信号的波长为厘米级这就明显限制了可能的空间平行性而光频光子信号则可能实现平行性这就导致了光学相对于电子学尤其是微波的潜在优势。需要注意的是一种完全不同的微波信号也可以产生并用于计算微波频率的声波。这些波尽管频率低但波长却很短但传播速度却比光子信号慢得多声速而非光速这是用它们进行计算的一个不利因素。 我们可以通过三个主要的计算性能指标来取得优势延迟、吞吐量和能效。在设计光学计算机时应针对三者中的哪一个或哪一个组合取决于用户的目标但光学技术如何能在所有三个指标上都取得优势还是有论据可循的。 需要注意的是计算机还有其他一些重要指标如尺寸、稳健性、成本、安全性易受黑客攻击和准确性。例如我们没有理由相信光学计算机能比所有可能的电子计算机提供更高的精度因此精度并不是我们期望的光学优势指标相反我们的目标通常是在特定精度下实现延迟、吞吐量和/或能效方面的优势。同样其他指标也提供了其他约束条件光学计算机必须满足这些约束条件才能在某些特定使用情况下具有竞争力。 现在我们以机器学习推理更具体地说图像中的人脸识别为例简要介绍这些指标。延迟也称延时是指从计算机获得输入图像开始计算机对图像中的人名做出预测所需的时间。吞吐量指的是每秒可以进行多少次推理对于图像中的人脸识别吞吐量指标是每秒处理的图像。请注意一般情况下1/延迟≠吞吐量通过流水线吞吐量可以远远高于延迟的倒数。一个直观的例子是考虑一家使用装配线流水线生产汽车的工厂从开始到结束工厂生产一辆汽车可能需要1天时间延迟但每天生产的汽车总数可达数百辆吞吐量。能效是指计算机在完成一次推理计算并达到指定精度时所消耗的能量对于图像中的人脸识别能效指标是每处理一张图像消耗多少焦耳。 在对这三个指标进行优化时可能会有所取舍因此在开始设计计算机之前必须确定自己的目标是什么。例如虽然最大限度地减少延迟有时是主要目标如在高频交易中但提高处理器的吞吐量或能效往往是更重要的目标在许多情况下目标将涉及所有三个指标如最大限度地提高吞吐量和能效但延迟必须满足特定目标如在神经网络推理中在许多应用中如语言翻译我们可能要求延迟小于1秒。 尽管在优化计算机性能指标时通常会有所取舍例如在延迟和吞吐量之间但以下策略应有助于设计可优化任何延迟、吞吐量和能效组合的计算机。 1避免或减轻输入和输出瓶颈/开销 光学计算机一般不完全依靠光学元件运行计算机的某些输入通常来自电子设备和/或计算机的输出最终来自电子设备。例如如果光学处理器用于判断自动驾驶汽车前是否有行人行走其输出需要电子化以便输入到汽车的控制系统中后者可以利用这些信息来驱动刹车。如果处理器使用神经网络神经网络的训练参数很可能存储在电子存储器中并需要以某种方式输入处理器。遗憾的是光学和电子之间的接口会造成速度上的重大瓶颈并成为处理器能耗的主要来源。要使光学处理器在延迟、吞吐量或能效方面比电子处理器更具优势就必须在处理器架构设计上尽量减少光信号和电信号之间的传输以及模拟信号和数字信号之间的转换所带来的负面影响。 一个重要的缓解策略是输入的数据应尽可能重复使用一旦支付了将电子数据发送到光处理器的时间和能源成本我们就希望尽可能多地从这些数据中获益。这既适用于转换成光信号的数据也适用于可能仍然是电信号但输入处理器需要时间和能源成本的数据。光信号的重复使用可以通过各种形式的光存储器以及通过扇出复制来实现。因此光计算机设计人员通常会尽可能提高扇出系数。在光学矩阵-矢量乘法器中扇出更多份输入矢量是可取的而且很可能是必要的这样才能比电子计算机获得更大的优势。 作为重复使用电子控制信号的一个例子执行神经网络推理而非训练的光学处理器可将神经网络权重加载到静态功耗很小或没有静态功耗的移相器中然后通过对这些权重进行多次推理计算例如通过批处理单个推理来多次使用这些权重。这样就可以摊销加载权重的时间和能源成本。光子神经网络处理器中数据重复使用的另一个例子是卷积神经网络相同的卷积核可以应用于输入数据的许多不同子集因此核权重至少在概念上可以一次加载并多次使用。 一般的设计原则是在其他条件相同的情况下每比特输入数据的计算次数越多越好。这一原则本质上就是传统计算机架构中最大化算术强度的概念。数据重用是实现这一目标的方法之一但一个重要的补充概念方法是选择计算任务使该任务的光学处理器执行的计算复杂度随输入数据大小而快速扩展。 一个关键的实际情况是就目前CMOS电子设备的速度和能耗而言光学处理器似乎需要支持非常大的N值例如 N 104才能达到交叉点开始在矩阵-矢量乘法的基础上提供吞吐量或能效优势。这一事实促使人们扩大光学矩阵-矢量乘法处理器的规模并设计出计算复杂度大于 O(N2) 的光学处理器。从这个角度来看组合优化如伊兴解对光学计算来说是一个很有吸引力的问题。 当光学处理器从电子存储器中加载数据时不仅需要支付存储器访问的费用电子处理器也需要支付该费用还需要支付将数据从电信号转换为光信号的费用而且可能还需要支付数模转换的费用。由于光学处理器加载数据的成本通常比电子处理器大因此有强烈的动机为光学处理器选择具有更高内在数据重用性或更高算法复杂性的算法。这种软硬件协同设计能带来相当大的改进而不是根据目前电子处理器上运行良好的算法来固定算法并试图强行将光学处理器设计成以同样的方式运行。 虽然尽量减少和补偿输入数据的成本至关重要但避免数据输出的时间或能源成本过高也同样重要。同样在光学处理器内进行尽可能多的计算和数据缩减也有利于减少需要输出的数据量。这一设计原则促使我们选择相对于输出大小需要大量计算的算法。举例来说机器学习推理通常就是如此对于整体计算来说答案可能只有几十比特输出的是输入数据的预测类别。 2不要试图直接与数字电子处理器较量 可以说要制造出在吞吐量或能效上超越电子处理器的光处理器最大的挑战在于克服电子到光学和光学到电子转换技术的性能限制。如果从电子数据开始这是最常见的情况并希望计算出的答案最终能在电子设备中得到这也是最常见的情况那么就别无选择只能采用上述策略并希望能够摊销输入/输出成本。 不过考虑到最先进的CMOS电子处理器体积庞大而且它们在处理已经存在于电子设备中的数据方面具有先天优势因此现代光学处理器很可能不会首先在传统电子处理工作流程中获得取代加速器的优势相反我们可以瞄准那些输入和/或输出天然是光学的应用这样就可以消除转换成本。 例如在自动驾驶汽车、显微镜或光谱学等应用中输入通常是来自相机的图像的机器学习应用我们可以用光学神经网络取代相机和随后的电子神经网络直接处理眼前的场景。如果最终输出将是电子数据也不必用光学取代所有电子图像处理计算可以采用光学预处理光学图像数据的策略对其进行智能编码这样从光学到电子的输出转换带宽就比一开始就将图像数字化要低得多从而在延时、吞吐量和能效方面带来好处。 虽然图像处理可以省去输入转换阶段因为输入可以直接是光学的但输入和输出都是光学的应用可能更有希望立即攻克。光通信的输入和输出都是光信号但目前的方法需要经过多个阶段将光信号转换为电信号进行电子处理然后再转换回光域。这使得光通信信号处理自然成为全光信号处理的目标全光信号处理可减少延迟、提高吞吐量并改善能效。 许多神经网络模型已经大到无法在单个电子处理器上运行的程度这促使人们设计专门用于神经网络处理的光互连。这一趋势为神经网络处理作为光学处理器的应用提供了另一个动力如果电子处理器竞争也需要支付光学和电子之间转换所产生的相对较高的能源成本那么这些转换成本至少不是使用光学处理器的唯一劣势。我们可以将光学互联数据中心中用于执行神经网络处理的单个处理器视为一个输入和输出均为光学的系统因此从这个角度来看尝试用光学处理器取代它是一个很有前景的候选方案。 3结合多种光学特性尝试获得优势 这一点听起来可能很老套但却很重要任何光学处理器要想比最好的同类电子处理器更具优势最有可能需要利用的不仅是光学的一种特性而且还需要精心组合其中的几种特性。 例如仅仅利用光学在单一空间模式下的大带宽即使我们暂时忽略输入/输出瓶颈可能也不足以带来吞吐量上的优势因为电子处理器通过巨大的空间并行性在现代芯片中拥有1011个晶体管来弥补较低的带宽。同样仅仅依靠空间并行性可能也是不够的尽管光学的空间并行性相当可观尤其是在三维系统中但晶体管的空间并行性通常更加惊人。 不过如果能在单个系统中结合光学的带宽和空间并行特性就有可能超越电子技术。例如想象一下能以10太赫兹的时钟频率并行处理107个空间模式的数据或者并行处理107个空间模式的数据每个空间模式有107个频率模式换句话说有1014个并行的空间-频率模式。不过我们还可以有更多的空间和频率模式这只是一个例子而不是约束。虽然如何充分利用光学所提供的带宽和空间并行性的组合还远未解决但结合光学中几乎可以无耗散地执行操作这一事实光学在超越电子学方面大有可为。 准确预测技术的未来是很困难的但我们可以合理地假设在这篇文章探讨的11项特性中带宽、空间并行性和几乎无耗散的动态特性最有可能在未来的光学处理器中发挥关键作用从而在延迟、吞吐量或能效方面带来整体优势。然而许多其他功能最终也可能发挥重要作用因此不应被忽视。 迄今为止许多光学处理器的演示都展示了利用光学的某些特性进行计算的原理验证这种方式可能会带来优势但系统并没有适当地利用其他一些可用的特性最终导致原型机不如当前的电子处理器。 最后下面列举了一些重大挑战如果这些挑战得到解决我们将大大接近实现实际有用的光学计算机
- 光处理器架构设计。要设计出能最有效地利用光学特性获得优势的光处理器架构是一项重大挑战。现有的光处理器架构使用自由空间或集成光子学其中一些已有几十年的历史显然并非最佳架构因此我们有机会发明经过改进或全新的设计来应对这一挑战。 - 应用。我们需要找到光学处理器的理想应用领域。利用光计算取得优势的主要障碍之一是与输入/输出相关的问题因此我们希望找到有价值的应用从而避免或减轻输入/输出瓶颈和成本。 - 非线性。非线性在许多计算中都至关重要而低能、快速、小尺寸、可可靠制造的非线性将是一个有用的构件。这种非线性不一定是全光非线性光电子非线性也可能有用不过一般来说人们可以希望从全光非线性的更高带宽和可能更低的能耗中获益。 - 级联性。在许多计算中例如在深度神经网络中输入数据不是通过一个函数而是通过一系列函数输入的。因此计算的光学实现通常需要将光信号多次通过同一光学装置或多个不同的光学装置或两者兼而有之。这就要求能够在时间或空间上级联光学过程。 - 三维设计与制造。空间并行性可通过使用三维空间得到大幅提升如果耗散保持在较低水平这将为电子技术提供优势。另外利用三维空间实现模式间的长程耦合以及与光学传输原理相关的优势也能带来好处这里的关键问题是如何设计和制造可编程、大规模、高密度的三维处理器。 - 电子和光电元件的能源成本。光学处理器的能耗成本通常由计算机电子部件的能耗成本主导。许多光学计算方案都能从大量高速、低功耗、低成本的探测器、模数转换器、调制器和数模转换器阵列中获益甚至需要它们来提供优势。提高这些组件的能效是一项重要挑战。 - 规模。大多数光计算方案都依赖于并行性无论是频率或时间多路复用还是空间多路复用或两者的结合这也是它们实现优于电子技术的部分原因。然而吞吐量和能效优势通常只有在系统规模即并行操作数量非常大时才能体现。大多数光学计算方案都面临着巨大的扩展挑战无法实现实际优势在某些情况下我们甚至还没有关于如何扩展的切实可行的路线图。 - 稳健性、可靠性和制造变化。尽管许多光学元件如手机等消费电子设备和光纤通信系统中出现的光学元件通常都非常可靠但许多正在考虑用于光学计算机的光学技术在鲁棒性例如在温度变化或机械振动等环境扰动下的性能、可靠性例如在正常运行条件下保持正常工作的可能性和制造差异例如制造出来的器件在规格上与设计值的差异有多大方面都面临挑战。一般来说对于可能用于光学计算机的每种光子技术平台都存在如何稳定被动或主动它的问题。 - 存储。为了避免电子和光学之间的转换成本以及避免电子存储器访问成本即使在电子计算机中也是主要成本我们通常希望能够存储数据以便在光学处理中使用。 - 突破量子极限。实现光能耗最小化的途径之一是在光的量子特性不容忽视的情况下运行光学计算机。例如通过使用超低光功率信号由少量光子组成并由单光子探测器测量。需要注意的是光学计算机将不可避免地涉及一些电子设备即使只是用于控制或读出而电子设备的能耗成本往往是最主要的因此只有在某些情况下最大限度地降低光功率才会带来巨大的好处。尽管如此在这些情况下无论是设计架构还是实现实用设备都有许多工作要做这些设备都能从量子机制中获益。 1、优势 “物理域”和“计算域”的协同
计算光学成像的最大优势在于它代表了一种崭新的光学系统设计方式。其在建立光的几何光学波动光学甚至光量子模型的基础上采用照明与光学系统调制等方式建立场景与观测之间的变换或调制模型然后利用逆问题求解等数学手段通过计算反演来进行成像。这种计算成像方法实质上就是在场景和图像之间建立了某种特定的联系这种联系可以是线性的也可以是非线性的可以突破一一对应的直接采样形式 实现非直接的采样形式使得采样形式更加灵活更能充分发挥不同传感器的特点与性能。这种灵活的设计模式可以改变光学测量的性质以获得所需的结果并平衡物理域和计算域之间对图像生成和信息提取所依赖的资源。利用信息论的概念不仅可以借助于传统光学设计的优势还可以充分利用对于光信息处理的潜力来设计成像系统。 潜在的“通用理论框架”
计算光学成像技术的另一大显著优势在于其能够有望形成一个更高维度的框架体系来分析处理与看待光学成像的具体个案问题。传统光学成像技术的发展大多依赖于 case-by-case 的研究方式极易造成大量重复性研究难以揭示那些看似独立的成像方法之间的内在关联。此外特定方法针对核心成像指标提升的本质原因仍不明确从而难以定量优化或进一步提升其成像潜能。而计算光学成像实则提供了一个“包罗万象”的通用理论框架一个典型的计算光学成像系统由照明、样品、成像系统、探测器四部分构成。照明光与样品发生作用后成为其本质信息 (如吸收相位折射率等) 的载体通过对照明与成像系统进行光学调控使物体的本质信息转化为光强信号由探测器离散采集最后通过相应的计算方法对样品本质信息进行反演获得样品高维高分辨率定量数据。若能基于物理成像模型构建计算光学成像理论体系突破“如何表示”、“如何求解”、“如何设计”三大关键科学问题并在此体系下发展求解相应逆问题的标准可重用算法发挥可见光波段光学调控手段的灵活优势有助于实现有限资源的最大效用使最优核心成像指标实现质的突破进而促使面向各类复杂现实成像应用的新理论、新机制、新技术更快更系统地形成。 2、挑战
成本与代价
俗话说“天下没有免费的午餐”任何事物的存在都具有两面性计算成像技术亦是如此。当设计计算光学成像系统时必须权衡计算成像和传统成像技术相关的成本代价与预期的功效改善。考虑的成本代价包括进行非传统点对点强度测量的物理元件的成本、对观测目标多次测量产生的时间成本、数据量以及物理模型和校准与标定对处理性能的影响等。尽管计算成像技术的某些案例能够 (在一定意义上) 简化成像系统但从整体来看往往并非能够那么轻易下结论。例如单像素成像技术虽然能够简化探测端降低了采用大规模阵列探测器的成本但是却令照明或者光学系统变得复杂化。空间光调制器的引入往往使系统成本不降反升多次采样所导致时间成本与数据量的增加重建运算所导致的复杂度往往远高于传统面阵成像技术。另一方面采用昂贵的专用光学器件代替价格低廉且易于大批量生产的光学透镜其实并非一个明智的选择。 定制化 vs 标准化
光学系统与处理算法的联合设计是计算光学成像系统的标志性特点这与传统光学成像设备与仪器的模块化、开放式系统设计理念背道而驰。模块化开放式系统设计模式是现代成像技术与系统的一大发展趋势例如具有标准化接口的模块化设计可以使佳能单反相机兼容尼康公司所生产的镜头或在各种硬件平台上如照相机、手机甚至平板电脑上移植高动态范围成像算法的应用程序。这种接口模块化和标准化设计使光学成像设备的低成本、大规模生产成为可能促进了包含光学传感器的复杂消费电子设备的普及。计算光学成像的前端与后端联合设计思路恰好与模块化开放式系统设计思路相悖因此计算光学成像系统必须在功能、性能、实用性或人机界面方面提供压倒性的优势才有希望未来能够克服这种标准化模块化为主导的设计范式。 技术优势 vs 市场需求
功能与技术的先进性和简单易用便携到底孰更重要对于科研应用来说也许前者是最重要的。但是对于商业系统特别是消费电子类产品来说后者才是关键。当计算成像技术从学术界走向产业界时就必须认清现实——商业产品必须具备市场优势而不仅仅是技术优势。例如相比较更清晰的图像与更高的分辨率减少医疗成像中人体对 X 光辐射暴露的时间或减少进站安检 X 光机所需的等待时间往往是消费者更为在意的地方。关于这方面一个众所周知的反例就是光场相机其所带来的功能优势并不能很好地弥补其在成像质量与易用性上的缺失导致普通消费人群并没有因为其一系列创新功能而动容买单。 3、发展机会
或许对于研究人员而言计算光学成像最大的吸引力来自通过计算机与微处理器性能的不断提升使光学成像也能够搭上“摩尔定律”的顺风车利用强大的“算力”突破物理定律 (如麦克斯韦方程、光学衍射极限、采样定律、不确定性原理等) 的限制与制约。但是对于普通大众而言更令他们感兴趣的还是计算光学成像所带来的功能与性能方面的提升。为了预测计算光学成像技术对未来成像系统的发展走向的影响将着重考虑计算光学成像潜在的广泛应用领域科学仪器、商业工业、国防安全。 科学仪器
科学仪器是科学研究与高端制造业发展所不可或缺的重要工具是现代工业研发与生产的重要物质支撑也是物理、化学、材料、生命科学等实验科学数据的根本源头。正如之前所提及的计算光学成像技术尤其适用于拥有广泛消费基础的昂贵科学仪器设备而科学与医学领域则是这类高端科学仪器设备的主要集散地。例如2014 年诺贝尔化学奖被授予具有亚波长成像能力的超分辨率荧光显微成像技术现阶段已经有众多商业化的科学仪器与产品。对该项技术而言科研应用对功能和性能提升上的需求远超过计算光学成像所需的数据处理所耗费的代价这点已经从 X-ray CT 和 MRI 等技术的广泛推广与应用得到证实。在此背景下计算光学成像技术 (如单像素成像、无透镜成像) 具有非常可观的应用空间。 商业工业
在商业应用方面手机摄像头与微处理器等高度集成系统为计算光学成像提供了新的机遇。例如在iPhone X 上集成的用于三维人脸识别的结构光传感器。它包括精密的照明、图像捕捉和微型化的处理芯片。目前智能手机中存在的传感、处理、存储、显示和通信系统紧凑集成这即将为计算光学成像在移动消费终端的技术落地提供沃土。另一方面随着触摸屏、手势控制、体感控制的发明人机界面经历了一场革命。体感控制本质上需要三维成像技术来感知人体或身体部位的位置和姿势从而实现计算机的远程控制或者游戏交互娱乐。此外当今概念大热的“元宇宙”作为虚拟世界和现实世界融合的载体也需要具备“沉浸感、开放性”等特征计算光学成像 (特别是三维成像技术)、虚拟和增强现实 (VR/AR) 等成为其底层支撑技术。现阶段的三维感知、VR/AR 在产业链成熟度、生态构建等方面还无法支撑元宇宙的愿景。不过可以预见的是未来计算光学成像传感技术、显示技术、实时交互等技术将与计算机网络、大数据云计算、操作系统等底层技术更紧密结合并进一步共同发展从而才能使“元宇宙”为用户提供完美沉浸式体验助推实现科技与人文的结合推动游戏、工业、教育及社交等多场景在元宇宙的渐进式发展。 工业应用方面其目标是工业生产全线的自动化控制包括设计、生产、加工、装调、检测等。计算光学成像技术在其中也有望充分发挥其优势。例如基于高精度三维测量技术对流水线上的工件与产品进行合规检测通过主动三维传感技术提取环境信息经过计算机处理后进行后续分析并反馈机器人执行装配命令等从而保证工业自动化生产全链路闭环控制。 国防安全
未来的国家安全与民生保障要求光电成像与探测系统能同时实现高像素分辨率多模态成像高灵敏度大景深快帧频而传统光电成像技术对于解决新的未来的反恐维稳、监控安防、国防安全等领域成像探测应用需求所带来的问题已显得力不从心其具体表现在光电成像系统在信息获取能力、功能、性能指标等方面的提高过度依赖于探测器技术水平的提高。单一成像系统难以同时实现高灵敏度大景深高分辨快帧频。此外对于传统小视场的成像系统而言成像分辨率往往最终由光学系统口径所决定。然而传统光学系统设计受限于光学衍射极限为了实现高分辨率必须增加光学系统的孔径而光学系统孔径的不断加大会导致体积、质量不断增加更重要的是孔径尺寸的增加往往导致景深与视场尺寸的对应缩减。因此发展基于计算光学的新概念光电成像与探测机理与方法指导高精尖光电成像系统的设计已经成为国防安全领域新一代光电成像技术与系统的重要发展方向。
