使用卷积神经进行块匹配制造技术

CNN(402)对块匹配硬件模块(诸如DMPAC模块(522))的视差或运动输出进行操作，以产生改进具有模糊区域的图像中的操作的细化视差或运动流。由于块匹配硬件模块(522)提供了大部分处理，因此与执行所有处理的CNN(402)相反，CNN(402)可以很小，因此能够实时运行。在一个示例中，仅当块硬件模块(522)输出置信水平低于预定量时才执行CNN(402)操作。CNN(402)可以有多种不同的配置，并且仍然足够小，可以在传统平台上实时运行。统平台上实时运行。统平台上实时运行。

【技术实现步骤摘要】
【国外来华专利技术】使用卷积神经进行块匹配

技术介绍

[0001]本领域涉及使用神经网络的图像处理。
[0002]汽车中电子设备的使用每天都在增加。除了传统的发动机控制器、变速器控制器、信息娱乐单元、车身控制器等之外，众多安全和自主系统的出现大大增加了汽车内部完成的处理。例如，自适应巡航控制可能需要雷达系统、发动机控制器和变速器控制器之间的相互通信。更高级的功能，诸如避免碰撞和自主操作，可能需要大量的图像处理，特别是视差和运动预测。
[0003]传统的基于块匹配的立体和光流引擎分别提供合理质量的视差和运动流，并且它们适用于实时处理的硬件加速。术语视差是指由于用于捕获两个图像的摄像头的不同视角而在左右图像之间的帧中的每个像素处发生的移位。术语运动是指在连续帧之间的帧中的每个像素处发生的移位。硬件加速可以完成，因为基本算法能够由专用的特殊功能硬件逻辑引擎执行。DMPAC(视差和运动预测加速核)硬件加速模块分别针对立体和光流实现半全局块匹配和Lucas
‑
Kanade方法，以实时高效地提供相当准确的视差和运动流。
[0004]半全局块匹配基于互信息的逐像本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种图像处理系统，其包括：块匹配硬件模块，其具有用于接收第一和第二图像流的输入和用于提供位移流的输出；以及卷积神经网络即CNN，其具有耦合到所述块匹配硬件模块的输入，用于接收所述位移流和用于接收所述第一和第二图像流中的至少一个并且运行以提供细化位移流。2.根据权利要求1所述的图像处理系统，其中所述第一和第二图像流为左图像流和右图像流，并且所述位移流和细化位移流各自为视差流，以及其中所述CNN接收所述第一和第二图像流两者。3.根据权利要求1所述的图像处理系统，其中所述第一和第二图像流为左图像流和右图像流，并且所述位移流和细化位移流各自为视差流，以及其中所述CNN仅接收所述第一和第二图像流中的一个。4.根据权利要求1所述的图像处理系统，其中所述第一和第二图像流是当前图像流和先前图像流，并且所述位移流和细化位移流各自是运动流，并且其中所述CNN接收所述第一和第二图像流两者。5.根据权利要求1所述的图像处理系统，其中所述第一和第二图像流是当前图像流和先前图像流，并且所述位移流和细化位移流各自是运动流，并且其中所述CNN仅接收所述第一和第二图像流中的一个。6.根据权利要求1所述的图像处理系统，其中所述块匹配硬件模块还提供置信流，所述图像处理系统还包括：比较器逻辑，其耦合到所述块匹配硬件模块和所述CNN并且接收所述置信流、所述位移流和所述细化位移流，并且如果所述置信流值大于阈值，则提供所述位移流，如果所述置信流值小于所述阈值，则提供所述细化位移流。7.根据权利要求1所述的图像处理系统，其中所述CNN由执行软件指令的数字信号处理器形成。8.一种系统，其包括：片上系统即SoC，其包括：多个处理器；存储器控制器，其耦合到所述多个处理器；板载存储器，其耦合到所述存储器控制器；外部存储器接口，其用于连接外部存储器；高速互连，其耦合到所述多个处理器、所述存储器控制器和所述外部存储器接口；外部通信接口，其耦合到所述高速互连；以及块匹配硬件模块，其具有用于接收第一和第二图像流的输入和用于提供位移流的输出；以及外部存储器，其耦合到所述外部存储器接口并储存用于在所述多个处理器中的处理器上执行的指令，以在所述处理器上执行时形成卷积神经网络即CNN，该卷积神经网络具有耦合到所述块匹配硬件模块的输入，用于接收所述位移流，并且用于接收所述第一和第二图像流中的至少一个，并运行以提供细化的位移流。9.根据权利要求8所述的系统，其中所述第一和第二图像流是左图像流和右图像流，并
且所述位移流和细化位移流各自是视差流，并且其中所述CNN接收所...

【专利技术属性】
技术研发人员：李婧，DK，
申请(专利权)人：德克萨斯仪器股份有限公司，
类型：发明
国别省市：