一种基于专用AI感知芯片的实时全景感知系统及方法技术方案

本发明专利技术公开了一种基于专用AI感知芯片的实时全景感知系统及方法，系统包括：鱼眼相机模块、异构运算平台以及专用AI感知芯片；所述鱼眼相机模块，用于采用横向布置方式采集鱼眼图像；所述异构运算平台，用于将所述鱼眼图像转化为双目立体图；将所述专用AI感知芯片计算得到的视差图和时钟信号解析为全景稠密深度图；所述专用AI感知芯片，用于根据所述双目立体图与预设的立体匹配参数计算得到定所述视差图和时钟信号。本发明专利技术可以减少视觉相机系统的体积并降低功耗，可广泛应用于实时环视深度估计领域。估计领域。估计领域。

【技术实现步骤摘要】
一种基于专用AI感知芯片的实时全景感知系统及方法


[0001]本专利技术涉及实时环视深度估计领域，尤其是一种基于专用AI感知芯片的实时全景感知系统及方法。

技术介绍

[0002]在视觉相机系统中，当前普遍使用的针孔相机视场范围小，需要多个相机构建相机阵列以实现全景图像的采集。现有技术中，将10个针孔相机两两一组进行环绕布置，以实现360度的全景深度感知，但针孔相机数量较多导致视觉相机系统体积较大。而使用鱼眼相机的视觉相机系统，相较于10个针孔相机的构型，具有更小的体积。然而，全景深度感知需要消耗大量的计算资源，导致上述鱼眼相机的视觉相机系统只能部署在具有较大功耗和较大体积的计算设备上，限制了其在微小型无人系统上的应用。
[0003]因此，上述问题亟待解决。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供一种基于专用AI感知芯片的实时全景感知系统及方法，用于减少视觉相机系统的体积并降低功耗。
[0005]本专利技术实施例的一方面提供了一种基于专用AI感知芯片的实时全景感知系统，包括：鱼眼相机模块、异构运算平台以及专用AI感知芯片；
[0006]所述鱼眼相机模块，用于采用横向布置方式采集鱼眼图像；
[0007]所述异构运算平台，用于将所述鱼眼图像转化为双目立体图；将所述专用AI感知芯片计算得到的视差图和时钟信号解析为全景稠密深度图；
[0008]所述专用AI感知芯片，用于根据所述双目立体图与预设的立体匹配参数计算得到所述视差图和时钟信号。
[0009]可选地，所述鱼眼相机模块包括四个鱼眼相机，四个鱼眼相机环形横向放置，用于获取覆盖全景的鱼眼图像。
[0010]可选地，其特征在于，所述系统还包括固定结构件；
[0011]四个所述鱼眼相机分别固定在所述固定结构件上，且在所述固定结构件上前后左右相对环绕横向布置。
[0012]可选地，四个所述鱼眼相机通过硬件触发的方式同步采集鱼眼图像，并将所述鱼眼图像发送到所述异构运算平台。
[0013]可选地，所述异构运算平台和所述专用AI感知芯片集成于同一印刷电路板上。
[0014]可选地，所述系统还包括通信接口模块；
[0015]所述通信接口模块与所述异构运算平台连接，所述异构运算平台还用于通过所述通信接口模块向其它终端发送所述全景稠密深度图，以供所述其它终端对所述全景稠密深度图进行后处理。
[0016]可选地，所述通信接口模块采用以太网口。
[0017]可选地，所述系统还包括无人机；
[0018]所述鱼眼相机模块、异构运算平台以及专用AI感知芯片均固定在所述无人机上。
[0019]本专利技术实施例的另一方面还提供了一种基于专用AI感知芯片的实时全景感知方法，应用于上述一种基于专用AI感知芯片的实时全景感知系统中的专用AI感知芯片，包括：
[0020]从异构运算平台获取由鱼眼图像转化的双目立体图；
[0021]对所述双目立体图进行图像矫正，得到无畸变的双目立体图；
[0022]提取所述无畸变的双目立体图中每一个像素点的特征信息；
[0023]根据所述特征信息与预设的立体匹配参数计算得到所述双目立体图对应的视差图。
[0024]可选地，所述方法还包括：
[0025]对所述视差图进行左右一致性检测和中值滤波操作，得到经过优化的所述视差图。
[0026]本专利技术实施例的另一方面还提供了一种电子设备，包括处理器以及存储器；
[0027]所述存储器用于存储程序；
[0028]所述处理器执行所述程序实现所述的一种基于专用AI感知芯片的实时全景感知方法。
[0029]本专利技术实施例的另一方面还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现所述的一种基于专用AI感知芯片的实时全景感知方法。
[0030]本专利技术实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
[0031]本专利技术采用鱼眼相机模块采集图像，相较于现有技术利用多个针孔相机组成的视觉相机系统，本专利技术可以减少相机的数量从而减小体积，并且，本专利技术的鱼眼相机模块采用横向布置方式采集鱼眼图像，相较于现有技术纵向布置鱼眼相机导致影响定位精度，本专利技术可以降低鱼眼相机畸变对深度估计的影响，同时，本专利技术采用的专用AI感知芯片用于将输入的双目立体图像和立体匹配参数输出为稠密的视差图及时钟信号，但功耗十分低，无需依赖现有技术中的高性能高功耗的计算平台，具有优越的能耗比。
附图说明
[0032]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0033]图1为本专利技术实施例提供的一种基于专用AI感知芯片的实时全景感知系统的组件示意图；
[0034]图2为本专利技术实施例提供的一种基于专用AI感知芯片的实时全景感知系统的示例结构图；
[0035]图3为本专利技术实施例提供的一种固定结构件的示例结构图；
[0036]图4为本专利技术实施例提供的一种实时全景感知系统的俯视图；
[0037]图5至图7为本专利技术实施例提供的图4所示的全景感知系统在不同角度下的结构图；
[0038]图8为本专利技术实施例提供的一种搭载了异构运算平台和专用AI芯片的印刷电路板的具体示例图；
[0039]图9为本专利技术实施例提供的另一种搭载了异构运算平台和专用AI芯片的印刷电路板的具体示例图；
[0040]图10为本专利技术实施例提供的一种专用AI感知芯片的外观示例图；
[0041]图11与图12为本专利技术实施例提供的一种部署在无人机的实时全景感知系统的示例图；
[0042]图13与图14为本专利技术实施例提供部署在无人机的实时全景感知系统在不同角度下的结构图；
[0043]图15为本专利技术实施例提供的一种搭载了全景感知系统的无人机实物图；
[0044]图16为本专利技术实施例提供的一种基于专用AI感知芯片的实时全景感知方法的流程示意图；
[0045]图17为本专利技术实施例提供的一种基于专用AI感知芯片的实时全景感知方法的具体示例图；
[0046]图18为本专利技术实施例提供的一种专用AI感知芯片的立体匹配数据处理流程图。
具体实施方式
[0047]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0048]参照图1，本专利技术实施例提供了一种基于专用AI感知芯片的实时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于专用AI感知芯片的实时全景感知系统，其特征在于，包括：鱼眼相机模块、异构运算平台以及专用AI感知芯片；所述鱼眼相机模块，用于采用横向布置方式采集鱼眼图像；所述异构运算平台，用于将所述鱼眼图像转化为双目立体图；将所述专用AI感知芯片计算得到的视差图和时钟信号解析为全景稠密深度图；所述专用AI感知芯片，用于根据所述双目立体图与预设的立体匹配参数计算得到所述视差图和时钟信号。2.根据权利要求1所述的一种基于专用AI感知芯片的实时全景感知系统，其特征在于，所述鱼眼相机模块包括四个鱼眼相机，四个鱼眼相机环形横向放置，用于获取覆盖全景的鱼眼图像。3.根据权利要求2所述的一种基于专用AI感知芯片的实时全景感知系统，其特征在于，所述系统还包括固定结构件；四个所述鱼眼相机分别固定在所述固定结构件上，且在所述固定结构件上前后左右相对环绕横向布置。4.根据权利要求2所述的一种基于专用AI感知芯片的实时全景感知系统，其特征在于，四个所述鱼眼相机通过硬件触发的方式同步采集鱼眼图像，并将所述鱼眼图像发送到所述异构运算平台。5.根据权利要求1所述的一种基于专用AI感知芯片的实时全景感知系统，其特征在于，所述异构运算平台和所述专用AI感知芯片集成于同一印刷电路板上。6.根据权利要求5所述的一种基于专用...

【专利技术属性】
技术研发人员：陈刚，黄谦，严远星，杨壹翔，郑佳宁，
申请(专利权)人：中山大学，
类型：发明
国别省市：