一种定位建图优化方法、装置及定位建图优化芯片制造方法及图纸

本发明专利技术适用于头戴显示设备技术领域，提供了一种定位建图优化方法、装置及定位建图优化芯片，方法包括：响应于定位建图指令，调用第一传输模块获取输入图像和深度图像，调用第二传输模块获取传感器数据；将输入图像发送至图像处理模块，以使图像处理模块根据输入图像计算特征描述子；数据打包模块中，调用时戳产生模块在特征描述子中添加第一时间标签，在深度图像中添加第二时间标签，在传感器数据中添加第三时间标签；调用数据打包模块根据第一时间标签、第二时间标签和第三时间标签对齐特征描述子、深度图像和传感器数据，并将对齐的数据包装后输出，以通过SLAM算法执行定位建图指令。通过本发明专利技术可以减轻SLAM算法执行时的计算负荷。

【技术实现步骤摘要】
一种定位建图优化方法、装置及定位建图优化芯片
本专利技术涉及头戴显示设备
，尤其涉及一种定位建图优化方法、装置及定位建图优化芯片。
技术介绍
头戴显示设备是AR(AugmentedRealityTechnique，增强现实技术)的最佳运用环境，其能将虚拟信息通过头戴设备窗口呈现在真实环境中。目前的AR产品有一体式AR眼镜，其内置有电池，包含完整的计算处理单元和所有电子器件，能够独立工作并满足AR功能需求。上述的计算处理单元中通常结合SLAM(SimultaneousLocalizationandMapping，即时定位与地图构建)技术实现视觉定位和地图构建，但一般采用通用CPU芯片来计算，计算负荷大，延时大，多路数据难以同步。
技术实现思路
本专利技术的主要目的在于提出一种定位建图优化方法、装置及定位建图优化芯片，以解决现有技术中一体式AR眼镜所使用的处理芯片计算负荷大，有较高延时，数据同步难的问题。为实现上述目的，本专利技术实施例第一方面提供一种定位建图优化方法，应用于第一传输模块、第二传输模块、图像处理模块、数据打包模块、时戳产生模块构成的定位建图优化芯片，方法包括：响应于定位建图指令，调用所述第一传输模块获取输入图像和深度图像，同时调用所述第二传输模块获取传感器数据；将所述输入图像发送至所述图像处理模块，以使所述图像处理模块根据所述输入图像计算特征描述子；将所述特征描述子、所述深度图像和所述传感器数据发送至数据打包模块；在所述数据打包模块中，调用所述时戳产生模块在所述特征描述子中添加第一时间标签，在所述深度图像中添加第二时间标签，在所述传感器数据中添加第三时间标签；调用所述数据打包模块根据所述第一时间标签、所述第二时间标签和所述第三时间标签对齐所述特征描述子、所述深度图像和所述传感器数据，并将对齐的所述特征描述子、所述深度图像和所述传感器数据包装后输出，以通过SLAM算法执行所述定位建图指令。结合本专利技术第一方面，本专利技术第一实施方式中，调用所述第一传输模块获取输入图像和深度图像，包括：调用所述第一传输模块从双目彩色摄像头获取左眼彩色图像和右眼彩色图像，所述左眼彩色图像和所述右眼彩色图像均为所述输入图像；调用所述第一传输模块从深度摄像头获取所述深度图像。结合本专利技术第一方面第一实施方式，本专利技术第二实施方式中，将所述输入图像发送至所述图像处理模块，以使所述图像处理模块根据所述输入图像计算特征描述子，包括：分别将所述左眼彩色图像和所述右眼彩色图像作为输入图像，分别发送至所述图像处理模块；所述图像处理模块根据所述输入图像计算特征描述子，包括：对所述输入图像进行处理，获得N层处理图像和计算描述子；计算第i层处理图像的像素的角点值；根据所述角点值在第i层所述处理图像中筛选角点，获得基于N层所述处理图像的特征角点，其中，N为正整数，i为小于N的正整数；计算所述特征角点的角点方向，根据所述角点方向和所述计算描述子输出基于所述输入图像的特征描述子。结合本专利技术第一方面第二实施方式，本专利技术第三实施方式中，对所述输入图像进行处理，获得N层处理图像和计算描述子，包括：对所述输入图像进行滤波处理，获得所述计算描述子；对所述输入图像进行N次图像插值处理，获得N层所述处理图像。结合本专利技术第一方面，本专利技术第四实施方式中，所述调用第二传输模块获取传感器数据，包括：调用所述第二传输模块从九轴传感器中读取传感器数据，并将所述传感器数据转换为预设格式的数据包。结合本专利技术第一方面，本专利技术第五实施方式中，调用所述数据打包模块将对齐的所述特征描述子、所述深度图像和所述传感器数据包装后输出，以通过SLAM算法执行所述定位建图指令之前，包括：检测对齐的所述特征描述子、所述深度图像和所述传感器数据的时间标签；若所述时间标签之间存在差异，则根据所述第一时间标签、第二时间标签和第三时间标签仲裁输出顺序。本专利技术实施例第二方面提供一种定位建图优化装置，应用于第一传输模块、第二传输模块、图像处理模块、数据打包模块、时戳产生模块构成的定位建图优化芯片，装置包括：数据获取模块，用于响应于定位建图指令，调用所述第一传输模块获取输入图像和深度图像，同时调用所述第二传输模块获取传感器数据；特征描述子计算模块，用于将所述输入图像发送至所述图像处理模块，以使所述图像处理模块根据所述输入图像计算特征描述子；数据传输模块，用于将所述特征描述子、所述深度图像和所述传感器数据发送至数据打包模块；时间戳模块，用于在所述数据打包模块中，调用所述时戳产生模块在所述特征描述子中添加第一时间标签，在所述深度图像中添加第二时间标签，在所述传感器数据中添加第三时间标签；数据输出模块，用于调用所述数据打包模块根据所述第一时间标签、所述第二时间标签和所述第三时间标签对齐所述特征描述子、所述深度图像和所述传感器数据，并将对齐的所述特征描述子、所述深度图像和所述传感器数据包装后输出，以通过SLAM算法执行所述定位建图指令。本专利技术实施例第二方面提供一种定位建图优化芯片，包括第一传输模块、第二传输模块、图像处理模块、数据打包模块、时戳产生模块；所述数据打包模块分别与所述第一传输模块、第二传输模块、图像处理模块、和时戳产生模块连接，所述第一传输模块还与所述图像处理模块连接，所述数据打包模块还与外部USB连接；所述第一传输模块，用于获取输入图像和深度图像；所述第二传输模块，用于获取传感器数据；所述图像处理模块，用于根据所述输入图像计算特征描述子；所述时戳产生模块，用于在所述特征描述子中添加第一时间标签，在所述深度图像中添加第二时间标签，在所述传感器数据中添加第三时间标签；所述数据打包模块，用于根据所述第一时间标签、所述第二时间标签和所述第三时间标签对齐所述特征描述子、所述深度图像和所述传感器数据，并将对齐的所述特征描述子、所述深度图像和所述传感器数据包装后输出，以通过SLAM算法执行所述定位建图指令。本专利技术实施例的第四方面提供了一种终端设备，包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上第一方面所提供的方法的步骤。本专利技术实施例的第五方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上第一方面所提供的方法的步骤。本专利技术实施例提出一种定位建图优化方法，通过第一传输模块获取输入图像和深度图像，通过第二传输模块获取传感器数据，并通过图像处理对输入图像进行处理获得特征描述子，然后将上述的特征描述子、深度图像及传感器数据发送至数据打包模块，数据打包模块获取到特征描述子、深度图像和传感器数据后，利用时戳产生模块为特征描述子、深度图像和传感器数据添加的第一时间标签、第二时间标签和第三时间标签，将上述数据对齐，然后将对本文档来自技高网...

【技术保护点】
1.一种定位建图优化方法，其特征在于，应用于第一传输模块、第二传输模块、图像处理模块、数据打包模块、时戳产生模块构成的定位建图优化芯片，方法包括：/n响应于定位建图指令，调用所述第一传输模块获取输入图像和深度图像，同时调用所述第二传输模块获取传感器数据；/n将所述输入图像发送至所述图像处理模块，以使所述图像处理模块根据所述输入图像计算特征描述子；/n将所述特征描述子、所述深度图像和所述传感器数据发送至数据打包模块；/n在所述数据打包模块中，调用所述时戳产生模块在所述特征描述子中添加第一时间标签，在所述深度图像中添加第二时间标签，在所述传感器数据中添加第三时间标签；/n调用所述数据打包模块根据所述第一时间标签、所述第二时间标签和所述第三时间标签对齐所述特征描述子、所述深度图像和所述传感器数据，并将对齐的所述特征描述子、所述深度图像和所述传感器数据包装后输出，以通过SLAM算法执行所述定位建图指令。/n

【技术特征摘要】
1.一种定位建图优化方法，其特征在于，应用于第一传输模块、第二传输模块、图像处理模块、数据打包模块、时戳产生模块构成的定位建图优化芯片，方法包括：
响应于定位建图指令，调用所述第一传输模块获取输入图像和深度图像，同时调用所述第二传输模块获取传感器数据；
将所述输入图像发送至所述图像处理模块，以使所述图像处理模块根据所述输入图像计算特征描述子；
将所述特征描述子、所述深度图像和所述传感器数据发送至数据打包模块；
在所述数据打包模块中，调用所述时戳产生模块在所述特征描述子中添加第一时间标签，在所述深度图像中添加第二时间标签，在所述传感器数据中添加第三时间标签；
调用所述数据打包模块根据所述第一时间标签、所述第二时间标签和所述第三时间标签对齐所述特征描述子、所述深度图像和所述传感器数据，并将对齐的所述特征描述子、所述深度图像和所述传感器数据包装后输出，以通过SLAM算法执行所述定位建图指令。


2.如权利要求1所述的定位建图优化方法，其特征在于，调用所述第一传输模块获取输入图像和深度图像，包括：
调用所述第一传输模块从双目彩色摄像头获取左眼彩色图像和右眼彩色图像，所述左眼彩色图像和所述右眼彩色图像均为所述输入图像；
调用所述第一传输模块从深度摄像头获取所述深度图像。


3.如权利要求2所述的定位建图优化方法，其特征在于，将所述输入图像发送至所述图像处理模块，以使所述图像处理模块根据所述输入图像计算特征描述子，包括：
分别将所述左眼彩色图像和所述右眼彩色图像作为输入图像，分别发送至所述图像处理模块；
所述图像处理模块根据所述输入图像计算特征描述子，包括：
对所述输入图像进行处理，获得N层处理图像和计算描述子；
计算第i层处理图像的像素的角点值；
根据所述角点值在第i层所述处理图像中筛选角点，获得基于N层所述处理图像的特征角点，其中，N为正整数，i为小于N的正整数；
计算所述特征角点的角点方向，根据所述角点方向和所述计算描述子输出基于所述输入图像的特征描述子。


4.如权利要求3所述的定位建图优化方法，其特征在于，对所述输入图像进行处理，获得N层处理图像和计算描述子，包括：
对所述输入图像进行滤波处理，获得所述计算描述子；
对所述输入图像进行N次图像插值处理，获得N层所述处理图像。


5.如权利要求1所述的定位建图优化方法，其特征在于，所述调用第二传输模块获取传感器数据，包括：
调用所述第二传输模块从九轴传感器中读取传感器数据，并将所述传感器数据转换为预设格式的数据包。


6.如权利要求1所述的定位建图优化方法，其特征在于，调用所述数据打包模块将对齐的所述特征描述子、所述深度图像和所述传感器数据包装后输出，以...

【专利技术属性】
技术研发人员：姜爱鹏，朱猛，
申请(专利权)人：唯羲科技有限公司，
类型：发明
国别省市：广东;44