一种图像特征处理模块、增强现实设备和角点检测方法技术

本发明专利技术提供一种图像特征处理模块、增强现实设备和角点检测方法，属于图像处理技术领域。该图像特征处理模块应用于增强现实设备，增强现实设备包括摄像头和中央处理器，图像特征处理模块包括：图像读取接口，用于与摄像头连接，读取摄像头输出的待处理图像；处理子模块，与图像读取接口连接，用于将待处理图像分割为n个分区，并行对n个分区进行处理，提取n个分区中的角点，n为正整数；根据提取的角点，生成待处理图像的角点特征图；输出接口，与处理子模块连接，用于将角点特征图输出至中央处理器。从而，无需处理器参与角点特征提取，且通过并行化处理，能快速提取角点，提高图像特征处理效率。

An Image Feature Processing Module, Augmented Reality Equipment and Corner Detection Method

The invention provides an image feature processing module, an augmented reality device and a corner detection method, belonging to the field of image processing technology. The image feature processing module is applied to augmented reality equipment. The augmented reality equipment includes camera and central processing unit. The image feature processing module includes image reading interface, which is used to connect with camera and read the image to be processed from camera. The processing sub-module, which is connected with image reading interface, is used to divide the image to be processed into n partitions and parallel to n partitions. Processing, extracting corners in n partitions, n is a positive integer; according to the extracted corners, the corner feature map of the image to be processed is generated; the output interface is connected with the processing sub-module, which is used to output the corner feature map to the central processing unit. Therefore, no processor is required to participate in corner feature extraction, and through parallel processing, corner can be quickly extracted, and the efficiency of image feature processing can be improved.

【技术实现步骤摘要】
一种图像特征处理模块、增强现实设备和角点检测方法
本专利技术涉及图像处理
，尤其涉及一种图像特征处理模块、增强现实设备和角点检测方法。
技术介绍
继智能手机、平板电脑之后，虚拟现实(VirtualReality，简称VR)与增强现实(AugmentedReality，简称AR)有潜力成为下一个重大通用计算平台。随着智能手机销量的持续下滑，VR设备、AR设备成为电子消费的另一个重要方向。对于AR设备(如AR眼镜)来说，需要对第一视角(即穿戴VR或AR设备的用户的视角)的场景进行人脸识别，车辆识别，以及识别场景中的不同物体，并将虚拟信息相应叠加在现实场景中进行展示，如图1所示。因此，需要快速对场景做识别，以区分人、车、和建筑等真实信息。然而，现有的AR显示系统，普遍在终端上进行识别、跟踪和定位，但终端受处理器性能的影响，例如：在运行一些深度学习的模型时，会影响实时识别处理的效果。而且，通过中央处理器(CentralProcessingUnit，简称CPU)处理图像时，往往采用流水线的串行数据处理流程，特征提取速度较慢，占用CPU的资源较多，在图像处理时会出现延迟问题。而采用CPU调动图形处理器(GraphicsProcessingUnit，简称GPU)进行并行特征处理时，虽然能够提升计算速度，但CPU和GPU的数据传输速率有限，例如：对于两个向量求和运算，如果向量非常大，由于将向量传输到GPU上的时间开销很大，一般仍选择在CPU上算，此时，计算速度仍然较慢，在图像处理时仍然会出现延迟问题。因此，如何避免AR设备在图像处理时的延迟问题，是目前亟待解决的技术问题。
技术实现思路
有鉴于此，本专利技术提供一种图像特征处理模块、增强现实设备和角点检测方法，用于解决目前的AR设备在图像处理时的延迟问题。为解决上述技术问题，第一方面，本专利技术提供一种图像特征处理模块，应用于增强现实设备，所述增强现实设备包括摄像头和中央处理器，所述图像特征处理模块包括：图像读取接口，用于与所述摄像头连接，读取所述摄像头输出的待处理图像；处理子模块，与所述图像读取接口连接，用于将所述待处理图像分割为n个分区，并行对所述n个分区进行处理，提取所述n个分区中的角点，n为正整数；根据提取的角点，生成所述待处理图像的角点特征图；输出接口，与所述处理子模块连接，用于将所述角点特征图输出至所述中央处理器。优选的，所述图像特征处理模块还包括：缓存；其中，所述图像读取接口，与所述缓存连接，还用于根据所述摄像头输出的连续的视频流中的同步信号，判断获取到的图像是否为新的图像，如果是，将所述新的图像作为待处理图像存储至所述缓存中；所述处理子模块，与所述缓存连接，用于读取所述缓存中存储的所述待处理图像。优选的，所述处理子模块包括n个图像特征检测单元，每一所述图像特征检测单元用于对所述n个分区中的一个分区进行处理，提取所述一个分区中的角点；所述n个图像特征检测单元并行运行。优选的，所述图像特征检测单元包括：位置子单元，用于获取所述一个分区的中心点的位置；特征提取控制器，与所述位置子单元连接，用于根据所述一个分区的中心点的位置，确定第二预设个数像素点的位置；计算子单元，与所述特征提取控制器连接，用于根据所述中心点的位置和所述像素点的位置，获取所述中心点的像素值和所述像素点的像素值；根据所述中心点的像素值和所述像素点的像素值，判断所述中心点是否为所述角点。优选的，所述计算子单元，用于对所述第二预设个数像素点进行顺次编号；获取所述中心点的像素值和所述第二预设个数像素点中的第三预设个数像素点的像素值，所述第三预设个数像素点中相邻两个所述像素点间的编号之差相等，所述第三预设个数小于或等于所述第二预设个数；计算所述第三预设个数像素点中每一所述像素点的像素值与所述中心点的像素值的差值；所述图像特征检测单元还包括：特征比较器，与所述计算子单元连接，用于比较所述第三预设个数像素点中每一所述像素点的像素值与所述中心点的像素值的差值是否大于或等于预设差值阈值；若在所述第三预设个数像素点中，存在连续的第四预设个数所述像素点与所述中心点的像素值的差值大于或等于所述预设差值阈值，判定所述中心点为所述角点，所述第四预设个数与所述第三预设个数的比值大于或等于预设比值阈值。优选的，所述位置子单元，还用于获取所述一个分区在所述图像中的位置；所述处理子模块，用于根据提取的所述n个分区中的角点和所述n个分区在所述图像中的位置，生成所述待处理图像的角点特征图。优选的，所述图像特征处理模块还包括：时钟控制器，分别与所述图像读取接口和所述处理子模块连接，用于控制每一所述图像特征检测单元处理一个分区的速度大于或等于所述摄像头输出待处理图像的速度。优选的，每一所述分区的形状和尺寸均相同，包括第一预设个数的像素点。优选的，所述处理子模块，还用于对上一帧图像的角点特征图和当前帧图像的角点特征图进行特征匹配，获取所述角点的位移偏差；根据所述角点的位移偏差，分析所述增强现实设备的运动轨迹。第二方面，本专利技术还提供一种增强现实设备，其特征在于，包括上述的图像特征处理模块。第三方面，本专利技术还提供一种角点检测方法，应用于增强现实设备，所述增强现实设备包括摄像头和中央处理器，所述角点检测方法包括：读取所述摄像头输出的待处理图像；将所述待处理图像分割为n个分区，并行对所述n个分区进行处理，提取所述n个分区中的角点，n为正整数；根据提取的角点，生成所述待处理图像的角点特征图；将所述角点特征图输出至所述中央处理器。优选的，所述增强现实设备还包括缓存，所述读取所述摄像头输出的待处理图像的步骤包括：根据所述摄像头输出的连续的视频流中的同步信号，判断获取到的图像是否为新的图像，如果是，将所述新的图像作为待处理图像存储至所述缓存中。优选的，所述并行对所述n个分区进行处理，提取所述n个分区中的角点的步骤包括：获取一个分区的中心点的位置；根据所述一个分区的中心点的位置，确定第二预设个数像素点的位置；根据所述中心点的位置和所述像素点的位置，获取所述中心点的像素值和所述像素点的像素值；根据所述中心点的像素值和所述像素点的像素值，判断所述中心点是否为所述角点。优选的，所述根据所述中心点的像素值和所述像素点的像素值，判断所述中心点是否为所述角点的步骤包括：对所述第二预设个数像素点进行顺次编号；获取所述中心点的像素值和所述第二预设个数像素点中的第三预设个数像素点的像素值，所述第三预设个数像素点中相邻两个所述像素点间的编号之差相等，所述第三预设个数小于或等于所述第二预设个数；计算所述第三预设个数像素点中每一所述像素点的像素值与所述中心点的像素值的差值；比较所述第三预设个数像素点中每一所述像素点的像素值与所述中心点的像素值的差值是否大于或等于预设差值阈值；若在所述第三预设个数像素点中，存在连续的第四预设个数所述像素点与所述中心点的像素值的差值大于或等于所述预设差值阈值，判定所述中心点为所述角点，所述第四预设个数与所述第三预设个数的比值大于或等于预设比值阈值。优选的，所述角点检测方法还包括：获取所述一个分区在所述图像中的位置；所述根据提取的角点，生成所述待处理图像的角点特征图的步骤包括：根据提取的所述n个分区中的角点和所述n个分区在所述图像中的位置，生成所本文档来自技高网...

【技术保护点】
1.一种图像特征处理模块，应用于增强现实设备，所述增强现实设备包括摄像头和中央处理器，其特征在于，所述图像特征处理模块包括：图像读取接口，用于与所述摄像头连接，读取所述摄像头输出的待处理图像；处理子模块，与所述图像读取接口连接，用于将所述待处理图像分割为n个分区，并行对所述n个分区进行处理，提取所述n个分区中的角点，n为正整数；根据提取的角点，生成所述待处理图像的角点特征图；输出接口，与所述处理子模块连接，用于将所述角点特征图输出至所述中央处理器。

【技术特征摘要】
1.一种图像特征处理模块，应用于增强现实设备，所述增强现实设备包括摄像头和中央处理器，其特征在于，所述图像特征处理模块包括：图像读取接口，用于与所述摄像头连接，读取所述摄像头输出的待处理图像；处理子模块，与所述图像读取接口连接，用于将所述待处理图像分割为n个分区，并行对所述n个分区进行处理，提取所述n个分区中的角点，n为正整数；根据提取的角点，生成所述待处理图像的角点特征图；输出接口，与所述处理子模块连接，用于将所述角点特征图输出至所述中央处理器。2.根据权利要求1所述的图像特征处理模块，其特征在于，还包括：缓存；其中，所述图像读取接口，与所述缓存连接，还用于根据所述摄像头输出的连续的视频流中的同步信号，判断获取到的图像是否为新的图像，如果是，将所述新的图像作为待处理图像存储至所述缓存中；所述处理子模块，与所述缓存连接，用于读取所述缓存中存储的所述待处理图像。3.根据权利要求1所述的图像特征处理模块，其特征在于，所述处理子模块包括n个图像特征检测单元，每一所述图像特征检测单元用于对所述n个分区中的一个分区进行处理，提取所述一个分区中的角点；所述n个图像特征检测单元并行运行。4.根据权利要求3所述的图像特征处理模块，其特征在于，所述图像特征检测单元包括：位置子单元，用于获取所述一个分区的中心点的位置；特征提取控制器，与所述位置子单元连接，用于根据所述一个分区的中心点的位置，确定第二预设个数像素点的位置；计算子单元，与所述特征提取控制器连接，用于根据所述中心点的位置和所述像素点的位置，获取所述中心点的像素值和所述像素点的像素值；根据所述中心点的像素值和所述像素点的像素值，判断所述中心点是否为所述角点。5.根据权利要求4所述的图像特征处理模块，其特征在于，所述计算子单元，用于对所述第二预设个数像素点进行顺次编号；获取所述中心点的像素值和所述第二预设个数像素点中的第三预设个数像素点的像素值，所述第三预设个数像素点中相邻两个所述像素点间的编号之差相等，所述第三预设个数小于或等于所述第二预设个数；计算所述第三预设个数像素点中每一所述像素点的像素值与所述中心点的像素值的差值；所述图像特征检测单元还包括：特征比较器，与所述计算子单元连接，用于比较所述第三预设个数像素点中每一所述像素点的像素值与所述中心点的像素值的差值是否大于或等于预设差值阈值；若在所述第三预设个数像素点中，存在连续的第四预设个数所述像素点与所述中心点的像素值的差值大于或等于所述预设差值阈值，判定所述中心点为所述角点，所述第四预设个数与所述第三预设个数的比值大于或等于预设比值阈值。6.根据权利要求4所述的图像特征处理模块，其特征在于，所述位置子单元，还用于获取所述一个分区在所述图像中的位置；所述处理子模块，用于根据提取的所述n个分区中的角点和所述n个分区在所述图像中的位置，生成所述待处理图像的角点特征图。7.根据权利要求3所述的图像特征处理模块，其特征在于，还包括：时钟控制器，分别与所述图像读取接口和所述处理子模块连接，用于控制每一所述图像特征检测单元处理一个分区的速度大于或等于所述摄像头输出待处理图像的速度。8.根据权利要求1所述的图像特征处理模块，其特征在于，每一所述分区的形状和尺寸均相同，包括第一预设个数的像素点。9.根据权利要求1所述的图像特征处理模块，其特征在于，所述处理子模块，还用于对上一帧图像的角点特征图和当前帧图像的角点特征图进行特征匹配，获取所述角点的位移偏差；根据所述角点的位移偏差，分析所述增...

【专利技术属性】
技术研发人员：王义，刘洋，
申请(专利权)人：北京悉见科技有限公司，
类型：发明
国别省市：北京,11