一种三维图像识别装置及其识别方法制造方法及图纸

技术编号:20993264 阅读:23 留言:0更新日期:2019-04-29 23:02
本申请提供了一种三维图像识别装置及其方法,可以包括:第一深度图像采集装置,可以被配置为获得对象的第一点云数据;第二深度图像采集装置和第三深度图像采集装置,可以均被配置为获得对象的第二点云数据;处理单元,可以被配置为:基于所述第一点云数据建立粗略模型;基于所述第二点云数据对所述粗略模型进行修整,获得精细模型;以及基于所述第一点云数据和所述精细模型,使得所述精细模型动态运动;以及显示单元,可以被配置为呈现动态或静态的精细模型。

A 3-D Image Recognition Device and Its Recognition Method

The present application provides a three-dimensional image recognition device and method, which may include: a first depth image acquisition device can be configured to obtain the first point cloud data of an object; a second depth image acquisition device and a third depth image acquisition device can be both configured to obtain the second point cloud data of an object; and a processing unit can be configured to: based on the first point cloud. A rough model is built based on data; the rough model is refined based on the second point cloud data to obtain a fine model; and the fine model is dynamically moved based on the first point cloud data and the fine model; and the display unit can be configured to present a dynamic or static fine model.

【技术实现步骤摘要】
一种三维图像识别装置及其识别方法
本专利技术涉及三维图像识别领域,并且更具体地,涉及一种智能镜以及基于该智能镜的人体体形自动测量和动作识别方法。
技术介绍
近年来智能生活成为热点方向,智能家居屡屡引爆业界关注。智能镜作为智能家居的一种近几年也在渐渐走进人们的生活。目前常见的智能镜有显示天气温度、播放音乐视频、化妆和试衣用途的智能镜,这些智能镜要么智能化程度低,要么体验效果差,均不能满足用户个性化需求、交互体验效果好这两点需求。在现有技术的三维人体体形测量与动作识别方法中,一般需要在不同角度放置多个传感器以进行全方位的摄像,从而获得多个侧面二维照片,之后根据二维照片恢复成三维立体图像。然而,现有技术中存在的缺点为:(1)在基于二维照片获得三维图像时,无法确定各个部位的实际比例尺寸和维度信息,由此造成所成的三维图像中各个部位的比例尺寸和维度信息与实际人体的各个部位的实际比例尺寸和维度信息之间存在较大误差;(2)所成的三维图像为静止的图像,无法对人体动作进行实时识别跟踪;以及(3)在基于二维图像获得三维图像时,耗费资源多、处理时间太长,且所成的三维图像中没有衣服纹理和颜色。由于上述缺点,造成人与智能镜之间缺乏智能交互体验。
技术实现思路
为解决现有技术中的上述不足之处,在本申请的第一方面中,提供了一种三维图像识别装置,可以包括:第一深度图像采集装置,被配置为获得对象的第一点云数据;第二深度图像采集装置和第三深度图像采集装置,均可以被配置为获得对象的第二点云数据;处理单元,可以被配置为:基于所述第一点云数据建立粗略模型;基于所述第二点云数据对所述粗略模型进行修整,获得精细模型;以及基于所述第一点云数据和所述精细模型,使得所述精细模型动态运动;以及显示单元,可以被配置为呈现动态或静态的精细模型。根据第一方面,第一深度图像采集装置是全局快门深度摄像头;第二深度图像采集装置和所述第三深度图像采集装置是卷帘快门深度摄像头。根据第一方面,处理单元还可以被配置为:基于所述第一点云数据来检测第一关键点,从而提取对象骨骼,建立所述粗略模型。根据第一方面,处理单元还可以被配置为:对所述第一点云数据进行滤波处理,基于滤波处理后的点云数据检测所述第一关键点,从而提取对象骨骼,建立所述粗略模型。根据第一方面,处理单元还可以被配置为:对滤波处理后的第一点云数据进行阈值门限分割获得前景部分,然后在前景部分中检测所述第一关键点,从而提取对象骨骼,建立所述粗略模型。根据第一方面,处理单元还可以被配置为:基于所述第一关键点,拟合出所述粗略模型。根据第一方面,处理单元还可以被配置为:在建立所述粗略模型之后,基于所述第二点云数据来检测第二关键点;以及,将所述第二关键点与所述第一关键点进行配准。根据第一方面,处理单元还可以被配置为:至少通过所述第二深度图像采集装置和所述第三深度图像采集装置之一,针对配准后的关键点进行表面点位测量,获得针对被测关键点的点位数据;以及利用所述点位数据对所述粗略模型进行参数调整,从而获得所述精细模型。根据第一方面,处理单元还可以被配置为:针对配准后的关键点中的每一个关键点,判断一个关键点是否与多个点位数据相对应;其中,在一个关键点与多个点位数据相对应的情况下,则可以选择所述多个点位数据中深度值小的作为针对所述一个关键点的点位数据。根据第一方面,其中,在一个关键点与多个点位数据相对应的情况下,则可以选择所述多个点位数据中深度值大的作为针对所述一个关键点的点位数据。根据第一方面,其中,在一个关键点与多个点位数据相对应的情况下,则将所述多个点位数据的平均深度值作为针对所述一个关键点的点位数据。根据第一方面,所述处理单元还可以被配置为:将针对关键点的点位数据中的深度数据与所述粗略模型中的对应关键点的深度数据进行比较,在二者之间的差值大于阈值的情况下,将所述粗略模型的该对应关键点确定为高极点;在二者之间的差值小于阈值的情况下,将所述粗略模型的该对应关键点确定为低极点。根据第一方面,所述处理单元还可以被配置为:对于所述低奇点,利用中心扩散邻域平均方法进行参数调整;以及对于所述高奇点,利用邻域比对腐蚀法进行参数调整。根据第一方面,处理单元还可以被配置为:在获得所述精细模型之后,在获得所述精细模型之后,基于第一深度图像采集装置来检测对象的第一关键点的当前位置;以及基于所述对象的第一关键点的当前位置来移动所述精细模型中的第一对应关键点的位置,从而使得所述精细模型动态运动。根据第一方面,处理单元还可以被配置为:在基于所述第二点云数据对所述粗略模型进行修整之后,对修正后的模型进行表面纹理和色彩重建。根据本申请的第二方面,提供了一种三维图像识别方法,可以包括以下操作:获得对象的第一点云数据;获得对象的第二点云数据;基于所述第一点云数据建立粗略模型;基于所述第二点云数据对所述粗略模型进行修整,获得精细模型;以及基于所述第一点云数据和所述精细模型,使得所述精细模型动态运动。根据本申请的第二方面,基于所述第一点云数据建立粗略模型可以包括:基于所述第一点云数据来检测第一关键点,从而提取对象骨骼,建立所述粗略模型。根据本申请的第二方面,所述基于所述第一点云数据建立粗略模型还可以包括:对所述第一点云数据进行滤波处理,基于滤波处理后的点云数据检测所述第一关键点,从而提取对象骨骼,建立所述粗略模型。根据本申请的第二方面,所述基于所述第一点云数据建立粗略模型还可以包括:对滤波处理后的第一点云数据进行阈值门限分割获得前景部分,然后在前景部分中检测所述第一关键点,从而提取对象骨骼,建立所述粗略模型。根据本申请的第二方面,所述基于所述第一点云数据建立粗略模型还可以包括:基于所述第一关键点,拟合出所述粗略模型。根据本申请的第二方面,所述基于所述第二点云数据对所述粗略模型进行修整获得精细模型可以包括:基于所述第二点云数据,检测第二关键点;以及将所述第二关键点与所述第一关键点进行配准。根据本申请的第二方面,所述基于所述第二点云数据对所述粗略模型进行修整获得精细模型还可以包括:针对配准后的关键点进行表面点位测量,获得针对被测关键点的点位数据;以及利用所述点位数据对所述粗略模型进行参数调整,从而获得所述精细模型。根据本申请的第二方面,所述基于所述第二点云数据对所述粗略模型进行修整获得精细模型还可以包括:针对配准后的关键点中的每一个关键点,判断一个关键点是否与多个点位数据相对应;其中,在一个关键点与多个点位数据相对应的情况下,则可以选择所述多个点位数据中深度值小的作为针对所述一个关键点的点位数据。根据本申请的第二方面,其中,所述基于所述第二点云数据对所述粗略模型进行修整获得精细模型还包括:在一个关键点与多个点位数据相对应的情况下,则可以选择所述多个点位数据中深度值大的作为针对所述一个关键点的点位数据。根据本申请的第二方面,所述基于所述第二点云数据对所述粗略模型进行修整获得精细模型还可以包括:在一个关键点与多个点位数据相对应的情况下,则将所述多个点位数据的平均深度值作为针对所述一个关键点的点位数据。根据本申请的第二方面,其中,所述利用所述点位数据对所述粗略模型进行参数调整从而获得所述精细模型可以包括:将针对关键点的点位数据中的深度数据与所述粗略模型中的对应关键点的深度数据进行本文档来自技高网...

【技术保护点】
1.一种三维图像识别装置,包括:第一深度图像采集装置,被配置为获得对象的第一点云数据;第二深度图像采集装置和第三深度图像采集装置,均被配置为获得对象的第二点云数据;处理单元,被配置为:基于所述第一点云数据建立粗略模型;基于所述第二点云数据对所述粗略模型进行修整,获得精细模型;以及基于所述第一点云数据和所述精细模型,使得所述精细模型动态运动;以及显示单元,被配置为呈现动态或静态的精细模型。

【技术特征摘要】
1.一种三维图像识别装置,包括:第一深度图像采集装置,被配置为获得对象的第一点云数据;第二深度图像采集装置和第三深度图像采集装置,均被配置为获得对象的第二点云数据;处理单元,被配置为:基于所述第一点云数据建立粗略模型;基于所述第二点云数据对所述粗略模型进行修整,获得精细模型;以及基于所述第一点云数据和所述精细模型,使得所述精细模型动态运动;以及显示单元,被配置为呈现动态或静态的精细模型。2.根据权利要求1所述的三维图像识别装置,其中:所述第一深度图像采集装置是全局快门深度摄像头;以及所述第二深度图像采集装置和所述第三深度图像采集装置是卷帘快门深度摄像头。3.根据权利要求1所述的三维图像识别装置,其中,所述处理单元还被配置为:基于所述第一点云数据来检测第一关键点,从而提取对象骨骼,建立所述粗略模型。4.根据权利要求3所述的三维图像识别装置,其中,所述处理单元还被配置为:对所述第一点云数据进行滤波处理,基于滤波处理后的点云数据检测所述第一关键点,从而提取对象骨骼,建立所述粗略模型。5.根据权利要求4所述的三维图像识别装置,其中,所述处理单元还被配置为:对滤波处理后的第一点云数据进行阈值门限分割获得前景部分,然后在前景部分中检测所述第一关键点,从而提取对象骨骼,建立所述粗略模型。6.根据权利要求3-5中任一项所述的三维图像识别装置,其中,所述处理单元还被配置为:基于所述第一关键点,拟合出所述粗略模型。7.根据权利要求1所述的三维图像识别装置,其中,所述处理单元还被配置为:在建立所述粗略模型之后,基于所述第二点云数据来检测第二关键点;以及将所述第二关键点与所述第一关键点进行配准。8.根据权利要求7所述的三维图像识别装置,其中,所述处理单元还被配置为:至少通过所述第二深度图像采集装置和所述第三深度图像采集装置之一,针对配准后的关键点进行表面点位测量,获得针对被测关键点的点位数据;以及利用所述点位数据对所述粗略模型进行参数调整,从而获得所述精细模型。9.根据权利要求8所述的三维图像识别装置,其中,所述处理单元还被配置为:针对配准后的关键点中的每一个关键点,判断一个关键点是否与多个点位数据相对应,其中,在一个关键点与多个点位数据相对应的情况下,则选择所述多个点位数据中深度值小的作为针对所述一个关键点的点位数据。10.根据权利要求8所述的三维图像识别装置,其中:针对配准后的关键点中的每一个关键点,判断一个关键点是否与多个点位数据相对应,其中,在一个关键点与多个点位数据相对应的情况下,则选择所述多个点位数据中深度值大的作为针对所述一个关键点的点位数据。11.根据权利要求8所述的三维图像识别装置,其中:针对配准后的关键点中的每一个关键点,判断一个关键点是否与多个点位数据相对应,其中,在一个关键点与多个点位数据相对应的情况下,则将所述多个点位数据的平均深度值作为针对所述一个关键点的点位数据。12.根据权利要求8所述的三维图像识别装置,所述处理单元还被配置为:将针对关键点的点位数据中的深度数据与所述粗略模型中的对应关键点的深度数据进行比较,在二者之间的差值大于阈值的情况下,将所述粗略模型的该对应关键点确定为高极点;在二者之间的差值小于阈值的情况下,将所述粗略模型的该对应关键点确定为低极点。13.根据权利要求12所述的三维图像识别装置,所述处理单元还被配置为:对于所述低奇点,利用中心扩散邻域平均方法进行参数调整;以及对于所述高奇点,利用邻域比对腐蚀法进行参数调整。14.根据权利要求1所述的三维图像识别装置,其中,所述处理单元还被配置为:在获得所述精细模型之后,基于第一深度图像采集装置来检测对象的第一关键点的当前位置;以及基于所述对象的第一关键点的当前位置来移动所述精细模型中的对应第一关键点的位置,从而使得所述精细模型动态运动。15.根据权利要求1所述的三维图像识别装置,其中,所述处理单元还被配置为:在基于所述第二点云数据对所述粗略模型进行修整之后,对修正后的模型进行表面纹理和色彩重建。16.一种三维图像识别方法,包括:获得对象的第一点云数据;获得对象的第二点云数据;基于所述第一点云数据建立粗略模型;基于所述第二点云数据对所述粗略模型进行修整,获得精细模型;以及基于所述第一点云数据和所述精细模型,使...

【专利技术属性】
技术研发人员:周培涛张丽邓智李波毕文元冯萍金鑫李曦张宇楠王朔许晓飞
申请(专利权)人:同方威视技术股份有限公司清华大学
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1