一种人体动作识别的增强现实系统及方法技术方案

技术编号:22330666 阅读:33 留言:0更新日期:2019-10-19 12:22
本发明专利技术提供了一种人体动作识别的增强现实交互方法,包括以下步骤:S1,采用图像采集装置对人体的肢体图像进行采集;S2,通过智能处理终端对采集的人体肢体图像进行处理,并将图像采集装置获得的现实真实图像传输给图像显示装置;S3,通过智能处理终端,对所述肢体图像进行人体轮廓及关节特征点进行识别提取;S4,通过智能处理终端,将所述特征点进行真伪优化;S5,通过智能终端,虚拟特效,对虚拟模型的方位进行处理;S6,将所述虚拟模型传输给图像显示装置。本发明专利技术通过采用单目摄像机与智能处理终端连接,降低了硬件系统的成本,还通过系统内预设模型与图像采集装置采集的现实真实图像进行绑定,使得用户获得良好的沉浸式体验。

【技术实现步骤摘要】
一种人体动作识别的增强现实系统及方法
本专利技术涉及一种人机交互系统,尤其涉及一种人体动作识别的增强现实系统。
技术介绍
人体动作识别是近年来计算机视觉领域的一个研究热点,尤其是在人机交互、虚拟增强现实等领域应用广泛。但是目前现有的人体动作识别应用多为体感游戏,显示屏幕中展示的是纯虚拟场景,与现实中的真实影像没有交互结合,缺少沉浸感。同时,目前捕捉人体动作的主流设备大多是Kinect设备,Kinect设备采用TOF(Timeofflight)原理,该设备通过向待识别目标发送连续的激光脉冲,然后通过传感器接受返回的光,计算相应的相位差,从而判断待识别目标的方位。Kinect设备具有较高的精度、灵敏度和分辨率,但是其检测距离有限,对使用环境的要求较高,同时通过Kinect设备采集的影像也没有与现实中的真实影像结合。此外,Kinect设备成本较高,需要特殊的连接接口,降低了设备的通用性能。鉴于现有的行为肢体识别技术中的缺陷,亟需一种可以有效识别人体行为肢体、提高用户体验、成本较低、通用性更好的解决方案。
技术实现思路
本专利技术的目的在于提出一种新的人体动作识别的增强现实系统,以有效识别人体行为肢体,提高用户体验,降低成本,形成更好的通用性。一方面,本专利技术提出了一种人体动作识别的增强现实系统。该系统包括:图像采集装置、智能处理终端以及图像显示装置。其中,图像采集装置包括单目摄像机;智能处理终端包括数据输入单元、系统控制和调度单元、数据处理和计算单元、图像输出单元。进一步地,单目摄像机可以采用单目UVC摄像机,所述摄像机采集的数据通过USB传递至智能处理终端,通过UVC协议实现在Linux、Windows、Macos操作系统的电脑上的即插即拔。此外,所述摄像机采集的数据还可以通过wifi模块或者蓝牙模块传输至智能处理终端。进一步地,智能处理终端可以采用安卓系统的主板,由USB接口输入,通过系统控制和调度单元对系统资源进行分配和调度,以提高整个系统的运行速度。所述采集到的数据经USB接口输入至智能处理终端后,由图像处理和计算单元进行处理,最终经图像输出单元传输至图像显示装置。进一步地,图像输出单元可以选择为HDMI输出电路。另一方面,本专利技术还提供了一种人体动作识别的增强现实交互方法。该方法包括以下步骤:S1,采用图像采集装置对人体的肢体图像进行采集;S2,通过智能处理终端对采集的人体肢体图像进行处理,并将图像采集装置获得的现实真实图像传输给图像显示装置;S3,通过智能处理终端,对所述肢体图像进行人体轮廓及关节特征点进行识别提取;S4,通过智能处理终端,将所述特征点进行真伪优化;S5,通过智能终端,虚拟特效,对虚拟模型的方位进行处理;S6,将所述虚拟模型传输给图像显示装置。其中,S1步骤中,按帧数采集图像,形成一组序列。S3步骤中,采用肢体图像识别SDK开发包,对人体轮廓及关节特征点进行识别提取。特征点数量优选为10-30个,如肩部、颈部、肘部、腕部、胯部等。由于图像采集设备传输的图像为密集型数据,不利于计算,设置单独的图形处理器将接收到的图像数据通过Gibbs采样算法抽取近似的图形样本序列。设定条件,选取可信度高的特征点数据。所述设定的条件为:相邻关节点的距离变化在正确阈内,相邻关节点向量夹角在等间隔帧内的变化量在可接受阈内,则数据可信;反之,则将不可信。将不可信的帧去除,取后续的N帧继续判断。S4步骤中,智能处理终端包括图像数据源存储模块和修正计算模块。图像采集模块传输至智能处理终端的图像数据经过修正计算模块进行修正计算,然后设置为数据模板,将该数据模板存储在图像数据源存储模块。利用这些数据模板,与后来的图像数据进行匹配,近似度达到一定阈值,则直接采用存储的数据模板,一加快数据的访问速度。修正计算模块的修正计算方式为线性或二次曲线插值方法。进一步地,所述修正计算方式为:相邻间隔的帧之间所述特征点修正插值函数,如第一帧特征点坐标P(x0,y0)。第三帧特征点为P(x1,y1),第二帧特征点坐标位置的修正公式如下:L1(x)=l0(x)y0+l1(x)y1l0(x)和l1(x)为线性插值基函数,分别为:相邻特征点之间的轨迹修正插值为二次插值,如肩关节坐标点P(x0,y0),肘关节P(x1,y1),腕关节P(x2,y2),则绑定手部的模型或特效坐标P(x,y)公式如下:L2(x)=l0(x)y0+l1(x)y1+l2(x)y2其中满足:L2(x0)=y0,L2(x1)=y1,L2(x2)=y2。l0(x),l1(x),l2(x)为二次插值基函数,分别为:S5步骤中,将S3步骤中识别提取的特征点以及S4步骤中的数据模板中的特征点进行交互判断,使得特征点的运动立体化,从而模拟人体的真实运动状态。同时,将智能处理终端中预设的模型加入到特征点的坐标上,形成了模型与人体的肢体图像的绑定,并用模型对人体的肢体图像中的特征点进行遮盖或者其它形式的互动。进一步地,可以采用图像引擎或者其它相关插件对所述特征点进行特效渲染,从而形成更好的视觉效果。另一方面,本专利技术还提供了一种多人协同动作识别的增强现实交互方法。该方法包括以下步骤:S1,采用图像采集装置对人体的肢体图像进行采集;S2,通过智能处理终端对采集的人体肢体图像进行处理,并将图像采集装置获得的现实真实图像传输给图像显示装置;S3,通过智能处理终端,对所述肢体图像进行人体轮廓及关节特征点进行识别提取;S4,通过智能处理终端,将所述特征点进行真伪优化;S5,通过智能处理终端,对所述特征点进行分组处理;S6,通过智能处理终端,对所述特征点进行交互碰撞判断;S7,通过智能终端,虚拟特效,对虚拟模型的方位进行处理;S8,将所述虚拟模型传输给图像显示装置。其中,S1步骤中,按帧数采集图像,形成一组序列。S3步骤中,采用肢体图像识别SDK开发包,对人体轮廓及关节特征点进行识别提取。特征点数量优选为10-30个,如肩部、颈部、肘部、腕部、胯部等。由于图像采集设备传输的图像为密集型数据,不利于计算,设置单独的图形处理器将接收到的图像数据通过Gibbs采样算法抽取近似的图形样本序列。设定条件,选取可信度高的特征点数据。所述设定的条件为:相邻关节点的距离变化在正确阈内,相邻关节点向量夹角在等间隔帧内的变化量在可接受阈内,则数据可信;反之,则将不可信。将不可信的帧去除,取后续的N帧继续判断。S4步骤中,智能处理终端包括图像数据源存储模块和修正计算模块。图像采集模块传输至智能处理终端的图像数据经过修正计算模块进行修正计算,然后设置为数据模板,将该数据模板存储在图像数据源存储模块。利用这些数据模板,与后来的图像数据进行匹配,近似度达到一定阈值,则直接采用存储的数据模板,一加快数据的访问速度。修正计算模块的修正计算方式为线性或二次曲线插值方法。进一步地,所述修正计算方式为:相邻间隔的帧之间所述特征点修正插值函数,如第一帧特征点坐标P(x0,y0)。第三帧特征点为P(x1,y1),第二帧特征点坐标位置的修正公式如下:L1(x)=l0(x)y0+l1(x)y1l0(x)和l1(x)为线性插值基函数,分别为:相邻特征点之间的轨迹修正插值为二次插值,如肩关节坐标点P(x0,y0),肘关节P(x1,y1),腕关节P本文档来自技高网...

【技术保护点】
1.一种人体动作识别的增强现实系统,其特征在于,该系统包括:图像采集装置、智能处理终端以及图像显示装置;其中,图像采集装置包括单目摄像机;智能处理终端包括数据输入单元、系统控制和调度单元、数据处理和计算单元、图像输出单元。

【技术特征摘要】
1.一种人体动作识别的增强现实系统,其特征在于,该系统包括:图像采集装置、智能处理终端以及图像显示装置;其中,图像采集装置包括单目摄像机;智能处理终端包括数据输入单元、系统控制和调度单元、数据处理和计算单元、图像输出单元。2.根据权利要求1所述的人体动作识别的增强现实系统,其特征在于,所述单目摄像机采用单目UVC摄像机,所述摄像机采集的数据通过USB传递至智能处理终端。3.根据权利要求2所述的人体动作识别的增强现实系统,其特征在于,所述摄像机采集的数据还可以通过wifi模块或者蓝牙模块传输至智能处理终端。4.根据权利要求1所述的人体动作识别的增强现实系统,其特征在于,智能处理终端采用安卓系统的主板,由USB接口输入,通过系统控制和调度单元对系统资源进行分配和调度;所述采集到的数据经USB接口输入至智能处理终端后,由图像处理和计算单元进行处理,最终经图像输出单元传输至图像显示装置;图像输出单元为HDMI输出电路。5.一种人体动作识别的增强现实交互方法,其特征在于,该方法包括以下步骤:S1,采用图像采集装置对人体的肢体图像进行采集;S2,通过智能处理终端对采集的人体肢体图像进行处理,并将图像采集装置获得的现实真实图像传输给图像显示装置;S3,通过智能处理终端,对所述肢体图像进行人体轮廓及关节特征点进行识别提取;S4,通过智能处理终端,将所述特征点进行真伪优化;S5,通过智能终端,虚拟特效,对虚拟模型的方位进行处理;S6,将所述虚拟模型传输给图像显示装置。6.根据权利要求5所述的人体动作识别的增强现实交互方法,其特征在于,S1步骤中,按帧数采集图像,形成一组序列;S3步骤中,采用肢体图像识别SDK开发包,对人体轮廓及关节特征点进行识别提取;设置单独的图形处理器将接收到的图像数据通过Gibbs采样算法抽取近似的图形样本序列;设定条件,选取可信度高的特征点数据;S4步骤中,智能处理终端包括图像数据源存储模块和修正计算模块;图像采集模块传输至智能处理终端的图像数据经过修正计算模块进行修正计算,然后设置为数据模板,将该数据模板存储在图像数据源存储模块;利用这些数据模板,与后来的图像数据进行匹配,近似度达到一定阈值,则直接采用存储的数据模板,一加快数据的访问速度;修正计算模块的修正计算方式为线性或二次曲线插值方法;S5步骤中,将S3步骤中识别提取的特征点以及S4步骤中的数据模板中的特征点进行交互判断,使得特征点的运动立体化,从而模拟人体的真实运动状态;同时,将智能处理终端中预设的模型加入到特征点的坐标上,形成了模型与人体的肢体图像的绑定,并用模型对人体的肢体图像中的特征点进行遮盖或者其它形式的互动。7.根据权利要求6所述的人体动作识别的增强现实交互方法,其特征在于,所述设定的条...

【专利技术属性】
技术研发人员:华晨张云龙
申请(专利权)人:北京猫眼视觉科技有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1