姿势识别系统、图像修正程序以及图像修正方法技术方案

技术编号:24179276 阅读:59 留言:0更新日期:2020-05-16 05:52
本发明专利技术即使在与学习时不同的环境的距离图像中也能够识别被拍摄体的部位。姿势识别系统(1)具有传感器(10)和识别装置(100)。传感器具有拍摄部。拍摄部以根据与被拍摄体的距离而被控制的视场角对包括到被拍摄体的距离的信息的距离图像进行拍摄。识别装置具有获取部(131)、修正部(132)、生成部(133)以及输出控制部(134)。获取部从传感器获取距离图像、和传感器拍摄距离图像时的视场角。修正部根据第一分辨率与第二分辨率的比率对获取到的距离图像进行修正,其中,该第一分辨率对应于被拍摄体的姿势的识别处理中的学习模型的学习用距离图像的拍摄时的视场角,该第二分辨率对应于获取到的视场角。生成部使用修正后的距离图像和学习模型,来生成表示被拍摄体的部位的部位标签图像。输出控制部基于部位标签来输出表示被拍摄体的姿势的骨骼信息。

【技术实现步骤摘要】
【国外来华专利技术】姿势识别系统、图像修正程序以及图像修正方法
本专利技术涉及姿势识别系统、图像修正程序以及图像修正方法。
技术介绍
以往,有基于对到人物的距离进行测定的距离传感器(以下,也称为深度传感器。)输出的距离图像(以下,也称为深度图像。)来识别人物的姿势或动作的装置。该装置例如基于从1台距离传感器输出的距离图像对人物的部位进行标签分类。接下来,该装置基于进行了标签分类的各部位来提取具有三维的骨骼位置的骨骼模型。之后,该装置基于提取出的骨骼模型来识别人物的姿势或动作。另外,距离传感器例如是使用激光来测定到测定对象的距离的被称为激光雷达装置、LIDAR(LaserImagingDetectionandRanging)的装置。距离传感器具有投光单元,该投光单元例如通过MEMS(MicroElectroMechanicalSystems:微机电系统)反射镜二维扫描并照射来自例如以一定的定时发光的激光源的激光。另外,距离传感器具有受光单元,该受光单元针对投光单元对激光的扫描,通过光检测器检测来自测定对象的反射光,并针对每个扫描位置计算到测定对象的距离。距离传感器针对包括测定对象的规定的范围对激光例如进行光栅扫描,所以在从距离传感器起某个距离下的测定范围内,激光的取样点(测距点)的间隔,换句话说,取样密度是一定的。距距离传感器的距离越近则测定范围内的取样密度越密,距距离传感器的距离越远则测定范围内的取样密度越稀疏。即,人物的分辨率,换句话说,取样密度根据从距离传感器到作为测定对象的人物的距离而改变。换句话说,距距离传感器的距离较远的人物的分辨率降低。专利文献1:美国专利申请公开第2010/0197390号说明书与此相对,考虑根据距距离传感器的距离以及方位角度,以取样密度为一定以上的方式变更激光的扫描角度范围的宽度。换句话说,距离传感器通过根据检测到的人物的距离将作为激光的扫描范围的视场角缩小到仅人物的周边,从而不管从距离传感器到人物的距离是近还是远都能够维持相同的分辨率。即,距离传感器能够根据被拍摄体与距离传感器的距离来控制分辨率。例如,即使在被拍摄体较远的情况下,距离传感器也能够拍摄高分辨率的距离图像。然而,由于视场角伴随着分辨率的控制而改变,所以有时无法良好地进行使用了学习模型的被拍摄体的部位的识别。
技术实现思路
在一个方面,提供即使在与学习时不同的环境的距离图像中也能够识别被拍摄体的部位的姿势识别系统、图像修正程序以及图像修正方法。在一个方式中,姿势识别系统具有传感器和识别装置。传感器具有拍摄部。拍摄部以根据与被拍摄体的距离而被控制的视场角对包括到上述被拍摄体的距离的信息的距离图像进行拍摄。识别装置具有获取部、修正部、生成部以及输出控制部。获取部从上述传感器获取上述距离图像、和该传感器拍摄该距离图像时的视场角。修正部根据第一分辨率与第二分辨率的比率对获取到的上述距离图像进行修正,该第一分辨率对应于使用了学习模型的上述被拍摄体的姿势的识别处理中的该学习模型的学习用距离图像的拍摄时的视场角,该第二分辨率对应于获取到的上述视场角。生成部使用修正后的上述距离图像和上述学习模型来生成通过部位标签表示上述被拍摄体的部位的部位标签图像。输出控制部基于所生成的上述部位标签图像中的上述部位标签来识别上述被拍摄体的骨骼,并输出表示该被拍摄体的姿势的骨骼信息。即使在与学习时不同的环境的距离图像中也能够识别被拍摄体的部位。附图说明图1是表示实施例的姿势识别系统的结构的一个例子的图。图2是表示人物的分辨率根据距离而不同的情况下的一个例子的图。图3是表示根据距离来控制激光的视场角的情况下的一个例子的图。图4是表示视场角不同的情况下的部位识别的差异的一个例子的图。图5是表示实施例的识别装置的结构的一个例子的框图。图6是表示Z值与角度分辨率的关系的一个例子的图。图7是表示Z值的修正的一个例子的图。图8是调节的一个例子的图。图9是表示在Z值的修正时修正了不适当的方向的角度分辨率的情况下的调节的一个例子的图。图10是表示部位标签图像的一个例子的图。图11是表示实施例的识别处理的一个例子的流程图。图12是表示修正处理的一个例子的流程图。图13是表示执行图像修正程序的计算机的一个例子的图。具体实施方式以下,基于附图,详细地对本申请公开的姿势识别系统、图像修正程序以及图像修正方法的实施例进行说明。此外,公开技术并不被本实施例限定。另外,以下的实施例也可以不矛盾的范围中适当地组合。实施例图1是表示实施例的姿势识别系统的结构的一个例子的图。图1所示的姿势识别系统1具有距离传感器10和识别装置100。此外,在姿势识别系统1中,没有对距离传感器10的数量进行限定,可以具有任意的数量的距离传感器10。距离传感器10与识别装置100之间通过有线或者无线相互可通信地连接。姿势识别系统1通过距离传感器10测定作为被拍摄体的人物5,识别装置100基于测定结果来识别人物5的姿势等的系统的一个例子。距离传感器10例如是使用激光来测定到测定对象的距离的被称为激光雷达装置或LIDAR的装置。距离传感器10例如使用红外线激光等针对每个像素测定(感测)对象物的距离,例如输出横320×纵240像素的距离图像。在距离图像中,各像素包括到对象物的距离。换句话说,距离图像是表示从距离传感器(深度传感器)10观察的被拍摄体的深度的深度图像。另外,距离传感器10输出测定时,即距离图像拍摄时的视场角。距离传感器10例如测定处于大概到15m的距离的对象物(被拍摄体)的距离。在本实施例中,对象物成为人物5。此外,距离传感器10例如可以使设置方向旋转90°,来输出横200×纵320像素的距离图像。即,距离传感器10具有拍摄部,该拍摄部能够根据与作为被拍摄体的人物5的距离来控制视场角,并对包括到被拍摄体的距离的信息的距离图像进行拍摄。另外,距离传感器10具有通信部,该通信部将拍摄距离图像时的视场角、和拍摄到的距离图像发送至识别装置100。此处,使用图2至图4,对距离传感器10的视场角以及分辨率进行说明。图2是表示人物的分辨率根据距离而不同的情况下的一个例子的图。如图2的距离图像20、21所示,例如在体操比赛的情况下,到作为被拍摄体的人物的距离根据项目而不同。在距离图像20和距离图像21中,取样点22的数量相同。然而,如放大了距离图像21的人物附近的距离图像21a所示,在距离图像20和距离图像21中,与人物对应的取样点的数量不同。即,在距离图像20中,人物的分辨率较高,但在距离图像21中,人物的分辨率变低。在人物的分辨率较低的情况下,有时部位或姿势的识别产生问题。图3是表示根据距离来控制激光的视场角的情况下的一个例子的图。如图3所示,在距距离传感器10较近的位置的人物5a所对应的距离图像23、和距距离传感器10较远的位置的人物5b所对应的距离图像24中,如果视场角相同,则人物5b的分辨率降低。与此本文档来自技高网
...

【技术保护点】
1.一种姿势识别系统,是具有传感器和识别装置的姿势识别系统,其特征在于,/n上述传感器具有拍摄部,上述拍摄部以根据与被拍摄体的距离而被控制的视场角对包括到上述被拍摄体的距离的信息的距离图像进行拍摄,/n上述识别装置具有:/n获取部,从上述传感器获取上述距离图像、和该传感器拍摄该距离图像时的视场角;/n修正部,根据第一分辨率与第二分辨率的比率对获取到的上述距离图像进行修正,上述第一分辨率对应于使用了学习模型的上述被拍摄体的姿势的识别处理中的该学习模型的学习用距离图像的拍摄时的视场角,上述第二分辨率对应于获取到的上述视场角;/n生成部,使用修正后的上述距离图像和上述学习模型来生成通过部位标签表示上述被拍摄体的部位的部位标签图像;以及/n输出控制部,基于所生成的上述部位标签图像中的上述部位标签来识别上述被拍摄体的骨骼,并输出表示该被拍摄体的姿势的骨骼信息。/n

【技术特征摘要】
【国外来华专利技术】1.一种姿势识别系统,是具有传感器和识别装置的姿势识别系统,其特征在于,
上述传感器具有拍摄部,上述拍摄部以根据与被拍摄体的距离而被控制的视场角对包括到上述被拍摄体的距离的信息的距离图像进行拍摄,
上述识别装置具有:
获取部,从上述传感器获取上述距离图像、和该传感器拍摄该距离图像时的视场角;
修正部,根据第一分辨率与第二分辨率的比率对获取到的上述距离图像进行修正,上述第一分辨率对应于使用了学习模型的上述被拍摄体的姿势的识别处理中的该学习模型的学习用距离图像的拍摄时的视场角,上述第二分辨率对应于获取到的上述视场角;
生成部,使用修正后的上述距离图像和上述学习模型来生成通过部位标签表示上述被拍摄体的部位的部位标签图像;以及
输出控制部,基于所生成的上述部位标签图像中的上述部位标签来识别上述被拍摄体的骨骼,并输出表示该被拍摄体的姿势的骨骼信息。


2.一种图像修正程序,其特征在于,
使计算机执行如下的处理:
获取成为使用了基于第一距离图像的学习模型的识别处理的对象的、包括从传感器到被拍摄体的距离的信息的第二距离图像、和上述传感器中的上述第二距离图像的拍摄时的视场角;以及
根据与上述第一距离图像的拍摄时的视场角对应的第一分辨率和与上述第二距离图像的拍摄时的视场角对应的第二分辨率的比率对上述第二距离图像进行修正。


3.根据权利要求2所述的图像修正程序,其特征在于,
使计算机执行如下的处理:
使用修正后的上述第二距离图像和上述学习模型来生成通过部位标签表...

【专利技术属性】
技术研发人员:浅山能久桝井昇一
申请(专利权)人:富士通株式会社
类型:发明
国别省市:日本;JP

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1