图像识别装置、图像识别方法和程序制造方法及图纸

提供了能够以高精度识别多种对象的图像识别装置、图像识别方法和程序。整体识别单元(58)对至少一个给定对象执行识别对象在图像中的位置的处理。部分图像提取单元(60)从图像中提取部分图像，该部分图像是与所识别的位置相关联的图像的一部分。部分识别单元(64)执行识别由部分图像表示的一个或多个对象是什么的处理，所述一个或多个对象包括其位置被识别的给定对象以外的对象。

Image recognition device, image recognition method and program

【技术实现步骤摘要】
【国外来华专利技术】图像识别装置、图像识别方法和程序
本专利技术涉及图像识别装置、图像识别方法和程序。
技术介绍
已知一种图像识别技术，其基于在将要识别的图像输入到学习模型时获得的输出来识别由图像表示的对象或图像中表示的对象的位置。例如，对于包含在输入图像中的每个像素，像素的含义(诸如由像素表示的对象)由称为语义分割的技术来指定。
技术实现思路
[技术问题]当意图由图像识别有差别地识别多种对象时，由于与对象相关联的各个特征量之间的差异变小，错误识别的可能性增加。本专利技术是针对上述问题做出的，并且其目的之一是提供能够以高精度识别多种物体的图像识别装置、图像识别方法和程序。[问题的解决方案]为了解决上述问题，根据本专利技术的图像识别装置包括：第一识别单元，其对至少一个给定对象执行识别给定对象在图像中的位置的处理；部分图像提取单元，其从图像提取部分图像，部分图像是与识别的位置相关联的图像的一部分；以及第二识别单元，其执行识别由部分图像表示的一个或多个对象是什么的处理，一个或多个对象包括其所述位置被识别的给定对象以外的对象。本专利技术的一个方面还包括：模型选择单元，其从多个学习模型中选择对应于其所述位置被识别的给定对象的学习模型，其中，第二识别单元通过使用选择的学习模型来执行识别由部分图像表示的对象是什么的处理。此外，在本专利技术的一个方面，部分图像提取单元提取占据基于与对象对应的规则、通过将图像中表示其位置被识别的给定对象的区域移动或变形而获得的区域的部分图像.在这方面，部分图像提取占据单元提取通过将图像中表示其位置被识别的给定对象的区域在与对象对应的方向上移动而获得的区域的部分图像。可选地，部分图像提取单元提取占据通过将图像中表示其位置被识别的给定对象的区域放大或减小到与对象对应的尺寸而获得的区域的部分图像。此外，根据本专利技术的图像识别方法包括：对至少一个给定对象执行识别给定对象在图像中的位置的处理的步骤；从图像提取部分图像的步骤，部分图像是与识别的位置相关联的图像的一部分；以及执行识别由部分图像表示的一个或多个对象是什么的处理的步骤，一个或多个对象包括其所述位置被识别的给定对象以外的对象。此外，根据本专利技术的程序使计算机执行：对至少一个给定对象执行识别给定对象在图像中的位置的处理的程序；从图像提取部分图像的程序，部分图像是与识别的位置相关联的图像的一部分；以及执行识别由部分图像表示的一个或多个对象是什么的处理的程序，一个或多个对象包括其所述位置被识别的给定对象以外的对象。附图说明图1是根据本专利技术实施例的图像识别装置的配置图。图2是示出拍摄图像的一个示例的图。图3是示出深度图像的一个示例的图。图4是示出整体识别结果图像的一个示例的图。图5是示出部分识别管理数据的一个示例的图。图6是示出部分拍摄图像的一个示例的图。图7是示出部分深度图像的一个示例的图。图8是示出部分识别结果图像的一个示例的图。图9是示出由根据本专利技术实施例的图像识别装置实现的功能的一个示例的功能框图。图10是示出由根据本专利技术实施例的图像识别装置执行的处理流程的一个示例的流程图。具体实施方式以下，将基于附图详细说明本专利技术的实施例。图1是根据本专利技术实施例的图像识别装置10的配置图。根据本实施例的图像识别装置10是诸如游戏机或个人计算机的计算机。如图1所示，例如，根据本实施例的图像识别装置10包括处理器12、存储单元14、操作单元16和显示单元18。处理器12是例如根据安装在图像识别装置10中的程序操作的诸如中央处理单元(CPU)的程序控制设备。存储单元14是存储元件，诸如只读存储器(ROM)或随机存取存储器(RAM)，或者是硬盘驱动器。将由处理器12等执行的程序存储在存储单元14中。操作单元16是诸如键盘、鼠标、游戏机的控制器的用户界面，并且接收来自用户的操作输入并将指示输入的细节的信号输出到处理器12。显示单元18是诸如液晶显示器的显示设备，并且根据来自处理器12的命令显示各种图像。注意，图像识别装置10可以包括诸如网卡的通信接口、用于读取诸如数字多功能光盘(DVD-ROM)或蓝光(注册商标)盘的光盘的光盘驱动器、以及通用串行总线(USB)端口等。图2是示出由图像识别装置10进行图像识别的拍摄图像20的一个示例的图。拍摄图像20是通过例如使用诸如数字相机的相机在真实空间中拍摄对象而获得的图像。图3是示出与图2所示的拍摄图像20相关联的深度图像22的一个示例的图。深度图像22表示从相机到对象的距离的分布，该距离与包括在拍摄图像20中的各个像素相关联。图2所示的拍摄图像20可以是通过使用能够拍摄与深度信息相关联的拍摄图像的相机(诸如立体相机或提供的红外测距传感器的相机)在真实空间中拍摄对象而获得的图像。在这种情况下，与深度信息相对应的图像可以是图3中所示的深度图像22。此外，与拍摄所述拍摄图像20时的相机的位置、定向和视角相关联的深度信息可以基于例如从多个方向拍摄对象而拍摄的拍摄图像生成。图3所示的深度图像22可以基于深度信息生成。在本实施例中，在拍摄图像20和深度图像22上执行第一图像识别和第二图像识别。在本实施例中，在整个拍摄图像20和整个深度图像22上执行第一图像识别。在拍摄图像20的一部分和深度图像22的一部分是上执行第二图像识别。在下文中，本实施例的第一图像识别称为整体识别，并且本实施例的第二图像识别称为部分识别。在本实施例中，首先将拍摄图像20和深度图像22输入到学习模型以用于整体识别。学习模型使得能够识别图像中描绘的对象，诸如桌子、沙发、窗帘、椅子和书架，这些对象例如被设置在房间中。在整体识别中输入拍摄图像20和深度图像22的学习模型不限于特定类型。学习模型可以是例如执行了语义分割的学习的二维卷积神经网络(二维CNN)。响应于上述输入，从学习模型输出在拍摄图像20和深度图像22上执行的图像识别的结果。图4示出了作为执行结果的一个示例的整体识别结果图像24的一个示例。在下面的说明中，在整个拍摄图像20、深度图像22和整体识别结果图像24中，分别将右方向和向下方向定义为X轴正方向和Y轴正方向。此外，假设拍摄图像20、深度图像22和整体识别结果图像24具有相同的形状和尺寸。如图4所示，基于像素将整体识别结果图像24划分为多个区域，这些区域与作为识别结果的对象相对应的各个类别相关联。在整体识别结果图像24中，例如，描绘了与桌子相关联的桌子区域26、与沙发相关联的沙发区域28、与窗帘相关联的窗帘区域30和每个与椅子相关联的椅子区域32。这里，比如椅子区域32，多个分离区域可以被识别为同一类别的区域。此外，整体识别结果图像24中的像素的位置与拍摄图像20中的像素的位置和深度图像22中的像素的位置相关联。在本实施例中，在表示特定对象的整体识别结果图像24中，与预定特定类别的对象相关联的区域被指定为参考区本文档来自技高网...

【技术保护点】
1.一种图像识别装置，包括：/n第一识别单元，其对至少一个给定对象执行识别所述给定对象在图像中的位置的处理；/n部分图像提取单元，其从所述图像提取部分图像，所述部分图像是与所述识别的位置相关联的所述图像的一部分；以及/n第二识别单元，其执行识别由所述部分图像表示的一个或多个对象是什么的处理，所述一个或多个对象包括其所述位置被识别的所述给定对象以外的对象。/n

【技术特征摘要】
【国外来华专利技术】1.一种图像识别装置，包括：
第一识别单元，其对至少一个给定对象执行识别所述给定对象在图像中的位置的处理；
部分图像提取单元，其从所述图像提取部分图像，所述部分图像是与所述识别的位置相关联的所述图像的一部分；以及
第二识别单元，其执行识别由所述部分图像表示的一个或多个对象是什么的处理，所述一个或多个对象包括其所述位置被识别的所述给定对象以外的对象。


2.根据权利要求1所述的图像识别装置，还包括：
模型选择单元，其从多个学习模型中选择对应于其所述位置被识别的所述给定对象的学习模型，其中，
所述第二识别单元通过使用所选择的学习模型来执行识别由所述部分图像表示的对象是什么的处理。


3.根据权利要求1或2所述的图像识别装置，其中，
所述部分图像提取单元提取所述部分图像，所述部分图像占据通过基于与所述对象对应的规则、移动或变形所述图像中表示其位置被识别的所述给定对象的区域而获得的区域。


4.根据权利要求3所述的图像识别装置，其中，
所述部分图像提取单元提取所述部分图像，所述部分图像占据通过在与所述对象...

【专利技术属性】
技术研发人员：堀川勉，小野大地，
申请(专利权)人：索尼互动娱乐股份有限公司，
类型：发明
国别省市：日本;JP