信息处理系统和学习方法技术方案

信息处理系统(1)具有移动量数据获取单元(109)、图像数据获取单元(101)、差分表达式提取单元(108)和镜面区域指定单元(111)。移动量数据获取单元(109)获取物体的移动量数据。图像数据获取单元(101)获取由安装在物体上的成像装置捕获的图像数据项目。差分表达式提取单元(108)基于在物体的移动之前和之后成像的两个图像数据项目来提取表示关于两个图像之间的差异的特征信息的差分表达式。镜面区域指定单元(111)基于差分表达式与移动量数据之间的相关性来指定镜面区域。相关性来指定镜面区域。相关性来指定镜面区域。

Information processing system and learning method

【技术实现步骤摘要】
【国外来华专利技术】信息处理系统和学习方法


[0001]本专利技术涉及信息处理系统和学习方法。

技术介绍

[0002]在使用视觉传感器的物体检测中，反射镜中反射的物体也以与其他方式相同的方式检测。因此，难以识别反射镜本身。非专利文献1提出了一种技术，其中，通过视频捕获在特定方向上移动的预定图案，并且提取相同图案在不同方向上移动的区域并且将其识别为镜面区域。
[0003]非专利文献
[0004]非专利文献1："REGION IDENTIFICATION TECHNIQUE FOR MIRROR SURFACE/TRANSPARENT OBJECT",Toshiba Review Vol.68No,10(2013)

技术实现思路

[0005]然而，在上述传统技术中，当在成像区域中存在示出类似动作的另一图案时，存在图案的检测区域被错误地识别为镜面区域的可能性。
[0006]因此，本公开提出了能够准确地检测镜面区域的信息处理系统和执行信息处理的神经网络的学习方法。
[0007]问题的解决方案
[0008]根据本公开，提供了一种信息处理系统，包括：操作量数据获取单元，获取物体的操作量数据；图像数据获取单元，获取由安装在所述物体上的成像装置捕获的图像数据；差分表达式提取单元，基于在所述物体的操作之前和之后捕获的两条图像数据，提取表示关于所述两条图像数据之间的差异的特征信息的差分表达式；以及镜面区域识别单元，其基于所述差分表达式与所述操作量数据之间的相关性来识别镜面区域。
[0009]根据本专利技术，提供一种由计算机执行的学习方法，该学习方法包括使用多个时刻的静止物体的学习图像数据的学习过程，所述学习过程包括：生成时间t1时的学习图像数据的恢复表达式；将紧接在所述时间t
q
之前的时间t
q
‑1时的学习图像数据以及时间t
q
‑1时的学习图像数据的恢复表达式输入到差分编码器，以提取在时间t
q
时的扩展差分表达式；将时间t
q
‑1时的扩展差分表达式输入到校正单元，以执行校正，以将表示在时间t
q
时的扩展差分表达式的张量的部分重写为零；将在时间t
q
‑1时的学习图像数据的恢复表达式和噪声加到所述校正之后的时间t
q
时的扩展差分表达式，以生成在时间t
q
时的学习图像数据的恢复表达式；由图像解码器解码在时间t
q
时的学习图像数据的恢复表达式，以生成在时间t
q
时的恢复图像数据；计算在时间t
q
时的恢复图像数据与在时间t
q
时的学习图像数据之间的恢复误差；以及重复调整表示图像编码器、差分编码器、校正单元和图像解码器的神经网络的权重，直到所述恢复误差满足预定标准。
附图说明
[0010]图1为示出信息处理系统的实例的示意图。
[0011]图2是示出提取相关区域的方法的示例的示图。
[0012]图3是示出识别镜面区域的方法的实例的视图。
[0013]图4是示出用于识别镜面区域的信息处理方法的实例的流程图。
[0014]图5是示出学习系统的示例的示意图。
[0015]图6是示出了通过学习系统进行的学习方法的实例的流程图。
[0016]图7是示出第一学习过程的示例的流程图。
[0017]图8是示出了第二学习过程的示例的流程图。
[0018]图9是示出了校正步骤的实例的示图。
[0019]图10是示出了通过信息处理系统控制机器人的实例的示图。
[0020]图11是示出了通过信息处理系统控制机器人的实例的示图。
[0021]图12是示出了自外观模型的实例的视图。
具体实施方式
[0022]在下文中，将参考附图详细描述本公开的实施方式。在以下的实施方式中，相同的部分用相同的参考符号表示，并且将省略重复的描述。
[0023]注意，将按照以下顺序给出描述。
[0024][1.信息处理系统的配置][0025][2.提取镜面区域的方法的描述][0026][3.学习系统的结构][0027][4.学习方法的描述][0028][5.信息处理系统的应用例1][0029][6.信息处理系统的应用例2][0030][7.效果][0031][1.信息处理系统的配置][0032]图1为示出信息处理系统1的实例的示意图。信息处理系统1安装在例如作为自主移动物体OB的机器人RM(参见图10和图11)上。
[0033]信息处理系统1包括例如处理设备100、驱动设备130、成像设备140、传感器设备150、输出设备160和存储装置170。
[0034]例如，处理设备100从由成像设备140捕获的正面图像数据中提取镜面区域MA(参见图3)。处理装置100基于例如镜面区域MA的位置和镜面区域MA中包含的特征信息执行各种控制。
[0035]驱动装置130基于从控制器115输入的驱动信号驱动安装在机器人RM上的多个电动机MT(见图10和图11)。机器人RM包括多个电动机MT。马达MT例如是步进马达。驱动装置130向多个电动机MT中的每提供脉冲信号以使机器人RM执行各种操作。
[0036]成像装置140安装在机器人RM上并且捕获机器人RM周围的图像。成像装置140安装在例如机器人RM的眼部上，并且捕获机器人RM前方的图像。成像装置140包括诸如电荷耦合器件图像传感器(CCD)或互补金属氧化物半导体(CMOS)的图像传感器。成像单元140将视频
转换成信号以将信号输出至处理装置100。
[0037]传感器装置150包括安装在机器人RM上的一个或多个传感器。包括在传感器装置150中的传感器的实例包括加速度传感器、角速度传感器、方位传感器、磁传感器、接近传感器、照度传感器、声音传感器、大气压力传感器、温度传感器、湿度传感器、压力传感器和全球定位系统(GPS)传感器。
[0038]输出设备160包括输出通过处理设备100获得的各种类型的信息的一个或多个输出设备。输出设备的实例包括显示设备和音频输出设备。显示设备的实例包括液晶显示器(LCD)和有机发光二极管(OLED)。音频输出设备的示例包括扬声器。
[0039]处理装置100包括例如图像数据获取单元101、图像编码器102、噪声生成单元103、恢复表达式生成单元104、恢复表达式存储单元106、差分编码器107、差分表达式提取单元108、驱动量数据获取单元109、相关区域提取单元110、镜面区域识别单元111、路线搜索单元112、自我识别单元113、外观确定单元114以及控制器115。
[0040]图像数据获取单元101获取由成像装置140捕获的图像数据I。图像数据获取单元101基于从成像装置140输入的视频信号在从时间t1到时间t
T
的多个时间获取例如图像数据I，其中T是按时间顺序的两个或更多个的整本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种信息处理系统，包括：操作量数据获取单元，获取物体的操作量数据；图像数据获取单元，获取由安装在所述物体上的成像装置捕获的图像数据；差分表达式提取单元，基于在所述物体的操作之前和之后捕获的两条图像数据，提取表示关于所述两条图像数据之间的差异的特征信息的差分表达式；以及镜面区域识别单元，基于所述差分表达式与所述操作量数据之间的相关性，识别镜面区域。2.根据权利要求1所述的信息处理系统，还包括：差分编码器，从所述两条图像数据提取扩展的差分表达式，所述扩展的差分表达式包括由所述物体的运动引起的所述两条图像数据之间的差异的特征信息以及不是由所述物体的运动引起的所述两条图像数据之间的差异的特征信息，其中，所述差分表达式提取单元从所述扩展的差分表达式中选择性地提取表示由所述物体的运动引起的所述两条图像数据之间的所述差异的所述特征信息的所述差分表达式。3.根据权利要求2所述的信息处理系统，其中，所述操作量数据获取单元在从时间t1到时间t
T
的多个时间处获取操作量数据，其中，T是2或更大的整数，所述图像数据获取单元在所述多个时间处获取图像数据，所述差分编码器从时间t
k
处的图像数据以及紧接在所述时间t
k
之前的时间t
k
‑1处的图像数据的恢复表达式中提取在所述时间t
k
处的扩展的差分表达式，其中，k是2至T的整数，所述差分表达式提取单元从所述时间t
k
处的所述扩展的差分表达式中提取在所述时间t
k
处的差分表达式，所述差分表达式表示由所述物体的运动引起的特征信息，并且所述镜面区域识别单元基于在所述多个时间处的差分表达式与在所述多个时间处的操作量数据之间的相关性，识别所述镜面区域。4.根据权利要求3所述的信息处理系统，其中，所述差分编码器是其中通过机器学习优化权重的神经网络，所述机器学习包括使用在多个时间处的静止物体的学习图像数据的学习过程，所述学习过程包括：生成在所述时间t1处的学习图像数据的恢复表达式，将在时间t
q
处的学习图像数据以及紧接在所述时间t
q
之前的时间t
q
‑1处的学习图像数据的恢复表达式输入到所述差分编码器，以提取在所述时间t
q
处的扩展的差分表达式，其中，q是2或更大的整数；将在所述时间t
q
处的所述扩展的差分表达式输入到校正单元，以执行校正，以将表示在所述时间t
q
处的所述扩展的差分表达式的张量的部分重写为零，将在所述时间t
q
‑1处的所述学习图像数据的恢复表达式和噪声加到所述校正之后的所述时间t
q
处的所述扩展的差分表达式以生成在所述时间t
q
处的学习图像数据的恢复表达式，通过图像解码器解码在所述时间t
q
处的所述学习图像数据的恢复表达式，以生成在所述时间t
q
处的恢复图像数据，计算在所述时间t
q
处的所述恢复图像数据与在所述时间t
q
处的所述学习图像数据之间
的恢复误差，以及重复调整表示图像编码器、所述差分编码器、所述校正单元和所述图像解码器的神经网络的权重，直到所述恢复误差满足预定标准，并且所述差分表达式提取单元提取表示所述扩展的差分表达式的张量的由所述校正单元重写为零的部分作...

【专利技术属性】
技术研发人员：岛田大树，西川德宏，佐藤达人，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：