信息处理装置制造方法及图纸

本公开涉及能够校正由传感器的视场引起的待校正像素的信息处理装置

【技术实现步骤摘要】
【国外来华专利技术】信息处理装置、信息处理方法和程序


[0001]本公开涉及信息处理装置
、
信息处理方法和程序，并且更具体地，涉及能够校正由传感器的视场引起的校正目标像素的信息处理装置
、
信息处理方法和程序
。

技术介绍

[0002]存在用于通过连接由多个深度传感器获得的深度图像来产生更宽角度的深度图像的技术
。
[0003]专利文献1公开了如下技术：在深度测量数据中检测缺陷像素，定义所检测的缺陷像素的深度校正，并且将深度校正应用于所检测的缺陷像素的深度测量数据以便增强深度图质量
。
[0004]引用列表
[0005]专利文献
[0006]专利文献1：
PCT
申请号
2014
‑
524016
的日文译文
。

技术实现思路

[0007]本专利技术要解决的问题
[0008]当通过布置多个深度传感器使得视场具有预定关系来生成各种深度图像时，存在待处理的深度图像由于传感器的视场而包括校正目标像素
(
诸如缺陷像素
)
的情况，并且需要校正由传感器的视场引起的校正目标像素
。
[0009]本公开鉴于这种情况做出，并且能够校正由传感器的视场引起的校正目标像素
。
[0010]问题的解决方案
[0011]根据本公开的第一方面的信息处理装置是一种信息处理装置，该信息处理装置包括：处理单元，该处理单元进行使用了通过机器学习训练第一图像
、
第二图像以及第三图像的至少一部分而得的已训练模型的处理，以校正包括在任意图像中的校正目标像素，在第一图像中，由第一传感器获取的对象由深度信息表示，在第二图像中，由第二传感器获取的对象由深度信息表示，第三图像从第一图像和第二图像获得
。
[0012]根据本公开的第一方面的信息处理方法和程序是适合于根据上述本公开的第一方面的信息处理装置的信息处理方法和程序
。
[0013]在根据本公开的第一方面的信息处理装置
、
信息处理方法和程序中，进行使用了通过机器学习训练第一图像
、
第二图像和第三图像的至少一部分而得的已训练模型的处理，在第一图像中，由第一传感器获取的对象由深度信息表示，在第二图像中，由第二传感器获取的对象由深度信息表示；以及第三图像从第一图像和第二图像获得，并且包括在任意一个图像中的校正目标像素被校正
。
[0014]根据本公开的第二方面的信息处理装置是一种信息处理装置，包括：处理单元，进行使用了通过机器学习训练图像的至少一部分而得的已训练模型的处理，所述图像通过深度信息指示由包括第一光源和第二光源的传感器获取的对象，其中，所述第一光源和所述
第二光源被设置为使得光的照射区域重叠，并且处理单元将与图像中的照射区域之间的重叠部分对应的位置识别为像素校正位置，并且使用已训练模型来校正像素校正位置的深度信息
。
[0015]根据本公开的第二方面的信息处理方法和程序是适合于根据上述本公开的第二方面的信息处理装置的信息处理方法和程序
。
[0016]在根据本公开的第二方面的信息处理装置
、
信息处理方法和程序中，进行使用了通过机器学习训练图像的至少一部分而得的已训练模型的处理，在所述图像中，由深度信息指示由包括被设置为使得光的照射区域重叠的第一光源和第二光源的传感器获取的对象，对应于图像中的照射区域之间的重叠部分的位置被识别为像素校正位置，并且使用已训练模型来校正像素校正位置的深度信息
。
[0017]应注意，根据本公开内容的第一方面和第二方面的信息处理装置可以是彼此独立的装置或者构成一个装置的内部块
。
附图说明
[0018]图1是示出应用了本公开的距离测量装置的配置实例的示图
。
[0019]图2是用于描述两个深度传感器的视场之间的重叠部分的校正的示图
。
[0020]图3是示出在使用监督学习的情况下的学习装置和推断单元的配置实例的示图
。
[0021]图4是描述校正处理的流程的实例的流程图
。
[0022]图5是用于描述两个深度传感器的视场之间的间隙部分的校正的示图
。
[0023]图6是用于描述具有不同视场的两个深度传感器的视场之间的重叠部分的校正的示图
。
[0024]图7是用于描述包括在一个深度传感器中的多个光源的照射区域之间的重叠部分的校正的示图
。
[0025]图8是示出应用了本公开的距离测量装置的另一配置的第一实例的示图
。
[0026]图9是示出应用了本公开的距离测量装置的又一配置的第二实例的示图
。
[0027]图
10
是示出应用了本公开的距离测量装置的又一配置的第三实例的示图
。
[0028]图
11
是示出应用了本公开的距离测量装置的又一配置的第四实例的示图
。
[0029]图
12
是示出包括执行
AI
处理的装置的系统的配置实例的示图
。
[0030]图
13
是示出电子装置的配置实例的框图
。
[0031]图
14
是示出边缘服务器或云服务器的配置实例的框图
。
[0032]图
15
是示出光学传感器的配置实例的框图
。
[0033]图
16
是示出处理单元的配置实例的框图
。
[0034]图
17
是示出多个装置之间的数据流的示图
。
具体实施方式
[0035]<<1.
本公开的实施方式
>>
[0036](
装置的配置实例
)
[0037]图1是示出应用了本公开的距离测量装置的配置实例的示图
。
[0038]在图1中，距离测量装置
10
包括深度传感器
11
‑
1、
深度传感器
11
‑
2、
距离测量计算
单元
12
‑
1、
距离测量计算单元
12
‑
2、
拼接处理单元
13
以及距离校正单元
14。
在距离测量装置
10
中，深度传感器
11
‑1和深度传感器
11
‑2被布置为在视场
(FoV)
之间具有重叠
。
[0039]深度传感器
11
‑1是诸如
ToF本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种信息处理装置，包括：处理单元，进行使用了通过机器学习训练第一图像
、
第二图像和第三图像中的至少一部分而得的已训练模型的处理，以校正包括在任意图像中的校正目标像素，在所述第一图像中，由第一传感器获取的对象由深度信息表示，在所述第二图像中，由第二传感器获取的对象由深度信息表示，所述第三图像从所述第一图像和所述第二图像获得
。2.
根据权利要求1所述的信息处理装置，其中所述第一传感器和所述第二传感器被设置为视场彼此重叠，并且所述处理单元当通过结合所述第一图像和所述第二图像以产生所述第三图像时，将与所述第三图像中的视场之间的重叠部分对应的位置识别为像素校正位置，并且使用所述已训练模型校正所述像素校正位置的深度信息
。3.
根据权利要求2所述的信息处理装置，其中所述已训练模型是被配置为通过使用具有由所述视场之间的重叠部分引起的深度信息缺陷的所述第三图像和所述像素校正位置作为输入的学习，输出所述缺陷已被校正的所述第三图像的模型，并且所述处理单元以具有由所述视场之间的重叠部分引起的深度信息缺陷的所述第三图像和所述像素校正位置作为输入，使用所述已训练模型进行推断，以生成所述缺陷已被校正的所述第三图像
。4.
根据权利要求1所述的信息处理装置，其中所述第一传感器和所述第二传感器被设置为视场彼此重叠，并且所述处理单元当通过结合所述第一图像和所述第二图像以产生所述第三图像时，将与所述第一图像和所述第二图像中的视场之间的重叠部分对应的位置识别为像素校正位置，并且使用所述已训练模型校正所述像素校正位置的深度信息
。5.
根据权利要求4所述的信息处理装置，其中所述已训练模型是被配置为通过使用具有由所述视场之间的重叠部分引起的深度信息缺陷的第一图像或所述第二图像和所述像素校正位置作为输入的学习，来输出所述缺陷已被校正的所述第一图像或所述第二图像的模型，并且所述处理单元以具有由所述视场之间的重叠部分引起的所述深度信息缺陷的所述第一图像或所述第二图像与所述像素校正位置作为输入，使用所述已训练模型进行推断，以生成所述缺陷已被校正的所述第一图像或所述第二图像，以及结合所述第一图像与所述第二图像以产生所述第三图像
。6.
根据权利要求1所述的信息处理装置，其中所述第一传感器和所述第二传感器被设置为视场彼此不重叠，并且所述处理单元当通过结合所述第一图像和所述第二图像以产生所述第三图像时，将与所述第三图像中的所述视场之间的间隙部分对应的位置识别为像素校正位置，并且使用所述已训练模型校正所述像素校正位置的深度信息
。
7.
根据权利要求6所述的信息处理装置，其中所述已训练模型是被配置为通过使用具有由所述视场之间的所述间隙部分引起的深度信息缺陷的所述第三图像和所述像素校正位置作为输入的学习，来输出所述缺陷已被校正的所述第三图像的模型，并且所述处理单元以具有由所述视场之间的所述间隙部分引起的所述深度信息缺陷的所述第三图像和所述像素校正位置作为输入，使用所述已训练模型进行推断，以生成所述缺陷已被校正的所述第三图像
。8.
根据权利要求1所述的信息处理装置，其中所述第一传感器和所述第二传感器是具有不同视场的传感器，并且被布置为使所述视场彼此重叠，并且所述处理单元当通过结合所述第一图像和所述第二图像以产生所述第三图像时，将与所述第三图像中的所述视场之间的重叠部分对应的位置识别为像素校正位置，并且使用所述已训练模型校正所述像素校正位置的深度信息
。9.

【专利技术属性】
技术研发人员：山田英史，芦谷达治，
申请(专利权)人：索尼半导体解决方案公司，
类型：发明
国别省市：