学习方法、存储介质以及图像处理装置制造方法及图纸

本发明专利技术的实施方式涉及一种学习方法、存储介质以及图像处理装置。实施方式的学习方法具备如下步骤：取得通过摄像装置从多视点摄像第一被摄体而得到的多视点图像；以及基于将多视点图像中的第一图像作为输入而从统计模型输出的第一模糊值以及将多视点图像中的第二图像作为输入而从统计模型输出的第二模糊值来使统计模型学习。学习的步骤包括如下步骤：从多视点图像取得到第一图像所包括的第一被摄体的第一距离和到第二图像所包括的第一被摄体的第二距离；以及以第一模糊值和第二模糊值的大小关系变得与第一距离和第二距离的大小关系相等的方式使统计模型学习。关系相等的方式使统计模型学习。关系相等的方式使统计模型学习。

【技术实现步骤摘要】
学习方法、存储介质以及图像处理装置
[0001]相关申请
[0002]本申请以日本专利申请2021
‑
124296(申请日：2021年7月29日)为基础上，从该申请享有优先的利益。本申请通过参照该申请，全部包括该申请的内容。


[0003]本专利技术的实施方式涉及学习方法、存储介质以及图像处理装置。

技术介绍

[0004]为了取得到被摄体的距离，已知有使用由2个摄像装置(相机)、立体相机(复眼相机)摄像到的图像的技术，但近年来，开发了使用由1个摄像装置(单眼相机)摄像到的图像来取得到被摄体的距离的技术。
[0005]在此，为了如上述那样使用图像来取得到被摄体的距离，考虑对应用神经网络等机器学习算法而生成的统计模型加以使用。
[0006]然而，为了生成高精度的统计模型，需要使统计模型学习庞大的学习用的数据集(学习用图像与和到该学习用图像中的被摄体的距离有关的正确值的集合)，但准备该数据集并不容易。

技术实现思路

[0007]本专利技术要解决的技术问题在于，提供一种能够提高用于取得到被摄体的距离的统计模型中的学习的容易性的学习方法、存储介质以及图像处理装置。
[0008]根据实施方式，提供一种学习方法，该学习方法用于使统计模型学习，该统计模型用于将包括被摄体的图像作为输入而输出对根据到该被摄体的距离而在该图像中产生的模糊进行表示的模糊值。所述学习方法包括如下步骤：取得由摄像装置从多视点摄像第一被摄体而得到的第一多视点图像；以及基于第一模糊值及第二模糊值来使统计模型学习，所述第一模糊值是将所述第一多视点图像中的第一图像作为输入而从所述统计模型输出的模糊值，所述第二模糊值是将所述第一多视点图像中的第二图像作为输入而从所述统计模型输出的模糊值。所述学习包括如下步骤：从所述第一多视点图像取得第一距离及第二距离，所述第一距离是摄像到所述第一图像时的从所述摄像装置到该第一图像所包括的第一被摄体的距离，所述第二距离是从摄像到所述第二图像时的所述摄像装置到该第二图像所包括的第一被摄体的距离；判别所述第一距离与所述第二距离的大小关系；以及以所述第一模糊值与所述第二模糊值的大小关系变得与判别出的所述大小关系相等的方式方式使所述统计模型学习。
附图说明
[0009]图1是表示第一实施方式中的测距系统的结构的一例的图。
[0010]图2是表示图像处理装置的系统结构的一例的图。
[0011]图3是用于说明测距系统的动作的概要的图。
[0012]图4是用于说明取得到被摄体的距离的原理的图。
[0013]图5是用于具体说明在统计模型中预测的模糊值的图。
[0014]图6是用于说明根据摄像图像来预测模糊的方式的一例的图。
[0015]图7是表示与图像补片有关的信息的一例的图。
[0016]图8是用于说明一般的统计模型的学习方法的概要的图。
[0017]图9是用于说明学习用的数据集的图。
[0018]图10是用于说明本实施方式的统计模型的学习方法的概要的图。
[0019]图11是表示学习处理部的功能结构的一例的框图。
[0020]图12是用于说明多视点图像的图。
[0021]图13是表示使统计模型学习时的图像处理装置的处理顺序的一例的流程图。
[0022]图14是表示SfM的概要的图。
[0023]图15是用于说明标尺参数与模糊值的关系性的图。
[0024]图16是表示从摄像图像取得距离信息时的图像处理装置的处理顺序的一例的流程图。
[0025]图17是用于说明使用在多个场景中摄像到的多视点图像来使统计模型学习的情况的图。
[0026]图18是表示在第二实施方式中使统计模型学习时的图像处理装置的处理顺序的一例的流程图。
[0027](附图标记说明)
[0028]1…
测距系统，2
…
摄像装置，3
…
图像处理装置，21
…
透镜，22
…
图像传感器，31
…
统计模型存储部，32
…
图像取得部，33
…
距离取得部，34
…
输出部，35
…
学习处理部，35a
…
距离取得部，35b
…
判别部，35c
…
计算部，35d
…
学习部，221
…
第一传感器，222
…
第二传感器，223
…
第三传感器，301
…
CPU，302
…
非易失性存储器，303
…
RAM，303A
…
图像处理程序，304
…
通信器件，305
…
总线。
具体实施方式
[0029]以下，参照附图对各实施方式进行说明。
[0030](第一实施方式)
[0031]图1表示第一实施方式中的测距系统的结构的一例。图1所示的测距系统1用于摄像图像，并使用该摄像到的图像来取得(测定)从摄像地点到被摄体的距离。
[0032]如图1所示，测距系统1具备摄像装置2以及图像处理装置3。在本实施方式中，设为测距系统1具备作为独立的装置的摄像装置2以及图像处理装置3的情况进行说明，但该测距系统1也可以作为摄像装置2作为摄像部发挥功能、且图像处理装置3作为图像处理部发挥功能的1个装置(测距装置)来实现。另外，图像处理装置3例如也可以作为执行各种云计算服务的服务器而动作。
[0033]摄像装置2用于摄像各种图像。摄像装置2具备透镜21以及图像传感器22。透镜21以及图像传感器22相当于摄像装置2的光学系统(单眼相机)。
[0034]被摄体反射后的光入射到透镜21。入射到透镜21的光透射透镜21。透射透镜21后
的光到达图像传感器22，由该图像传感器22接收(检测)。图像传感器22通过将接收到的光变换为电信号(光电变换)来生成由多个像素构成的图像。
[0035]另外，图像传感器22例如通过CCD(Charge Coupled Device：电荷耦合器件)图像传感器以及CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)图像传感器等来实现。图像传感器22例如包括检测红色(R)的波段的光的第一传感器(R传感器)221、检测绿色(G)的波段的光的第二传感器(G传感器)222以及检测蓝色(B)的波段的光的第三传感器(B传感器)223。
[0036]图像传感器22能够通过第一～第三传感器221～223接收对应的波段的光，生成与各波段(颜色成分)对应的传感器图像(R图像、G图像以及B图像)。即，由摄像装置2摄像的图像是彩色图像(RGB图像)，在该图像中包括R图像、G图像以及B图像。
[0037]另外，在本实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种学习方法，用于使统计模型学习，该统计模型用于将包括被摄体的图像作为输入而输出对模糊进行表示的模糊值，该模糊是根据到该被摄体的距离而在该图像中产生的，所述学习方法具备如下步骤：取得通过摄像装置从多视点对第一被摄体进行摄像而得到的第一多视点图像；以及基于第一模糊值及第二模糊值来使所述统计模型学习，所述第一模糊值是将所述第一多视点图像中的第一图像作为输入而从所述统计模型输出的模糊值，所述第二模糊值是将所述第一多视点图像中的第二图像作为输入而从所述统计模型输出的模糊值，所述学习的步骤包括如下步骤：从所述第一多视点图像取得第一距离及第二距离，所述第一距离是摄像所述第一图像时的从所述摄像装置到该第一图像所包括的第一被摄体的距离，所述第二距离是摄像所述第二图像时的从所述摄像装置到该第二图像所包括的第一被摄体的距离；判别所述第一距离与所述第二距离的大小关系；以及以所述第一模糊值与所述第二模糊值的大小关系变得与判别出的所述大小关系相等的方式使所述统计模型学习。2.根据权利要求1所述的学习方法，所述统计模型将所述第一图像作为输入而输出所述第一模糊值以及该第一模糊值的第一不可靠度，将所述第二图像作为输入而输出所述第二模糊值以及该第二模糊值的第二不可靠度，所述学习的步骤包括如下步骤：以使基于从所述统计模型输出的第一模糊值及第二模糊值计算的位次损失最小化的方式使所述统计模型学习，所述位次损失基于所述第一不可靠度及所述第二不可靠度中的至少一个不可靠度而被调整。3.根据权利要求1或2所述的学习方法，所述统计模型将所述第一多视点图像中的第三图像作为输入而输出从所述统计模型输出的第三模糊值，所述学习的步骤包括如下步骤：以所述第一模糊值与所述第三模糊值之间的差分被最小化的方式使所述统计模型学习，摄像所述第一图像时的从所述摄像装置到该第一图像所包括的第一被摄体的第一距离与摄像所述第三图像时的从所述摄像装置到该第三图像所包括的第一被摄体的第三距离之间的差分在预先决定的值以下。4.根据权利要求1～3中任一项所述的学习方法，所述第一多视点图像在所述摄像装置的焦点被固定的状态下被摄像。5.根据权利要求1～4中任一项所述的学习方法，所述学习的步骤包括如下步骤：在基于所述第一模糊值及所述第二模糊值使所述统计模型学习之后，基于将第四图像作为输入而从所述统计模型输出的第四模糊值、以及将第五图像作为输入而从所述统计模型输出的第五模糊值，来使统计模型学习，所述第四图像是所述第一多视点图像中的从与所述第一图像不同的视点摄像到的图像，所述第五图像是所述第一多视点图像中的从与所述第二图像不同的视点摄像到的图像。
6.根据权利要求1～5中任一项所述的学习方法，还具备取得通过所述摄像装置从多视点对第二被摄体进行摄像而得到的第二多视点图像的步骤，所述学习的步骤还包括如下步骤：基于将所述第二多视点图像中的第六图像作为输入而从所述统计模型输出的第六模糊值以及将所述第二多视点图像所包括的第七图像作为输入而从所述统计模型输出的第七...

【专利技术属性】
技术研发人员：三岛直，关晃仁，
申请(专利权)人：株式会社东芝，
类型：发明
国别省市：