学习设备50的第一图像拾取模拟单元51根据学习图像的图像数据生成通过使用图像拾取单元21‑1捕获的学习图像而获得的图像数据，并且第二图像拾取模拟单元52生成由图像拾取单元21‑2捕获的图像数据。参数生成单元53和54将所生成的图像数据中的一种视为教师数据并且将另一种视为学生数据；通过学习生成使学生数据具有教师数据的特性的特性差异校正参数；并且将特性差异校正参数存储在数据库单元DB1‑1和DB1‑2中。特性差异校正单元222使用存储在数据库单元DB1‑1和DB1‑2中的特性差异参数，将由图像拾取单元21‑1和21‑2生成的捕获图像中的具有较低性能的图像数据中的一个校正为具有较高性能的图像数据。通过使用由多个图像拾取单元分别生成的捕获图像的图像数据，可以生成具有比分别生成的捕获图像更高性能的捕获图像的图像数据。
【技术实现步骤摘要】
【国外来华专利技术】图像处理设备和图像处理方法以及学习设备和学习方法
本技术涉及下述图像处理设备、图像处理方法、学习设备和学习方法，与由多个成像部分别生成的捕获图像相比，所述图像处理设备、图像处理方法、学习设备和学习方法能够使用分别生成的捕获图像的图像数据来生成具有改进性能的捕获图像的图像数据。
技术介绍
在诸如移动电子设备的传统信息处理终端例如智能电话中，由于小型化和纤薄化，成像部的性能低于单反相机等的性能。为了解决该问题，例如，专利文献1提出了通过无线通信将由可从信息处理终端移除的相机生成的捕获图像提供给信息处理终端。另外，专利文献2公开了设置多个成像部以同时生成具有不同图像质量的多个图像，例如第一视角的图像以及小于第一视角的第二视角的图像。引用列表专利文献[专利文献1]JP2015-088824AJP2013-219525A
技术实现思路
技术问题同时，可移除相机在尺寸上大于信息处理终端的成像部，并且在利用可移除相机的情况下，需要在可移除相机与信息处理终端之间建立通信。这使得用于获得有利的捕获图像的操作变得复杂并且降低了便携性。另外，即使设置了多个成像部，所获取的图像也是根据各个成像部的性能的图像，并且不可能改进例如第一视角的图像的图像质量。因此，本技术的目的是提供下述图像处理设备、图像处理方法、学习设备和学习方法，与由多个成像部分别生成的捕获图像相比，所述图像处理设备、图像处理方法、学习设备和学习方法能够使用分别生成的捕获图像的图像数据来生成具有改进性能的捕获图像的图像数据。问题的解决方案根据本技术的第一方面，提供了一种图像处理设备，该图像处理设备包括特性差异校正部，将由第一成像部生成的学习图像的图像数据和由与第一成像部特性不同的第二成像部生成的学习图像的图像数据中的一个图像数据假设为教师数据并且将另一个图像数据假设为学生数据，特性差异校正部根据用于使学生数据的特性与教师数据的特性相同的学习模型，将由第一成像部和第二成像部生成的捕获图像的图像数据中的具有较低性能的图像数据校正成具有较高性能的图像数据。根据本技术，将由第一成像部生成的学习图像的图像数据和由与第一成像部特性不同的第二成像部生成的学习图像的图像数据假设为教师数据并且将另一个图像数据假设为学生数据，特性差异校正部根据用于使学生数据的特性与教师数据的特性相同的学习模型，例如使用通过学习预先生成的用于使学生数据的特性与教师数据的特性相同的特性差异校正参数，将由第一成像部和第二成像部生成的捕获图像的图像数据中的具有较低性能的一个图像数据校正为具有较高性能的图像数据。性能包括图像质量性能，并且作为与图像质量性能相关的特性差异的校正，特性差异校正部对作为颜色空间差异和区域差异中的至少一个的特性差异执行校正。例如，第一成像部生成捕获黑白图像的图像数据，第二成像部生成捕获彩色图像的指示一个颜色分量的图像数据，并且特性差异校正部使捕获彩色图像的图像数据的灵敏度高于由第二成像部生成的图像数据的灵敏度，作为相对于区域差异的特性差异的校正。另外，性能包括功能性能，并且作为与功能性能相关的特性差异的校正，特性差异校正部执行由视角、焦距、聚焦控制、光圈控制和白平衡控制中的至少任何一个的差异引起的特性差异的校正。此外，图像处理设备还包括：视差检测部，其使用在第一成像部和第二成像部中生成并且由特性差异校正部校正过特性差异的图像数据来检测第一成像部与第二成像部之间的视差；以及视差补偿部，其基于由视差检测部检测的视差检测结果对由第一成像部和第二成像部生成的图像数据执行视差补偿。例如，视差补偿部对由第一成像部生成的图像数据和由第二成像部生成的图像数据中的一个图像数据执行视差补偿，并且特性差异校正部将另一个图像数据的分辨率校正为经过对在检测视差时使用的图像数据进行视差补偿的图像数据的分辨率。此外，将学习图像的图像数据假设为教师数据并且将由第一成像部生成的学习图像的图像数据以及由第二成像部生成的学习图像的图像数据假设为学生数据，使用通过学习预先生成的用于使多条学生数据的特性与教师数据的特性相同的合成控制参数，对在对由第一成像部和第二成像部生成的图像数据进行视差补偿之后的图像数据执行合成。根据本技术的第二方面，提供了一种图像处理方法，包括：将由第一成像部生成的学习图像的图像数据和由与第一成像部特性不同的第二成像部生成的学习图像的图像数据中的一个图像数据假设为教师数据并且将另一个图像数据假设为学生数据，根据用于使学生数据的特性与教师数据的特性相同的学习模型，将由第一成像部和第二成像部生成的捕获图像的图像数据中的具有较低性能的图像数据校正成具有较高性能的图像数据。根据本技术的第三方面，提供了一种学习设备，包括：特性差异参数生成部，特性差异参数生成部通过学习生成用于使学生数据的特性与教师数据的特性相同的特性差异校正参数，其中，将以下图像数据中的一个图像数据假设为教师数据并且将另一个图像数据假设为学生数据：指示由第一成像模拟部根据由第一成像部捕获的学习图像的图像数据生成的学习图像的图像数据；以及指示由第二成像模拟部根据由第二成像部捕获的学习图像的图像数据生成的学习图像的图像数据。根据本技术的第四方面，提供了一种学习方法，包括：由特性差异参数生成部通过学习生成用于使学生数据的特性与教师数据的特性相同的特性差异校正参数，其中，将下述图像数据中的一个图像数据假设为教师数据并且将另一个图像数据假设为学生数据：指示由第一成像模拟部根据由第一成像部捕获的学习图像的图像数据生成的学习图像的图像数据；以及指示由第二成像模拟部根据由第二成像部捕获的学习图像的图像数据生成的学习图像的图像数据。本专利技术的有益效果根据本专利技术，将由第一成像部生成的学习图像的图像数据和由与第一成像部特性不同的第二成像部生成的学习图像的图像数据中的一个图像数据假设为教师数据并且将另一个图像数据假设为学生数据，根据用于使学生数据的特性与教师数据的特性相同的学习模型，将由第一成像部和第二成像部生成的捕获图像的图像数据中的具有较低性能的图像数据校正成具有较高性能的图像数据。因此，与由多个成像部分别生成的捕获图像相比，可以使用分别生成的捕获图像的图像数据来生成具有改进性能的捕获图像的图像数据。注意，本说明书中描述的效果仅作为示例给出，并且效果不限于本说明书中描述的效果，而是可以包含额外的效果。附图说明[图1]图1是示出应用图像处理设备的装置的外观的示例的图。[图2]图2是示出信息处理终端的配置的示例的图。[图3]图3是示出图像处理部的配置的示例的图。[图4]图4是示出成像部中的像素阵列的示例的图。[图5]图5是示出在生成特性差异校正参数的情况下学习设备的配置的示例的图。[图6]图6是示出在生成合成控制参数的情况下学习设备的配置的示例的图。[图7]图7是示出由学习设备执行的生成特性差异校正参数的操作的示例的流程图。[图8]图8是示出由特性差异校正部执行的操作的示例的流程图。[图9]图9是示出由图像处理部执行的特性差异校正操作的图。[图10]图10是示出由第二特性差异校正部执行的特性差异校正处理的示例的图。[图11]图11是示意性地示出对颜色空间的特性差异校正的结果的图。[图12]图12是示出由学习设备执行的用于生成合成控制参数的操作的示例的流程图。[本文档来自技高网...
【技术保护点】
1.一种图像处理设备，包括：特性差异校正部，其将由第一成像部生成的学习图像的图像数据和由与所述第一成像部特性不同的第二成像部生成的学习图像的图像数据中的一种图像数据假设为教师数据并且将另一种图像数据假设为学生数据，所述特性差异校正部根据用于使所述学生数据的特性与所述教师数据的特性相同的学习模型，将由所述第一成像部和所述第二成像部生成的捕获图像的图像数据中的具有较低性能的图像数据校正成具有较高性能的图像数据。
【技术特征摘要】
【国外来华专利技术】2016.06.02 JP 2016-1108081.一种图像处理设备，包括：特性差异校正部，其将由第一成像部生成的学习图像的图像数据和由与所述第一成像部特性不同的第二成像部生成的学习图像的图像数据中的一种图像数据假设为教师数据并且将另一种图像数据假设为学生数据，所述特性差异校正部根据用于使所述学生数据的特性与所述教师数据的特性相同的学习模型，将由所述第一成像部和所述第二成像部生成的捕获图像的图像数据中的具有较低性能的图像数据校正成具有较高性能的图像数据。2.根据权利要求1所述的图像处理设备，还包括：视差检测部，其使用由所述特性差异校正部进行过特性差异校正的图像数据来检测所述第一成像部与所述第二成像部之间的视差；以及视差补偿部，其基于由所述视差检测部检测的视差检测结果对由所述第一成像部和所述第二成像部生成的图像数据执行视差补偿。3.根据权利要求2所述的图像处理设备，其中，所述视差补偿部对由所述第一成像部生成的图像数据和由所述第二成像部生成的图像数据中的一种图像数据执行所述视差补偿，并且所述特性差异校正部针对在检测所述视差时使用的图像数据，将另一种图像数据的分辨率校正为进行所述视差补偿的图像数据的分辨率。4.根据权利要求2所述的图像处理设备，还包括：图像合成部，其将学习图像的图像数据假设为教师数据并且将由所述第一成像部生成的学习图像的图像数据以及由所述第二成像部生成的学习图像的图像数据假设为学生数据，所述图像合成部根据用于使多种所述学生数据的合成数据的特性与所述教师数据的特性相同的学习模型，使用通过预先学习生成的合成控制参数，将由所述第一成像部和所述第二成像部生成的捕获图像的图像数据进行合成。5.根据权利要求4所述的图像处理设备，其中，所述图像合成部在对由所述第一成像部和所述第二成像部生成的图像数据进行的所述视差补偿之后对该图像数据执行合成。6.根据权利要求4所述的图像处理设备，其中，所述特性差异校正部使用通过预先学习生成的用于使所述学生数据的特性与所述教师数据的特性相同的特性差异校正参数，将由所述第一成像部和所述第二成像部生成的捕获图像的图像数据中的具有较低性能的图像数据校正成具有较高性能的图像数据，并且所述图像合成部使用通过预先学习生成的用于使所述多种学生数据的合成数据的特性与所述教师数据的特性相同的合成控制参数，将由所述第一成像部和所述第二成像部生成的捕获图像的图像数据进行合成。7.根据权利要求1所述的图像处理设备，其中，所述性能包括图像质量性能，并且所述特性差异校正部执行与所述图像质量性能相关的特性差异的校正。8.根据权利要求7所述的图像处理设备...
【专利技术属性】
技术研发人员：市桥英之，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。