图像显示装置、生成训练神经网络模型的方法和计算机程序制造方法及图纸

提供了一种使用相位调制技术以高对比度投影图像的图像显示装置。该图像显示装置包括：经训练的神经网络模型，估计与输出目标图像相对应的相位调制分布；相位调制部，基于由经训练的神经网络模型估计的相位调制分布对入射光执行相位调制；亮度调制部，对从相位调制部输出的相位调制光执行亮度调制；以及控制部，将经过相位调制和亮度调制的入射光输出至预定位置。预定位置。预定位置。

【技术实现步骤摘要】
【国外来华专利技术】图像显示装置、生成训练神经网络模型的方法和计算机程序


[0001]在本文中公开的技术(在下文中称为“本公开”)涉及使用相位调制技术以高对比度投影图像的图像显示装置、用于生成经经训练的神经网络模型的方法以及计算机程序。

技术介绍

[0002]用于将视频投影到屏幕上的投影技术早已为人所知，并且具有例如允许同时向多个人投影同一视频的优点。最近，如以4K或8K分辨率举例的改善的内容图像质量已引起与HDR(高动态范围)兼容的投影仪的出现。例如，提出了一种投影仪，该投影仪使用空间光调制器(SLM)对从光源辐射的均匀光执行波前控制，以获得其中更多光线聚集在具有高亮度的区域中的期望强度分布，从而实现HDR(例如，参见PTL 1)。自由形式方法已知为用于获得适于驱动空间光调制器的平滑相位分布函数的方法。
[0003][引用列表][0004][专利文献][0005][PTL 1][0006]日本专利公开第2017
‑
520022号
[0007][非专利文献][0008][NPL 1][0009]R.T.Frankot和R.Chellapa，“A method for enforcing integrability in shape from shading algorithms”，IEEE Trans.Pattern Anal.Mach.Intelligence，10(4)：439
‑
451，1988。
[0010][NPL 2][0011]A.Agrawal、R.Raskar和R.Chellapa，“What is the range of surface reconstructions from a gradient field？”ECCV，2006,pp.578
‑
591。

技术实现思路

[0012]技术问题
[0013]本公开的目的是提供利用相位调制技术投影具有高对比度的图像的图像显示装置、用于生成经训练的神经网络模型的方法、以及计算机程序。
[0014]问题的解决方案
[0015]本公开的第一方面是一种图像显示装置，包括：经训练的神经网络模型，估计与输出目标图像相对应的相位调制分布；相位调制部，参考由经训练的神经网络模型估计的相位调制分布对入射光执行相位调制；亮度调制部，对从相位调制部输出的相位调制光执行亮度调制；以及控制部，将经过相位调制和亮度调制的入射光输出至预定位置。
[0016]参考学习数据来训练经训练的神经网络模型，学习数据包括输入神经网络模型的强度分布和用作训练数据的相位调制分布的集合。可替代地，参照输入神经网络模型的强度分布和基于光线光学模型从神经网络模型估计的相位调制分布所计算的强度分布之间
的误差，以无监督方式训练神经网络模型。
[0017]此外，本公开的第二方面是一种用于生成估计与目标强度分布对应的相位调制分布的经训练的神经网络模型的方法，该方法包括：输入步骤，将强度分布输入到神经网络模型；评价步骤，评价由神经网络模型从强度分布估计的相位调制分布；以及学习步骤，参考评价的结果训练神经网络模型。
[0018]此外，本公开的第三方面是一种用于生成经训练的神经网络模型的方法，该经训练的神经网络模型估计与目标强度分布对应的光线的布局，该方法包括：输入步骤，将强度分布输入到神经网络模型；评价步骤，评价由神经网络模型从强度分布估计的光线的布局；以及学习步骤，参考评价的结果训练神经网络模型。
[0019]此外，本公开的第四方面是以计算机可读格式描述的计算机程序，该计算机程序在计算机上执行用于生成估计与期望的强度分布对应的相位调制分布的经训练的神经网络模型的处理，该计算机程序使计算机用作：输入部，将强度分布输入到神经网络模型；评价部，评价由神经网络模型从强度分布估计的结果；以及学习部，参考评价的结果训练神经网络模型。
[0020]此外，本公开的第五方面是以计算机可读格式描述的计算机程序，该计算机程序在计算机上执行用于生成估计与目标强度分布对应的相位调制分布的经训练的神经网络模型的处理，该计算机程序使计算机用作：输入部，将强度分布输入到神经网络模型；评价部，评价由神经网络模型从强度分布估计的光线的布局；以及学习部，参照评价的结果训练神经网络模型。
[0021]根据本公开的第四和第五方面中的每个的计算机程序被定义为以计算机可读格式描述的计算机程序，以在计算机上实现预定处理。换言之，通过在计算机中安装根据本公开的第四和第五方面中的每一个的计算机程序，在计算机上施加协作效果以允许产生与根据本公开的第二和第三方面中的每一个的用于生成经训练的神经网络模型的方法的效果类似的效果。
[0022]本专利技术的有利效果
[0023]根据本公开，可以提供使用经训练的神经网络模型来估计对应于输出目标图像的相位调制分布的图像显示装置，实时实现增加的对比度，并提供了用于生成训练的神经网络模型的方法和计算机程序。
[0024]要注意的是，在本文中描述的效果仅仅具有说明性，并且由本公开产生的效果不限于在本文中描述的效果。此外，除了上述效果之外，本公开还可施加另外的效果。
[0025]本公开的其他目的、特征以及优点将从基于以下所描述的实施例和附图的详细描述中阐明。
附图说明
[0026]图1是示出了投影仪100的配置实例的示图。
[0027]图2为示出包括使用经训练的神经网络的自由形式(freeform)估计部的投影仪100的配置实例的示图。
[0028]图3A是描绘相位调制分布的实例的示图。
[0029]图3B是示出了因一组光线(该组光线以平行于SLM的均匀分布入射)通过图3A中所
示的相位调制分布被弯曲而在图像面上实现的具有不等栅格间隔的光线栅格的示图。
[0030]图4A为示出在图3B中所示的具有不等栅格间隔的光线栅格上的采样值的示图，采样值从由相位调制分布再现的强度分布中获得。
[0031]图4B为示出具有相等栅格间隔的光线栅格上的采样值的示图，采样值从由相位调制分布再现的强度分布中获得。
[0032]图5为描绘根据相位调制分布计算强度分布和根据强度分布计算相位调制分布的示图。
[0033]图6是描绘基于自由形式方法的光传播的模型的示图。
[0034]图7为描绘SLM平面上的栅格与图像面上的栅格之间的对应关系的实例的示图。
[0035]图8是描绘从输出目标的强度分布直接估计自由形式的神经网络800的结构的示例的示图。
[0036]图9是描绘计算流程的示图，其中神经网络用于根据强度分布来估计光线的栅格布局，并且其中然后通过后处理来重构自由形式。
[0037]图10是描绘从输出目标的强度分布估计光线的栅格布局的神经网络901的结构的示例的示图。
[0038]图11是描绘了神经网络901的监督式学习的机制的示图，该神经网络根据强度分布来估计光线的栅格布局。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种照明装置，包括：经训练的神经网络模型，估计对应于目标强度分布的相位调制分布；以及相位调制部，参照由所述经训练的神经网络模型所估计的所述相位调制分布对入射光执行相位调制。2.根据权利要求1所述的照明装置，其中，所述经训练的神经网络模型直接估计实现与所述目标强度分布对应的光线密度分布的相位调制分布。3.根据权利要求1所述的照明装置，进一步包括：亮度调制部，对来自所述相位调制部的发射光执行亮度调制，其中，所述目标强度分布包括参考通过来自所述亮度调制部的发射光显示的目标图像所计算的目标强度分布，以及所述亮度调制部使用参考所述目标图像计算的亮度调制分布和所述相位调制分布执行亮度调制。4.根据权利要求1所述的照明装置，进一步包括：光接收部，从所述相位调制部接收发射光，其中，参考对所述光接收部的光接收信号的处理结果来设置所述目标强度分布。5.根据权利要求2所述的照明装置，其中，参考学习数据来训练所述经训练的神经网络模型，所述学习数据包括由输入神经网络模型的强度分布和用作训练数据的相位调制分布组成的集合。6.根据权利要求2所述的照明装置，其中，根据输入所述神经网络模型的强度分布和参照传播计算从所述神经网络模型估计的所述相位调制分布计算的强度分布之间的误差，以无监督的方式训练所述神经网络模型。7.根据权利要求2所述的照明装置，其中，根据输入所述神经网络模型的强度分布的倒数与参照传播计算从所述神经网络模型估计的所述相位调制分布计算的强度分布的倒数之间的误差，以无监督的方式训练所述神经网络模型。8.根据权利要求1所述的照明装置，其中，所述经训练的神经网络模型估计对应于所述目标强度分布的光线的布局，以及所述照明装置进一步包括计算部，所述计算部参考所述光线的布局计算相位调制分布。9.根据权利要求8所述的照明装置，其中，所述计算部利用用于从梯度场重构曲面的算法从所述光线的所述布局计算所述相位调制分布。10.根据权利要求8所述的照明装置，其中，参考学习数据来训练所述经训练的神经网络模型，所述学习数据包括由输入所述神经网络模型的强度分布和用作训练数据的所述光线的所述布局组成的集合。11.根据权利要求8所述的照明装置，其中，根据输入所述神经网络模型的强度分布和参照光线光学模型从由所述神经网络模型估计的所述光线的所述布局计算出的强度分布之间的误差，以无监督的方式训练所述经训
练的神经网络模型。12.根据权利要求8所述的照明装置，其中，根据输入所述神经网络模型的强度分布的倒数与参照光线光学模型从由所述神经网络模型估计的所述光线的所述布局计算出的强度分布的倒数之间的误差，以无监督的方式训练所述经训练的神经网络模型。13.一种用于生成经训练的神经网络模型的方法，所述经训练的神经网络模型估计对应于目标强度分布的相位调制分布，所述方法包括：输入步骤，将强度分布输入神经网络模型；评价步骤，评价通过所述神经网络模型从所述强度分布估计的相位调制分布；以及学习步骤，参考所述评价的结果来训练所述神经网络模型。14.根据权利要求13所述的用于生成经训练的神经网络模型的方法，其中，所述评价步骤包括计算基于通过所述神经网络模型从所述强度分布估计的所述相位调制分布与对应于所述强度分布并用作训练数据的相位调制分布之间的误差的损失函数，以及所述学习步骤包括使用所述损失函数来训练所述神经网络模型。15.根据权利要求13所述的用于生成经训练的神经网络模型的方法，其中，所述评价步骤包括计算输入所述神经网络模型的所述强度分布与参考传播计算根据由所述神经网络模型从所述强度分布估计的相位调制分布计算出的强度分布之间的误差，以及所述...

【专利技术属性】
技术研发人员：田原宽之，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：