一种多模态显示装置制造方法及图纸

本发明专利技术涉及一种多模态显示装置，其特征在于，包括N个模态显示器以及光学合成器，其中，N个模态显示器分别用于显示N个物理模态的光学信号，其中，N个光学信号的物理模态全部不同或者至少部分相同，光学合成器用于将N个模态显示器产生的内容在观测点合成在一起一并呈现给观测方设备，N≥2。从各个可度量的物理维度来看，本发明专利技术所公开的显示设备呈现的虚拟内容与真实物体几乎没有差异。与通常意义的显示装置一样，本发明专利技术的显示装置能够重复改变其显示内容，所以，与直接呈现真实物体相比，使用本发明专利技术提供的显示装置呈现的内容具有显著的灵活性。在真实物体不可获得或者获取成本较高的情况下，可以通过本发明专利技术公开的装置以较低的成本呈现该内容。呈现该内容。呈现该内容。

【技术实现步骤摘要】
一种多模态显示装置


[0001]本专利技术涉及一种多模态显示技术。

技术介绍

[0002]多模态显示技术指的是能够同时呈现多种模态图像的显示技术。传统意义上的多模态显示技术主要指的是在普通显示器或者电脑上提供多种模态的数字化图像的显示。比如，在医学诊断中，通过同时提供同一部位来自X光、核磁共振和声纳的图像，可以提升医生诊断和治疗时的信息获取能力。

技术实现思路

[0003]本专利技术的目的是：提供一种与传统多模态显示技术完全不同的多模态显示方法，提供物理层面的多模态显示能力，能够在物理信号上同时呈现出一个物体的3维外形、彩色、红外、温度等不同模态的信息。
[0004]为了达到上述目的，本专利技术的技术方案是提供了一种多模态显示装置，其特征在于，包括N个模态显示器以及光学合成器，其中，N个模态显示器分别用于显示N个物理模态的光学信号，其中，N个光学信号的物理模态全部不同或者至少部分相同，光学合成器用于将N个模态显示器产生的内容在观测点合成在一起一并呈现给观测方设备，N≥2。
[0005]优选地，所述模态显示器选用RGB模态显示器、IR模态显示器和/或深度模态显示器。
[0006]优选地，将与所述光学合成器平面垂直的平面定义为参考平面，则：
[0007]所述RGB模态显示器的显示平面与参考平面呈一个夹角，以避免RGB模态显示器反射观测方设备的投影和照明光，并基于该夹角对RGB模态显示器显示的内容作对应的形变矫正；
[0008]所述IR模态显示器的显示平面与参考平面呈一个夹角，以避免IR模态显示器反射观测方设备的投影和照明光，并基于该夹角对IR模态显示器显示的内容作对应的形变矫正。
[0009]优选地，所述IR模态显示器为IR波段的数码光处理投影机、IR波段的LCD屏幕、电子墨水屏或打印内容的纸张中的一种，其中：
[0010]在电子墨水屏上加装IR光源，将想要显示的IR图像作为电子墨水屏的显示画面，从而在IR波段显示对应的IR图像；
[0011]将想要显示的IR图像打印在纸张上从而形成打印内容的纸张，并补充IR光源。
[0012]优选地，所述深度模态显示器为基于结构光技术的深度模态显示器或基于ToF技术的深度模态显示器。
[0013]优选地，所述基于结构光技术的深度模态显示器为基于物理实体模型的深度模态显示器或基于虚拟生成的结构光散斑图案的深度模态显示器。
[0014]优选地，所述基于物理实体模型的深度模态显示器为采用3D打印技术制作得到待
显示物体的实物模型，其中，3D打印材料采用具有漫反射特性的树脂；
[0015]所述基于虚拟生成的结构光散斑图案的深度模态显示器为通过所述IR模态显示器来呈现的结合待显示的物体3D模型通过计算得出的物体出现状态下的结构光散斑图案。
[0016]优选地，所述基于ToF技术的深度模态显示器包括用于反射ToF投影仪信号以产生准确的深度信息的物理实体模型以及用于保证ToF深度信息不被影响的情况下让ToF传感器收到特定强度信息的光强衰减滤镜。
[0017]优选地，所述物理实体模型为采用3D打印技术制作得到待显示物体的实物模型，其中，3D打印材料采用具有漫反射特性的树脂。
[0018]优选地，所述光强衰减滤镜的制作方法为：
[0019]在透明的纸质基质上根据所要呈现的内容通过打印机来固化不同厚度和反射率的衰减涂层，由打印的深浅来确定衰减强度，由打印的位置决定衰减的位置；
[0020]在固化衰减涂层前：提前标定打印深浅与衰减强度的关系；提前确定所述光强衰减滤镜摆放位置和与参考平面之间的夹角，根据该夹角对待打印的内容作对应的形变矫正，其中，将与所述光学合成器平面垂直的平面定义为参考平面。
[0021]在本专利技术提供的一种多模态显示装置前，观察者仿佛看到的是一个物理上的真实存在的实体，因为从各个可度量的物理维度来看，本专利技术所公开的显示设备呈现的虚拟内容与真实物体几乎没有差异。与通常意义的显示装置一样，本专利技术的显示装置能够重复改变其显示内容，所以，与直接呈现真实物体相比，使用本专利技术提供的显示装置呈现的内容具有显著的灵活性。在真实物体不可获得或者获取成本较高的情况下，可以通过本专利技术公开的装置以较低的成本呈现该内容。本专利技术提供的一种多模态显示装置能够运用在混合现实交互，机器视觉训练，活体检测训练等领域中。
附图说明
[0022]图1为多模态相机示意图示意图；
[0023]图2为装置基本原理示意图；
[0024]图3示意了使用多个合光器合成多个分离的光学场景；
[0025]图4示意了RGB模态显示器摆放示例；
[0026]图5示意了打印灰度与观测到的IR强度关系；
[0027]图6示意了结构光深度测量的原理与虚拟散斑图案生成原理；
[0028]图7示意了针对结构光技术的深度模态显示器；
[0029]图8示意了ToF深度测量的原理；
[0030]图9示意了针对ToF技术的深度+IR模态显示器；
[0031]图10示意了针对不同多模态相机的多模态显示器构型示例；
[0032]图11示意了基于四个模态显示器实现的多模态显示装置，其中，四个模态显示器输出的光学信号的物理模态全部不同或者至少部分相同；
[0033]图12示意了基于七个模态显示器实现的多模态显示装置，其中，七个模态显示器输出的光学信号的物理模态全部不同或者至少部分相同。
具体实施方式
[0034]下面结合具体实施例，进一步阐述本专利技术。应理解，这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围。此外应理解，在阅读了本专利技术讲授的内容之后，本领域技术人员可以对本专利技术作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
[0035]本专利技术公开的一种多模态显示装置能够实现同时呈现多个物理模态的光学特征，可以让观测方观察到的数字化生成的多模态图像。作为观测方，可以是人眼或者其他任意设备，但是，比较具有应用意义上的代表性的观测设备为“多模态相机”。多模态相机被广泛使用于机器视觉和混合现实等领域。
[0036]图1显示了一个典型的多模态相机，我们把这个多模态相机能够看到的区域称作其“可观测场景”。多模态相机的可观察场景由来自其视野的光信号组成。多模态相机的图像传感器用于测量可观察场景的光信号，传感器的一次拍摄称为对场景的一次“成像”。多模态相机具备多个专用的光学传感器，用于测量可观察场景的不同物理模态，比如可见光的反射、IR反射、表面形状等。多模态相机的单个成像包含来自其多个传感器的多种模态的成像结果，因此，多模态相机比普通的单模态相机具有更完整的感知和测量可观测场景物理信息的能力。
[0037]常见的多模态相机主要包含以下三类传感器：
[0038]RGB传感器：RGB传感器是应用最广泛的图像传感器，也是通常意义上相机的传感器。RGB传感器其实是一个由大量微型感光二极管组成的阵列。它的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态显示装置，其特征在于，包括N个模态显示器以及光学合成器，其中，N个模态显示器分别用于显示N个物理模态的光学信号，其中，N个光学信号的物理模态全部不同或者至少部分相同，光学合成器用于将N个模态显示器产生的内容在观测点合成在一起一并呈现给观测方设备，N≥2。2.如权利要求1所述的一种多模态显示装置，其特征在于，所述模态显示器选用RGB模态显示器、IR模态显示器和/或深度模态显示器。3.如权利要求2所述的一种多模态显示装置，其特征在于，将与所述光学合成器平面垂直的平面定义为参考平面，则：所述RGB模态显示器的显示平面与参考平面呈一个夹角，以避免RGB模态显示器反射观测方设备的投影和照明光，并基于该夹角对RGB模态显示器显示的内容作对应的形变矫正；所述IR模态显示器的显示平面与参考平面呈一个夹角，以避免IR模态显示器反射观测方设备的投影和照明光，并基于该夹角对IR模态显示器显示的内容作对应的形变矫正。4.如权利要求2所述的一种多模态显示装置，其特征在于，所述IR模态显示器为IR波段的数码光处理投影机、IR波段的LCD屏幕、电子墨水屏或打印内容的纸张中的一种，其中：在电子墨水屏上加装IR光源，将想要显示的IR图像作为电子墨水屏的显示画面，从而在IR波段显示对应的IR图像；将想要显示的IR图像打印在纸张上从而形成打印内容的纸张，并补充IR光源。5.如权利要求1所述的一种多模态显示装置，其特征在于，所述深度模态显示器为基于结构光技术的深度模态显示器或基于ToF技术的深度模态显示器。6.如权利要求5所述...

【专利技术属性】
技术研发人员：杨智策，
申请(专利权)人：上海科技大学，
类型：发明
国别省市：