用户手指位置信息的确定方法及装置、投影仪、投影系统制造方法及图纸

本发明专利技术公开了一种用户手指位置信息的确定方法及装置、投影仪、投影系统，该方法包括：在用户手部与投影模组投放到平面物体上的投影面进行交互的情况下，获取景深模组生成的第一景深图像；将第一景深图像均匀划分为多个区域，计算单个区域中所有点代表的距离的平均值；将计算得到的各区域中所有点代表的距离的平均值分别与预设的深度阈值进行比对，得到比对结果；根据比对结果，从多个区域中确定出包含有用户手部的目标区域；从第一景深图像中，抠除目标区域对应的图像，并将目标区域相邻的至少一个单个区域对应的图像填充到目标区域，生成背景图像；对第一景深图像和背景图像进行处理，得到深度图像，并从深度图像中确定用户手指的位置信息。

A method for determining the position information of a user's finger, a device, a projector, a projection system

【技术实现步骤摘要】
用户手指位置信息的确定方法及装置、投影仪、投影系统
本专利技术涉及投影仪
，更具体地，涉及一种用户手指位置信息的确定方法及装置、投影仪、投影系统。
技术介绍
投影仪是一种可以将图像或视频投射到幕布上的设备，可以通过不同的接口同计算机、VCD、DVD、游戏机、DV等相连接播放相应的视频信号。目前，交互式投影仪成为发展趋势。交互式投影仪包括有投影模组和景深模组。投影模组用于将图像或视频投射到平面物体上。景深模组也可在平面物体上形成投影面。景深模组用于测量景深模组的投影面的各投影点到景深模组的距离。当用户手部未与投影模组投放到平面物体上的投影面进行交互时，景深模组根据测量得到的景深模组的投影面上的各投影点到景深模组的距离生成背景图像。当用户手部与投影模组投放到平面物体上的投影面进行交互时，景深模组根据测量得到的景深模组的投影面上的各投影点到景深模组的距离生成实景图像。将用户手部未与投影面进行交互时背景图像中各点对应的距离，与用户手部与投影面进行交互时实景图像中各点对应的距离进行相减，得到深度图像。通过该深度图像可以得到用户手部的信息，例如，用户手部的位置信息，进而可以根据用户手部的信息执行后续的操作。上述操作中，在得到深度图像之前，需要背景图像和实景图像相匹配，即交互式投影仪必须固定不动。若交互式投影仪有轻微的抖动时，得到的背景图像和实景图像会不匹配，这样使得由背景图像和实景图像得到的深度图像不准确，进而使得利用深度图像得到的用户手部的信息也不准确，最终可能影响用户与交互式投影仪的交互。
技术实现思路
本专利技术的一个目的是提供一种用户手指位置信息的确定方法的新技术方案。根据本专利技术的第一方面，提供了一种用户手指位置信息的确定方法，包括：在用户手部与投影模组投放到平面物体上的投影面进行交互的情况下，获取景深模组生成的第一景深图像，其中，所述第一景深图像为利用所述景深模组投放到所述用户手部和所述平面物体上的各投影点到所述景深模组的距离生成的；将所述第一景深图像均匀划分为多个区域，计算单个区域中所有点代表的距离的平均值；将计算得到的各区域中所有点代表的距离的平均值分别与预设的深度阈值进行比对，得到比对结果；根据所述比对结果，从所述多个区域中确定出包含有用户手部的目标区域；从所述第一景深图像中，抠除所述目标区域对应的图像，并将所述目标区域相邻的至少一个单个区域对应的图像填充到所述目标区域，生成背景图像；对所述第一景深图像和所述背景图像进行处理，得到深度图像，并从所述深度图像中确定用户手指的位置信息。可选地，在将所述第一景深图像均匀划分为多个区域，计算单个区域中所有点代表的距离的平均值之前，所述方法还包括：将所述第一景深图像转化为深度矩阵，其中，所述深度矩阵中的各元素分别对应所述第一景深图像中各点对应的距离；利用所述深度矩阵，计算生成梯度矩阵，所述梯度矩阵中的元素代表的距离是利用所述深度矩阵中的当前元素与位于同一行的所述当前元素对应的下一个元素的差值，和与位于同一列的所述当前元素对应的下一个元素的差值计算得到；将所述梯度矩阵转化为第二景深图像；将所述第二景深图像均匀划分为多个区域，并得到每个区域中位于预设的深度阈值范围的点的个数；根据每个区域中位于预设的深度阈值范围的点的个数，从所述第二景深图像中确定超过预设的位于深度阈值范围的点的个数阈值对应的待定目标区域。可选地，利用所述深度矩阵，计算生成梯度矩阵，包括：基于以下任一计算式计算得到所述梯度矩阵，Bi,j＝|Ai+1,j-Ai,j|+|Ai,j+1-Ai,j|，或者，其中，Ai,j代表位于所述深度矩阵中第i行、第j列的元素对应的距离值，Ai+1,j代表位于所述深度矩阵中第第i+1行、第j列的元素对应的距离值，Ai,j+1代表位于所述深度矩阵中第i行、第j+1列的元素对应的距离值，Bi,j代表位于所述梯度矩阵中第i行、第j列的元素对应的距离值。可选地，将所述第一景深图像均匀划分为多个区域，计算单个区域中所有点代表的距离的平均值，包括：从所述第一景深图像中截取所述待定目标区域对应的图像；将截取得到的所述待定目标区域对应的图像均匀划分为多个区域，并计算单个区域中所有点代表的距离的平均值。可选地，根据所述比对结果，从所述多个区域中确定出包含有用户手部的目标区域，包括：将所有点代表的距离的平均值未超过预设的深度阈值对应的区域确定为所述包含有用户手部的目标区域。可选地，所述深度图像为所述第一景深图像和所述深度图像记录的对应的各点的距离进行相减处理后得到的图像；从所述深度图像中确定用户手指的位置信息，包括：将所述深度图像均匀划分为多个区域，并计算每个区域的饱和率，其中，所述饱和率为单个区域内的位于预设的深度阈值范围内的点数量与所述单个区域内的点的总数量之比；选取出饱和率超过预设的饱和率阈值的区域，并将饱和率超过预设的饱和率阈值的区域作为包含有用户手指的目标区域；从所述目标区域中确定用户的手指的位置信息。根据本专利技术的第二方面，提供了一种用户手指位置信息的确定装置，包括：获取模块，用于在用户手部与投影模组投放到平面物体上的投影面进行交互的情况下，获取景深模组生成的第一景深图像，其中，所述第一景深图像为利用所述景深模组投放到所述用户手部和所述平面物体上的各投影点到所述景深模组的距离生成的；计算模块，用于将所述第一景深图像均匀划分为多个区域，计算单个区域中所有点代表的距离的平均值；比对模块，用于将计算得到的各区域中所有点代表的距离的平均值分别与预设的深度阈值进行比对，得到比对结果；目标区域确定模块，用于根据所述比对结果，从所述多个区域中确定出包含有用户手部的目标区域；抠除和填充模块，用于从所述第一景深图像中，抠除所述目标区域对应的图像，并将所述目标区域相邻的至少一个单个区域对应的图像填充到所述目标区域，生成背景图像。确定模块，用于对所述第一景深图像和所述背景图像进行处理，得到深度图像，并从所述深度图像中确定用户手指的位置信息根据本专利技术的第三方面，提供了一种用户手指位置信息的确定装置，其特征在于，包括存储器和处理器，所述存储器用于存储指令，所述指令用于控制所述处理器进行操作以执行上述任一项所述的用户手指位置信息的确定方法。根据本专利技术的第四方面，提供了一种投影仪，其特征在于，包括：投影模组、景深模组和如上述所述的用户手指位置信息的确定装置。根据本专利技术的第五方面，提供了一种投影系统，其特征在于，包括：投影仪和终端设备，其中，所述投影仪与所述终端设备建立通信连接，所述投影仪包括投影模组和景深模组，所述终端设备包括如上述所述的用户手指位置信息的确定装置。本专利技术提供的用户手指位置信息的确定方法及装置、投影仪、投影系统，实现了用户与投影仪的交互，并且本专利技术生成的背景图像与第一景深图像相互匹配，进而避免了现有技术中背景图像和实景图像不匹配导致的检测得到的用户手部信息不准确的问题，提升了用户与交互式投影仪的交互体验。通过以下参照附图对本专利技术的示例性实施例的详细描述，本专利技术的其它特征及其优点将会变得清楚。附图说明被结合在说明书中并构成说明书的一部分的附图示出了本专利技术的实施例，并且连同其说明一起用于解释本专利技术的原理。图1示出了根据本专利技术一个实施例的背景图像的生成方法的处理流程图。图2示出了根据本专利技术一本文档来自技高网...

【技术保护点】
一种用户手指位置信息的确定方法，其特征在于，包括：在用户手部与投影模组投放到平面物体上的投影面进行交互的情况下，获取景深模组生成的第一景深图像，其中，所述第一景深图像为利用所述景深模组投放到所述用户手部和所述平面物体上的各投影点到所述景深模组的距离生成的；将所述第一景深图像均匀划分为多个区域，计算单个区域中所有点代表的距离的平均值；将计算得到的各区域中所有点代表的距离的平均值分别与预设的深度阈值进行比对，得到比对结果；根据所述比对结果，从所述多个区域中确定出包含有用户手部的目标区域；从所述第一景深图像中，抠除所述目标区域对应的图像，并将所述目标区域相邻的至少一个单个区域对应的图像填充到所述目标区域，生成背景图像；对所述第一景深图像和所述背景图像进行处理，得到深度图像，并从所述深度图像中确定用户手指的位置信息。

【技术特征摘要】
1.一种用户手指位置信息的确定方法，其特征在于，包括：在用户手部与投影模组投放到平面物体上的投影面进行交互的情况下，获取景深模组生成的第一景深图像，其中，所述第一景深图像为利用所述景深模组投放到所述用户手部和所述平面物体上的各投影点到所述景深模组的距离生成的；将所述第一景深图像均匀划分为多个区域，计算单个区域中所有点代表的距离的平均值；将计算得到的各区域中所有点代表的距离的平均值分别与预设的深度阈值进行比对，得到比对结果；根据所述比对结果，从所述多个区域中确定出包含有用户手部的目标区域；从所述第一景深图像中，抠除所述目标区域对应的图像，并将所述目标区域相邻的至少一个单个区域对应的图像填充到所述目标区域，生成背景图像；对所述第一景深图像和所述背景图像进行处理，得到深度图像，并从所述深度图像中确定用户手指的位置信息。2.根据权利要求1所述的方法，其特征在于，在将所述第一景深图像均匀划分为多个区域，计算单个区域中所有点代表的距离的平均值之前，所述方法还包括：将所述第一景深图像转化为深度矩阵，其中，所述深度矩阵中的各元素分别对应所述第一景深图像中各点对应的距离；利用所述深度矩阵，计算生成梯度矩阵，所述梯度矩阵中的元素代表的距离是利用所述深度矩阵中的当前元素与位于同一行的所述当前元素对应的下一个元素的差值，和与位于同一列的所述当前元素对应的下一个元素的差值计算得到；将所述梯度矩阵转化为第二景深图像；将所述第二景深图像均匀划分为多个区域，并得到每个区域中位于预设的深度阈值范围的点的个数；根据每个区域中位于预设的深度阈值范围的点的个数，从所述第二景深图像中确定超过预设的位于深度阈值范围的点的个数阈值对应的待定目标区域。3.根据权利要求2所述的方法，其特征在于，利用所述深度矩阵，计算生成梯度矩阵，包括：基于以下任一计算式计算得到所述梯度矩阵，Bi,j＝|Ai+1,j-Ai,j|+|Ai,j+1-Ai,j|，或者，其中，Ai,j代表位于所述深度矩阵中第i行、第j列的元素对应的距离值，Ai+1,j代表位于所述深度矩阵中第第i+1行、第j列的元素对应的距离值，Ai,j+1代表位于所述深度矩阵中第i行、第j+1列的元素对应的距离值，Bi,j代表位于所述梯度矩阵中第i行、第j列的元素对应的距离值。4.根据权利要求2所述的方法，其特征在于，将所述第一景深图像均匀划分为多个区域，计算单个区域中所有点代表的距离的平均值，包括：从所述第一景深图像中截取所述待定目标区域对应的图像；将截取...

【专利技术属性】
技术研发人员：陈维亮，董碧峰，
申请(专利权)人：歌尔科技有限公司，
类型：发明
国别省市：山东,37