图像处理方法、装置、设备和介质制造方法及图纸

本发明专利技术公开了一种图像处理方法、装置、设备和介质，该方法包括：利用第一结构光图像对投影图像进行第一编码，得到第一编码图像，利用第一结构光图像对投影图像进行第二编码，得到第二编码图像；在利用投影设备按照时序对第一编码图像和第二编码图像进行连续投影后，获得利用图像采集设备针对被投影的第一编码图像进行采集后得到的第一采集图像和针对被投影的第二编码图像进行采集后得到的第二采集图像；以及将结构光图像对输入至训练好的神经网络模型中，得到处理结果。得到处理结果。得到处理结果。

【技术实现步骤摘要】
图像处理方法、装置、设备和介质


[0001]本专利技术涉及计算机领域和图像处理领域，尤其涉及一种图像处理方法、装置、设备和介质。

技术介绍

[0002]现有基于单目摄像头和投影仪的交互技术中，均利用传统的图像分割方法(例如肤色检测、显著性检测等)对拍摄图像进行分割，得到手部信息。
[0003]在实现本专利技术构思的过程中，专利技术人发现相关技术中至少存在如下问题：由于交互过程中投影图像复杂度、投影亮度、环境亮度多变，传统图像处理方法适用场景受限，鲁棒性较低。

技术实现思路

[0004]鉴于上述问题，本专利技术提供了一种图像处理方法、装置、设备和介质。
[0005]本专利技术的第一个方面提供了一种图像处理方法，该方法包括：
[0006]利用第一结构光图像对投影图像进行第一编码，得到第一编码图像，利用上述第一结构光图像对上述投影图像进行第二编码，得到第二编码图像；其中，上述第一编码图像和上述第二编码图像为编码互补的图像；
[0007]在利用投影设备按照时序对上述第一编码图像和上述第二编码图像进行连续投影后，获得利用图像采集设备针对被投影的上述第一编码图像进行采集后得到的第一采集图像和针对被投影的上述第二编码图像进行采集后得到的第二采集图像，其中，上述按照时序对上述第一编码图像和上述第二编码图像进行连续投影满足视觉暂留效应；以及
[0008]将结构光图像对输入至训练好的神经网络模型中，得到处理结果，其中，上述处理结果包括表征目标对象的特征信息，上述结构光图像对包括上述第一采集图像与上述第一编码图像，或者包括上述第二采集图像与上述第二编码图像。
[0009]根据本专利技术的实施例，在将上述结构光图像对输入至训练好的神经网络模型之前，上述方法还包括：
[0010]将上述第一编码图像、上述第一采集图像、上述第二编码图像和上述第二采集图像进行预处理，上述预处理包括灰度转换以及单应性变换。
[0011]根据本专利技术的实施例，上述方法还包括：根据上述处理结果中表征目标对象的特征信息得到反馈图像；
[0012]利用第二结构光图像对上述反馈图像进行第三编码，得到第一编码反馈图像，利用上述第二结构光图像对上述反馈图像进行第四编码，得到第二编码反馈图像；
[0013]将上述第一编码反馈图像和上述第二编码反馈图像发送至投影设备，以使上述投影设备按照时序对上述第一编码反馈图像和上述第二编码反馈图像进行投影。
[0014]根据本专利技术的实施例，上述目标对象的特征信息包括目标对象的识别信息、上述目标对象的分割信息、上述目标对象的目标特征部位的定位信息，其中上述目标对象的识
别信息适用于判断上述目标对象是否存在。
[0015]根据本专利技术的实施例，在根据上述目标对象的识别信息确定上述目标对象存在的情况下，根据上述特征信息得到反馈图像，包括：
[0016]将上述第一采集图像与上述第二采集图像求差值，得到差值图像；
[0017]利用上述目标对象的分割信息对上述差值图像进行匹配处理，得到匹配信息；
[0018]根据上述匹配信息，获取上述差值图像与上述第一结构光图像的对应点；
[0019]根据上述差值图像与上述第一结构光图像的对应点以及上述目标特征部位的定位信息，得到上述特征部位的深度信息；
[0020]根据上述特征部位的深度信息得到上述反馈图像。
[0021]根据本专利技术的实施例，上述目标对象的特征信息还包括上述目标对象的姿态信息，在根据上述特征部位的深度信息得到上述反馈图像之前，上述根据上述特征信息得到反馈图像还包括：
[0022]将上述目标对象的姿态信息和预设姿态信息进行匹配；
[0023]在上述目标对象的姿态信息和上述预设姿态信息不匹配的情况下，执行根据上述目标对象特征部位的深度信息得到上述反馈图像的操作。
[0024]根据本专利技术的实施例，在上述利用上述目标对象的分割信息对上述差值图像进行匹配处理，得到匹配信息之前，上述根据上述特征信息得到反馈图像还包括：
[0025]去除上述差值图像的噪声。
[0026]根据本专利技术的实施例，利用第二结构光图像对上述反馈图像进行第三编码，得到第一编码反馈图像，利用上述第二结构光图像对上述反馈图像进行第四编码，得到第二编码反馈图像，包括：
[0027]根据上述目标特征部位的定位信息，上述目标特征部位的历史定位信息得到上述反馈图像的感兴趣区域；
[0028]利用第二结构光图像对上述感兴趣区域进行第一细编码以及对非感兴趣区域进行第一粗编码，得到上述第一编码反馈图像；利用上述第二结构光图像对上述感兴趣区域进行第二细编码以及对非感兴趣区域进行第二粗编码，得到上述第二编码反馈图像。
[0029]根据本专利技术的实施例，上述训练好的神经网络模型选自MobileNet模型、ResNet模型、YOLO模型、或者U
‑
Net模型。
[0030]根据本专利技术的实施例，上述第一结构光图像为条纹图像、二进制码图像。
[0031]本专利技术的第二个方面提供了一种适用于图像处理的装置，包括：
[0032]编码模块，适用于利用第一结构光图像对投影图像进行编码，得到第一编码图像，以及适用于利用第二上述第一结构光图像对上述投影图像进行编码，得到第二编码图像；其中，上述第一结构光编码图像和上述第二结构光编码图像为编码互补的图像；
[0033]采集模块，适用于在利用投影设备按照时序对上述第一编码图像和上述第二编码图像进行连续投影后，获得利用图像采集设备针对被投影的上述第一编码图像进行采集后得到的第一采集图像和针对被投影的上述第二编码图像进行采集后得到的第二采集图像，其中，上述按照时序对上述第一编码图像和上述第二编码图像进行连续投影满足视觉暂留效应；以及
[0034]输入模块，适用于将结构光图像对输入至训练好的神经网络模型中，得到处理结
果，其中，上述处理结果包括表征目标对象的特征信息，上述结构光图像对包括上述第一采集图像与上述第一编码图像，或者包括上述第二采集图像与上述第二编码图像。
[0035]本专利技术的第三个方面提供了一种电子设备，包括：
[0036]一个或多个处理器；
[0037]存储装置，用于存储一个或多个程序，
[0038]其中，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器执行如上所述的方法。
[0039]本专利技术的第四个方面提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行如上所述的方法。
[0040]本专利技术的第五个方面提供了一种计算机程序产品，包括计算机程序，上述计算机程序被处理器执行时实现如上所述的方法。
[0041]根据本专利技术的实施例，通过利用第一结构光图像对投影图像进行第一编码，得到第一编码图像，利用第一结构光图像对投影图像进行第二编码，得到第二编码图像，其中，第一编码图像和第二编码图像为编码互补的图像，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，包括：利用第一结构光图像对投影图像进行第一编码，得到第一编码图像，利用所述第一结构光图像对所述投影图像进行第二编码，得到第二编码图像；其中，所述第一编码图像和所述第二编码图像为编码互补的图像；在利用投影设备按照时序对所述第一编码图像和所述第二编码图像进行连续投影后，获得利用图像采集设备针对被投影的所述第一编码图像进行采集后得到的第一采集图像和针对被投影的所述第二编码图像进行采集后得到的第二采集图像，其中，所述按照时序对所述第一编码图像和所述第二编码图像进行连续投影满足视觉暂留效应；以及将结构光图像对输入至训练好的神经网络模型中，得到处理结果，其中，所述处理结果包括表征目标对象的特征信息，所述结构光图像对包括所述第一采集图像与所述第一编码图像，或者包括所述第二采集图像与所述第二编码图像。2.根据权利要求1所述的方法，其中，在将所述结构光图像对输入至训练好的神经网络模型之前，所述方法还包括：将所述第一编码图像、所述第一采集图像、所述第二编码图像和所述第二采集图像进行预处理，所述预处理包括灰度转换以及单应性变换。3.根据权利要求1所述的方法，还包括：根据所述处理结果中表征目标对象的特征信息得到反馈图像；利用第二结构光图像对所述反馈图像进行第三编码，得到第一编码反馈图像，利用所述第二结构光图像对所述反馈图像进行第四编码，得到第二编码反馈图像；将所述第一编码反馈图像和所述第二编码反馈图像发送至投影设备，以使所述投影设备按照时序对所述第一编码反馈图像和所述第二编码反馈图像进行投影。4.根据权利要求3所述的方法，其中，所述目标对象的特征信息包括目标对象的识别信息、所述目标对象的分割信息、所述目标对象的目标特征部位的定位信息，其中所述目标对象的识别信息适用于判断所述目标对象是否存在。5.根据权利要求4所述的方法，其中，在根据所述目标对象的识别信息确定所述目标对象存在的情况下，根据所述特征信息得到反馈图像，包括：将所述第一采集图像与所述第二采集图像求差值，得到差值图像；利用所述目标对象的分割信息对所述差值图像进行匹配处理，得到匹配信息；根据所述匹配信息，获取所述差值图像与所述第一结构光图像的对应点；根据所述差值图像与所述第一结构光图像的对应点以及所述目标特征部位的定位信息，得到所述特征部位的深度信息；根据所述特征部位的深度信息得到所述反馈图像。6.根据权利要求5所述的方法，其中，所述目标对象的特征信息还包括所述目标对象的姿态信息，在根据所述特征部位的深度信息得到所述反馈图像之前，所述根据所述特征信息得到反馈图像还包括：将所述目标对象的姿态信息和预设姿态信息进行匹配；在所述目标对象的姿态信息和所述预设姿态信息不匹配的情况下，执...

【专利技术属性】
技术研发人员：谢翔，薛嘉雯，张旭光，李国林，
申请(专利权)人：清华大学，
类型：发明
国别省市：