一种多RGBD深度传感器的自动校准桌面道具互动系统的实现方法技术方案

本发明专利技术的一种多RGBD深度传感器的自动校准桌面道具互动系统，涉及互动投影识别技术领域，其由多个RGBD深度传感器、多台投影仪、电脑主机、矩形桌面和不同形状道具构成。采用基于格雷码结构光的彩色图像自动校准算法以及深度图像与彩色图像坐标映射关系，实现多个RGBD深度传感器的互动位置校准；采集多个RGBD深度传感器与桌面之间深度环境背景图像后，计算实时深度图像与深度环境背景图像的差值图像，以定位桌面不同形状道具在融合深度图像内坐标和投影桌面坐标；对桌面不同形状道具的识别数据与道具信息库的数据进行对比，确定所有道具的形状类别；最后，通过OSC通信协议将道具类型和桌面坐标发送到互动投影效果软件，实现增强互动投影效果。互动投影效果。互动投影效果。

【技术实现步骤摘要】
一种多RGBD深度传感器的自动校准桌面道具互动系统的实现方法
[0001]
：本专利技术涉及互动投影识别
，具体涉及一种多RGBD深度传感器的自动校准桌面道具互动系统的实现方法。
[0002]
技术介绍
：OpenCV(Open Source Computer Vision Library)是一个基于BSD许可（开源）发行的跨平台计算机视觉库，实现了图像处理和计算机视觉方面的很多通用算法，包括形态学变换，阈值化，轮廓查找以及格雷码结构光等算法。其中二进制格雷码是一种无权码，其反射特性和循环特性的单步自补码消除了随机取数时出现重大错误的可能，属于一种可靠性编码和错误最小化的编码方式，在测量技术中具有广泛的应用。
[0003]RGBD深度传感器是在RGB普通摄像头上增加了深度测量功能的图像传感器，目前有双目、结构光和飞行时间（TOF）等几种主流技术方案。其中RGB双目采用RGB图像特征点匹配和三角测量算法计算深度，因此需要被测场景具有良好的光照条件和纹理特性。结构光方案采用主动投射已知编码图案，提升特征匹配效果，近距离能够达到较高的测量精度，且分辨率较高。飞行时间（TOF）方案根据光的飞行时间直接测量，识别距离较远，测量精度较高，但分辨率较低。
[0004]在桌面道具互动系统中，实时、准确并且稳定的道具识别和跟踪能给用户带来良好的交互体验。基于其丰富的应用场景，桌面道具互动系统得到了研究者的广泛关注，其算法主要包括识别与投影坐标映射，道具位置识别和跟踪，道具类型识别等方面。通过将识别分类结果与互动投影技术相结合，可以展现出一种增强体验的互动艺术效果。
[0005]现有技术中，采用单RGBD深度传感器进行互动识别时，由于深度识别范围的视角较小，无法覆盖大面积的互动投影空间。同时，采用深度图像进行手动校准道具和投影位置时，存在着校准调试复杂和输出位置有一定偏差的问题，影响互动效果的体验感受。针对以上技术缺陷，提出了一种多RGBD深度传感器的自动校准桌面道具互动系统的实现方案，利用基于结构光或飞行时间（TOF）技术方案的深度传感器，通过融合多RGBD深度传感器的深度数据实现大场景下的互动识别，并采用基于格雷码结构光的彩色图像自动校准算法以及深度图像和彩色图像的坐标映射关系实现互动道具位置的准确识别。
[0006]
技术实现思路
：本专利技术公开了一种多RGBD深度传感器的自动校准桌面道具互动系统，其由多个RGBD深度传感器、多台投影仪、电脑主机、矩形桌面和不同形状道具构成；多个RGBD深度传感器和多台投影仪通过数据线缆与电脑主机对应USB接口和显卡视频输出接口相连，其中多个RGBD深度传感器安装在桌面上方的可调角度和高度的挂架上，使其高度保持一致并与桌面长边平行，多台投影仪显示画面通过第三方投影融合软件进行投影融合；采用基于格雷码结构光的彩色图像自动校准算法以及深度图像与彩色图像坐标映射关系，实现对多个RGBD深度传感器的互动位置校准；通过采集多个RGBD深度传感器与桌面之间的深度环境背景图像后，计算实时深度图像与深度环境背景图像的差值图像，以定位桌面不同形状道具在融
合深度图像内的坐标和投影桌面坐标并识别其长宽高值；对桌面不同形状道具的识别数据与道具信息库的数据进行对比，确定所有道具的形状类别。最后，通过OSC通信协议将道具类型和桌面坐标发送到互动投影效果软件，实现增强体验的互动投影效果。
[0007]优选的，所述投影仪和RGBD深度传感器的数量以电脑主机的硬件配置和操作系统支持的最大数量为上限。
[0008]优选的，采用的基于TCP/IP通信协议的服务端和客户端模型，将局域网内节点电脑主机连接的RGBD深度传感器虚拟为投影电脑主机的本地设备，以实现基于多RGBD深度传感器进行大场景互动识别的方案。
[0009]为了实现上述基本构思，本专利技术提供了一种多RGBD深度传感器的自动校准桌面道具互动系统的实现方法，其包括步骤：S1，将多台投影仪通过视频传输线缆与电脑主机的显卡输出接口相连，采用吊装方式向桌面空间投影画面，并通过第三方投影融合软件将投影画面融合起来；S2，将多个RGBD深度传感器通过数据线缆与电脑主机USB接口相连，并安装在桌面上方与投影仪位置相对应的可调角度和高度的挂架上，使其高度保持一致并与桌面长边平行；S3，互动投影识别软件实时采集每个RGBD深度传感器的深度数据和彩色数据，并根据其排列位置进行深度图像拼接；S4，在桌面未放置道具的情况下，互动投影识别软件采集多个RGBD深度传感器与桌面之间的深度环境背景图像，并进行背景图像保存；S5，根据每个RGBD深度传感器位置向桌面相应区域投射基于格雷码结构光算法生成的多帧条纹图像，并用其彩色摄像头采集每帧条纹图像数据，以获取条纹投影区域与彩色图像之间的坐标映射关系；S6，根据每个RGBD深度传感器内的深度图像与彩色图像之间的坐标映射关系，获取条纹投影区域与其对应深度图像之间的坐标映射关系；S7，根据多个RGBD深度传感器深度环境背景图像与实时深度图像的差值以及识别范围阈值参数，获取道具与桌面环境分离的道具识别图像；S8，基于OpenCV视觉库的形态学变换、轮廓查找以及凸缺陷检测算法，获取道具识别图像的道具中心点坐标以及长宽和凸缺陷等几何信息，并结合深度信息获取道具的高度值；S9，将道具长宽高和凸缺陷等几何信息与道具信息库的数据进行对比，获取道具的类型；S10，根据道具在深度图像内中心点坐标以及深度图像坐标与投影坐标之间的映射关系，获取对应的道具投影坐标位置；S11，采用OSC协议将道具的类型参数和投影坐标等信息发送到互动投影效果软件，实现基于道具类型的精准互动投影效果。
[0010]优选的，所述互动投影识别软件实时采集每个RGBD深度传感器的深度数据和彩色数据，并根据其排列位置进行深度图像拼接，其图像拼接方法为根据水平方向和垂直方向摄像头排列数量( ,)和图像分辨率(,)，初始化一个拼接图像，其水平和垂方向的分辨率为(,)，并根据每个图像传感器的水平和垂直方向排列位置(,)将其设置到拼接图像的感兴趣（ROI）区域内，实现对所有图像的拼接操作，其中()。
[0011]优选的，所述深度环境背景图像是在桌面未摆放任何道具的状态下，每个RGBD深度传感器采集多帧深度图像数据，并基于多帧深度数据的对应坐标深度中间值算法，获取中间值深度环境背景图像，以提升深度环境背景图像的稳定性。
[0012]优选的，所述基于格雷码结构光算法生成的多帧条纹图像，其为包括水平和垂直方向排列的亮暗等距相间的多帧条纹编码图像，则每个RGBD深度传感器对应的格雷码结构光图像的宽高()为：
ꢀꢀ
(1)
ꢀꢀ
(2)其中，为投影屏幕水平分辨率，为投影屏幕垂直分辨率。其多帧条纹编码图像在投影屏幕上的显示位置(，)为：
ꢀꢀ
(3)
ꢀꢀ
(4)通过每隔一秒的频率逐帧刷新并在投影画面对应位置上显示结构光图像，对应RGBD深度传感器的彩色摄像头采集每一帧结构光图像并基于格雷码结构光投影和图像坐标映射算法，如公式(5)所示，...

【技术保护点】

【技术特征摘要】
1.一种多RGBD深度传感器的自动校准桌面道具互动系统，其特征在于，是由若干个RGBD深度传感器、若干台投影仪、电脑主机、矩形桌面和不同形状道具构成，若干个RGBD深度传感器和若干台投影仪通过数据线缆与电脑主机对应USB接口和显卡视频输出接口相连，其中若干个RGBD深度传感器安装在桌面上方的可调角度和高度的挂架上，使其高度保持一致并与桌面长边平行，若干台投影仪显示画面通过第三方投影融合软件进行投影融合；采用基于格雷码结构光的彩色图像自动校准算法以及深度图像与彩色图像坐标映射关系，实现对若干个RGBD深度传感器的互动位置校准；通过采集若干个RGBD深度传感器与桌面之间的深度环境背景图像后，计算实时深度图像与深度环境背景图像的差值图像，以定位桌面不同形状道具在融合深度图像内的坐标和投影桌面坐标并识别其长宽高值；对桌面不同形状道具的识别数据与道具信息库的数据进行对比，确定所有道具的形状类别；最后，通过OSC通信协议将道具类型和桌面坐标发送到互动投影效果软件，实现增强体验的互动投影效果。2.根据权利要求1所述的一种多RGBD深度传感器的自动校准桌面道具互动系统，其特征在于，所述投影仪和RGBD深度传感器的数量以电脑主机的硬件配置和操作系统支持的最大数量为上限。3.根据权利要求1所述的一种多RGBD深度传感器的自动校准桌面道具互动系统，其特征在于，采用的基于TCP/IP通信协议的服务端和客户端模型，将局域网内节点电脑主机连接的RGBD深度传感器虚拟为投影电脑主机的本地设备，以实现基于多RGBD深度传感器进行大场景互动识别的方案。4.根据权利要求1所述的一种多RGBD深度传感器的自动校准桌面道具互动系统的实现方法，包括以下步骤：S1，将若干台投影仪通过视频传输线缆与电脑主机的显卡输出接口相连，采用吊装方式向桌面空间投影画面，并通过第三方投影融合软件将投影画面融合起来；S2，将多个RGBD深度传感器通过数据线缆与电脑主机USB接口相连，并安装在桌面上方与投影仪位置相对应的可调角度和高度的挂架上，使其高度保持一致并与桌面长边平行；S3，互动投影识别软件实时采集每个RGBD深度传感器的深度数据和彩色数据，并根据其排列位置进行深度图像拼接；S4，在桌面未放置道具的情况下，互动投影识别软件采集若干个RGBD深度传感器与桌面之间的深度环境背景图像，并进行背景图像保存；S5，根据每个RGBD深度传感器位置向桌面相应区域投射基于格雷码结构光算法生成的多帧条纹图像，并用其彩色摄像头采集每帧条纹图像数据，以获取条纹投影区域与彩色图像之间的坐标映射关系；S6，根据每个RGBD深度传感器内的深度图像与彩色图像之间的坐标映射关系，获取条纹投影区域与其对应深度图像之间的坐标映射关系；S7，根据多个RGBD深度传感器深度环境背景图像与实时深度图像的差值以及识别范围阈值参数，获取道具与桌面环境分离的道具识别图像；S8，基于OpenCV视觉库的形态学变换、轮廓查找以及凸缺陷检测算法，获取道具识别图像的道具中心点坐标以及长宽和凸缺陷等几何信息，并结合深度信息获取道具的高度值；S9，将道具长宽高和凸缺陷等几何信息与道具信息库的数据进行对比，获取道具...

【专利技术属性】
技术研发人员：宁广良，孙广，王文锋，
申请(专利权)人：大庆思特传媒科技有限公司，
类型：发明
国别省市：