一种基于双摄像头的MR实现方法及设备技术

本发明专利技术实施例公开了一种基于双摄像头的MR实现方法及设备，该方法包括：通过双摄像头采集当前环境的实时景象，并通过预设背景颜色分离该实时景象中的背景与前景实体，得到背景景象与实体景象，向渲染服务器发送包括该背景景象的渲染请求，并接收渲染服务器针对该渲染请求返回的渲染响应，将该实时景象包括的背景景象替换成该背景景象匹配的虚拟景象，并输出该虚拟景象以及该实体景象。实施本发明专利技术实施例能够融合VR和AR的功能，通过将虚拟数字空间与实体环境相结合的方式能够在多人交互时相互之间准确的辨认出彼此的身份，提高了在通过3D虚拟景象实现多人交互时的安全性，丰富了交互方式，给用户带来了更逼真更立体更安全的多样化互动体验。

A MR implementation method and equipment based on dual cameras

The embodiment of the invention discloses a method and a device for realizing dual camera based on MR, the method includes: real-time scene by double camera to capture the current environment, and through the default background color separation solid background and foreground of the real-time scene in the background scene and real scene, to render server including the background picture the rendering request and receiving the request returns a rendering server rendering rendering the scene real-time response, including the background scene replaced the background of virtual scene matching, and the output of the virtual scene and the real scene. The embodiment of the invention can fusion of VR and AR, the virtual digital space and entity environment combination can in the interaction between accurately identify the identity of each other, improve the safety of people in the realization of the interactive virtual scene by 3D, enrich the interaction, to the user bring a more realistic three-dimensional interactive diversification and safer experience.

【技术实现步骤摘要】
一种基于双摄像头的MR实现方法及设备
本专利技术涉及介导现实(MediatedReality，MR)
，尤其涉及一种基于双摄像头的MR实现方法及设备。
技术介绍
当前，随着电子技术的快速发展，虚拟现实(VirtualReality，VR)技术的应用也越来越广泛，其中，VR技术最常见的应用体现为其在游戏方面的应用，即丰富的感知能力与3D显示环境使得VR设备成为了理想的视频游戏工具，例如，用户戴上VR设备之后可以通过VR设备显示的3D虚拟景象体验坐过山车时的刺激或者与3D虚拟景象中的虚拟角色进行互动，这样能够使用户身临其境，以增加游戏的乐趣。实践发现，在通过VR技术实现多人交互的过程中，VR设备显示的3D虚拟景象中不仅包括虚拟场景，还包括针对交互用户虚拟化后得到的且处于该虚拟场景中的虚拟角色，由于虚拟角色与交互用户存在体型及装备上的差异，在用户通过VR设备显示的3D虚拟景象与交互用户的虚拟角色进行交互的过程中，用户会碰撞到交互用户，这给交互双方带来了身体上的伤害。可见，现有的通过3D虚拟景象实现多人交互的方式存在安全性低的问题。
技术实现思路
本专利技术实施例公开了一种基于双摄像头的MR实现方法及设备，能够对基于双摄像头捕捉到的真实人物或景物进行真实化显示，提高了在通过3D虚拟景象实现多人交互时的安全性。本专利技术实施例第一方面公开了一种基于双摄像头的MR实现方法，所述方法包括：通过双摄像头采集当前环境的实时景象，并通过预设背景颜色分离采集的所述实时景象中的背景与前景实体，得到背景景象与实体景象，所述背景景象的背景颜色与所述预设背景颜色相匹配；向渲染服务器发送包括所述背景景象的渲染请求，并接收所述渲染服务器针对所述渲染请求返回的渲染响应，所述渲染请求用于请求获取所述背景景象匹配的虚拟景象，所述渲染响应包括由所述渲染服务器确定出的所述背景景象匹配的虚拟景象；将所述实时景象包括的所述背景景象替换成所述背景景象匹配的虚拟景象，并输出所述虚拟景象以及所述实体景象。作为一种可选的实施方式，在本专利技术实施例第一方面中，所述通过预设背景颜色分离采集的所述实时景象中的背景与前景实体，得到背景景象与实体景象，包括：通过背景颜色识别的方式，从采集的所述实时景象中识别颜色与预设背景颜色相匹配的部分实时景象，并判断所述部分实时景象中是否包含针对所述实时景象中人物的某些身体部位的实时景象；当判断结果为是时，将所述部分实时景象中除针对所述实时景象中人物的某些身体部位的实时景象之外的第一剩余实时景象确定为背景景象，并将所述部分实时景象中针对所述实时景象中人物的某些身体部位的实时景象以及第二剩余实时景象确定为实体景象，所述部分实时景象以及所述第二剩余实时景象组成采集的所述实时景象。作为一种可选的实施方式，在本专利技术实施例第一方面中，所述接收所述渲染服务器针对所述渲染请求返回的渲染响应之后，以及所述将所述实时景象包括的所述背景景象替换成所述背景景象匹配的虚拟景象之前，所述方法还包括：判断所述渲染响应包括的由所述渲染服务器确定出的所述背景景象匹配的虚拟景象的个数是否大于1；当判断出所述渲染响应包括的由所述渲染服务器确定出的所述背景景象匹配的虚拟景象的个数不大于1时，触发执行所述将所述实时景象包括的所述背景景象替换成所述背景景象匹配的虚拟景象的操作；所述方法还包括：当判断出所述渲染响应包括的由所述渲染服务器确定出的所述背景景象匹配的虚拟景象的个数大于1时，输出所述渲染响应中包括的所有虚拟景象供用户选择；确定用户从所述所有虚拟景象中选择的其中一个虚拟景象，并将所述实时景象中包括的所述背景景象替换成所述其中一个虚拟景象，以及输出所述实体景象以及所述其中一个虚拟景象。作为一种可选的实施方式，在本专利技术实施例第一方面中，所述方法还包括：采集用户针对所述虚拟景象中的虚拟物体的体感动作，并判断所述体感动作的动作参数是否满足预设参数条件；当所述体感动作的动作参数满足所述预设参数条件时，根据所述体感动作的动作参数生成针对所述虚拟物体的控制指令，并根据所述控制指令，控制所述虚拟物体执行与所述控制指令相匹配的操作。作为一种可选的实施方式，在本专利技术实施例第一方面中，所述方法还包括：当所述实体景象中存在交互人物时，采集针对所述交互人物的交互信息；判断所述交互信息是否为合法交互信息，当判断出所述交互信息为所述合法交互信息时，将所述交互信息发送至所述渲染服务器，以触发所述渲染服务器将所述交互信息下发至所述交互人物对应的交互设备。本专利技术实施例第二方面公开了一种基于双摄像头的MR实现设备，所述设备包括：采集单元，用于通过双摄像头采集当前环境的实时景象；分离单元，用于通过预设背景颜色分离所述采集单元采集的所述实时景象中的背景与前景实体，得到背景景象与实体景象，所述背景景象的背景颜色与所述预设背景颜色相匹配；通信单元，用于向渲染服务器发送包括所述背景景象的渲染请求，并接收所述渲染服务器针对所述渲染请求返回的渲染响应，所述渲染请求用于请求获取所述背景景象匹配的虚拟景象，所述渲染响应包括由所述渲染服务器确定出的所述背景景象匹配的虚拟景象；替换单元，用于将所述实时景象包括的所述背景景象替换成所述背景景象匹配的虚拟景象；输出单元，用于输出所述虚拟景象以及所述实体景象。作为一种可选的实施方式，在本专利技术实施例第二方面中，所述分离单元包括：识别子单元，用于通过背景颜色识别的方式，从采集的所述实时景象中识别颜色与预设背景颜色相匹配的部分实时景象；判断子单元，用于判断所述部分实时景象中是否包含针对所述实时景象中人物的某些身体部位的实时景象；确定子单元，用于当所述判断子单元的判断结果为是时，将所述部分实时景象中除针对所述实时景象中人物的某些身体部位的实时景象之外的第一剩余实时景象确定为背景景象，并将所述部分实时景象中针对所述实时景象中人物的某些身体部位的实时景象以及第二剩余实时景象确定为实体景象，所述部分实时景象以及所述第二剩余实时景象组成采集的所述实时景象。作为一种可选的实施方式，在本专利技术实施例第二方面中，所述设备还包括：第一判断单元，用于在所述通信单元接收所述渲染服务器针对所述渲染请求返回的渲染响应之后以及在所述替换单元将所述实时景象包括的所述背景景象替换成所述背景景象匹配的虚拟景象之前，判断所述渲染响应包括的由所述渲染服务器确定出的所述背景景象匹配的虚拟景象的个数是否大于1，当判断出所述渲染响应包括的由所述渲染服务器确定出的所述背景景象匹配的虚拟景象的个数不大于1时，触发所述替换单元执行所述将所述实时景象包括的所述背景景象替换成所述背景景象匹配的虚拟景象的操作；输出单元，还用于当所述第一判断单元判断出所述渲染响应包括的由所述渲染服务器确定出的所述背景景象匹配的虚拟景象的个数大于1时，输出所述渲染响应中包括的所有虚拟景象供用户选择；所述设备还包括：确定单元，用于确定用户从所述所有虚拟景象中选择的其中一个虚拟景象；所述替换单元，还用于将所述实时景象中包括的所述背景景象替换成所述其中一个虚拟景象；所述输出单元，还用于输出所述实体景象以及所述其中一个虚拟景象。作为一种可选的实施方式，在本专利技术实施例第二方面中，所述采集单元，还用于采集用户针对所述虚拟景象中的虚拟物体的体感动作；所述设备还包括：第二判断单本文档来自技高网...

【技术保护点】
一种基于双摄像头的MR实现方法，其特征在于，所述方法包括：通过双摄像头采集当前环境的实时景象，并通过预设背景颜色分离采集的所述实时景象中的背景与前景实体，得到背景景象与实体景象，所述背景景象的背景颜色与所述预设背景颜色相匹配；向渲染服务器发送包括所述背景景象的渲染请求，并接收所述渲染服务器针对所述渲染请求返回的渲染响应，所述渲染请求用于请求获取所述背景景象匹配的虚拟景象，所述渲染响应包括由所述渲染服务器确定出的所述背景景象匹配的虚拟景象；将所述实时景象包括的所述背景景象替换成所述背景景象匹配的虚拟景象，并输出所述虚拟景象以及所述实体景象。

【技术特征摘要】
1.一种基于双摄像头的MR实现方法，其特征在于，所述方法包括：通过双摄像头采集当前环境的实时景象，并通过预设背景颜色分离采集的所述实时景象中的背景与前景实体，得到背景景象与实体景象，所述背景景象的背景颜色与所述预设背景颜色相匹配；向渲染服务器发送包括所述背景景象的渲染请求，并接收所述渲染服务器针对所述渲染请求返回的渲染响应，所述渲染请求用于请求获取所述背景景象匹配的虚拟景象，所述渲染响应包括由所述渲染服务器确定出的所述背景景象匹配的虚拟景象；将所述实时景象包括的所述背景景象替换成所述背景景象匹配的虚拟景象，并输出所述虚拟景象以及所述实体景象。2.根据权利要求1所述的基于双摄像头的MR实现方法，其特征在于，所述通过预设背景颜色分离采集的所述实时景象中的背景与前景实体，得到背景景象与实体景象，包括：通过背景颜色识别的方式，从采集的所述实时景象中识别颜色与预设背景颜色相匹配的部分实时景象，并判断所述部分实时景象中是否包含针对所述实时景象中人物的某些身体部位的实时景象；当判断结果为是时，将所述部分实时景象中除针对所述实时景象中人物的某些身体部位的实时景象之外的第一剩余实时景象确定为背景景象，并将所述部分实时景象中针对所述实时景象中人物的某些身体部位的实时景象以及第二剩余实时景象确定为实体景象，所述部分实时景象以及所述第二剩余实时景象组成采集的所述实时景象。3.根据权利要求1或2所述的基于双摄像头的MR实现方法，其特征在于，所述接收所述渲染服务器针对所述渲染请求返回的渲染响应之后，以及所述将所述实时景象包括的所述背景景象替换成所述背景景象匹配的虚拟景象之前，所述方法还包括：判断所述渲染响应包括的由所述渲染服务器确定出的所述背景景象匹配的虚拟景象的个数是否大于1；当判断出所述渲染响应包括的由所述渲染服务器确定出的所述背景景象匹配的虚拟景象的个数不大于1时，触发执行所述将所述实时景象包括的所述背景景象替换成所述背景景象匹配的虚拟景象的操作；所述方法还包括：当判断出所述渲染响应包括的由所述渲染服务器确定出的所述背景景象匹配的虚拟景象的个数大于1时，输出所述渲染响应中包括的所有虚拟景象供用户选择；确定用户从所述所有虚拟景象中选择的其中一个虚拟景象，并将所述实时景象中包括的所述背景景象替换成所述其中一个虚拟景象，以及输出所述实体景象以及所述其中一个虚拟景象。4.根据权利要求1-3任一项所述的基于双摄像头的MR实现方法，其特征在于，所述方法还包括：采集用户针对所述虚拟景象中的虚拟物体的体感动作，并判断所述体感动作的动作参数是否满足预设参数条件；当所述体感动作的动作参数满足所述预设参数条件时，根据所述体感动作的动作参数生成针对所述虚拟物体的控制指令，并根据所述控制指令，控制所述虚拟物体执行与所述控制指令相匹配的操作。5.根据权利要求1-4任一项所述的基于双摄像头的MR实现方法，其特征在于，所述方法还包括：当所述实体景象中存在交互人物时，采集针对所述交互人物的交互信息；判断所述交互信息是否为合法交互信息，当判断出所述交互信息为所述合法交互信息时，将所述交互信息发送至所述渲染服务器，以触发所述渲染服务器将所述交互信息下发至所述交互人物对应的交互设备。6.一种基于双摄像头的MR实现设备，其特征在于，所述设备包括：采集单元，用于通过双摄像头采集当前环境的实时景象；分离单元，用于通过预设背景颜色分离所述采集单元采集的所...

【专利技术属性】
技术研发人员：沈时进，盛中华，李志雄，潘镭，
申请(专利权)人：广州励丰文化科技股份有限公司，
类型：发明
国别省市：广东,44