用于三维视觉与环境交互的系统架构、方法及电子设备技术方案

本发明专利技术涉及虚拟现实技术领域，具体是一种用于三维视觉与环境交互的系统架构、方法、电子设备、存储介质及程序产品。其中，用于三维视觉与环境交互的系统架构包括：业务应用层，所述业务应用层包括系统交互模块，所述系统交互模块包括基于视觉射线交互模块和基于三维世界物体对象交互模块；功能管理组件层，所述功能管理组件层包括碰撞检测管理模块和UI系统状态机管理模块；系统管理层，所述系统管理层包括UI系统管理与监听模块。本发明专利技术的用于三维视觉与环境交互的系统架构，能够实现监管方数据报送需求的自动化处理，提供了UI系统的统一交互模式，实现通用和复杂的UI系统交互。实现通用和复杂的UI系统交互。实现通用和复杂的UI系统交互。

【技术实现步骤摘要】
用于三维视觉与环境交互的系统架构、方法及电子设备


[0001]本专利技术涉及本专利技术涉及虚拟现实
，特别涉及一种用于三维视觉与环境交互的系统架构、方法、电子设备、计算机可读存储介质及计算机程序产品。

技术介绍

[0002]伴随着VR/AR软硬件发展，大量的系统操作都借助于VR/AR头显外部的控制设备(比如手柄)或者头显上的物理按键进行操作。VR/AR现阶段的设备操作系统，大多是依赖于Android系统进行定制改造形成，所采用的系统UI是基于Android原生的UI系统进行定制改造。另外，在VR/AR技术发展的突飞猛进的环境下，基于3D环境下使用三维图形引擎来进行系统与环境的开发，也在逐步成熟。
[0003]然而，现有的三维视觉与环境交互，都只解决了单一的UI系统能力(或是基于视线检测实现按钮的单一点击或其他响应事件，或是基于物体角色碰撞解决场景内交互响应)，UI的系统响应没有一致性的状态机制和统一的交互模式，无法成为较为通用和实现复杂交互功能的系统方法。

技术实现思路

[0004]针对现有技术的上述问题，本专利技术的目的在于提供一种用于三维视觉与环境交互的系统架构、方法、电子设备、介质及程序产品，能够提供UI系统的统一交互模式，能够实现通用和复杂的UI系统交互。
[0005]为了解决上述问题，本专利技术第一方面提供一种用于三维视觉与环境交互的系统架构，所述架构包括：
[0006]业务应用层，所述业务应用层包括系统交互模块，所述系统交互模块包括基于视觉射线交互模块和基于三维世界物体对象交互模块；
[0007]功能管理组件层，所述功能管理组件层包括碰撞检测管理模块和UI系统状态机管理模块，所述碰撞检测管理模块用于检测UI发射器所发射的UI发射对象和UI碰撞对象之间的碰撞，所述UI系统状态机管理模块用于检测和控制UI交互对象状态，所述UI交互对象状态包括按下、弹起、点击、拖动、选定、取消选定、自定义及滑动中的一种或多种；
[0008]系统管理层，所述系统管理层包括UI系统管理与监听模块，UI系统管理与监听模块用于基于业务应用层的所述系统交互模块，生成所述UI交互对象，且用于监听和调度所述功能管理组件层中所述碰撞检测管理模块和所述UI系统状态机管理模块，以根据用户操作，通过所述碰撞检测管理模块检测UI发射对象和UI碰撞对象之间的碰撞，并通过所述UI系统状态机管理模块改变所述UI交互对象的状态，从而实现三维视觉与环境的交互。
[0009]进一步地，用于三维视觉与环境交互的系统架构还包括：
[0010]UI功能组件层，所述UI功能组件层包括UI系统套件，用于生成UI交互对象，且定义所述UI交互对象的状态，
[0011]所述UI系统管理与监听模块通过所述UI系统套件生成所述UI交互对象，所述UI系
统管理机状态管理模块通过所述UI系统套件改变所述UI交互对象的状态。
[0012]进一步地，所述UI系统套件中的UI组件包括UI按钮、UI计时器、复选框、容器、滑动框、滚屏拖动组件、消息弹窗中的系统套件框架及自定义组件。
[0013]进一步地，所述系统管理层还包括：
[0014]UI渲染组件，用于渲染所述UI组件；
[0015]外设管理器模块，用于管理外设设备的软件开发工具包和通信协议信号。
[0016]进一步地，用于三维视觉与环境交互的系统架构还包括：
[0017]底层库，所述底层库包括图形渲染引擎模块、VR设备驱动模块及外设驱动模块。
[0018]进一步地，所述UI系统状态机管理模块还用于对所述UI发射对象和UI碰撞对象之间的碰撞进行计时。
[0019]本专利技术第二方面提供一种基于上述第一方面任一实施例的系统架构进行三维视觉与环境交互的方法，包括：
[0020]步骤S1，UI系统管理与监听模块基于业务应用层的系统交互模块中的应用实例，生成UI交互对象，注册UI发射器、UI发射对象、UI碰撞对象、所述UI发射对象和所述UI碰撞对象的碰撞信息及所述UI交互对象的状态信息；
[0021]步骤S2，UI系统管理与监听模块监听及调度碰撞检测管理模块和UI系统状态机管理模块，触发所述UI交互对象的状态响应；
[0022]步骤S3，所述UI系统管理与监听模块基于用户操作，改变所述UI交互对象的状态，从而实现三维视觉与环境交互。
[0023]进一步地，所述步骤S2包括：
[0024]步骤S21，所述UI系统管理与监听模块激活所述UI发射器，调度所述碰撞检测管理模块；
[0025]步骤S22，所述碰撞检测管理模块检测所述UI发射对象和所述UI碰撞对象的碰撞情况，并将所述碰撞情况反馈至所述UI系统管理与监听模块；
[0026]步骤S23，所述UI系统管理与监听模块在所述碰撞情况满足所述碰撞信息时，触发所述UI交互对象的状态响应。
[0027]进一步地，所述步骤S23包括：
[0028]步骤S231，所述UI系统管理与监听模块在所述碰撞情况满足所述碰撞信息时，调度所述UI系统状态机管理模块；
[0029]步骤S232，所述UI系统状态机管理模块对碰撞进行计时；
[0030]步骤2323，所述UI系统管理与监听模块在所述计时达到阙值时，进行所述UI交互对象状态响应。
[0031]进一步地，所述步骤S3包括：
[0032]步骤S31，所述UI系统管理与监听模块基于用户操作，调度所述UI系统状态机管理模块；
[0033]步骤S32，所述UI系统状态机通过所述UI系统套件改变所述UI交互对象的状态，从而实现三维视觉与环境交互；
[0034]步骤S33，所述UI系统状态机管理模块检测所述UI交互对象的状态变化的合法性。
[0035]进一步地，用于三维视觉与环境交互的方法还包括：
[0036]步骤S4，所述UI系统管理与监听模块根据所述UI状态机管理模块反馈操作结束后所述UI交互对象的状态，结束所述三维视觉与环境交互。
[0037]本专利技术第三方面提供一种电子设备，包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述第二方面任一实施例的用于三维视觉与环境交互的方法。
[0038]本专利技术第四方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述第二方面任一实施例的用于三维视觉与环境交互的方法。
[0039]本专利技术第五方面提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如上述第二方面任一实施例的用于三维视觉与环境交互的方法。
[0040]由于上述技术方案，本专利技术具有以下有益效果：
[0041]根据本专利技术实施例的系统架构，业务应用层集成了多个交互模块，能够实现多类型的UI系统的交互本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于三维视觉与环境交互的系统架构，其特征在于，包括：业务应用层，所述业务应用层包括系统交互模块，所述系统交互模块包括基于视觉射线交互模块和基于三维世界物体对象交互模块；功能管理组件层，所述功能管理组件层包括碰撞检测管理模块和UI系统状态机管理模块，所述碰撞检测管理模块用于检测UI发射器所发射的UI发射对象和UI碰撞对象之间的碰撞，所述UI系统状态机管理模块用于检测和控制UI交互对象状态，所述UI交互对象状态包括按下、弹起、点击、拖动、选定、取消选定、自定义及滑动中的一种或多种；系统管理层，所述系统管理层包括UI系统管理与监听模块，UI系统管理与监听模块用于基于业务应用层的所述系统交互模块，生成所述UI交互对象，且用于监听和调度所述功能管理组件层中所述碰撞检测管理模块和所述UI系统状态机管理模块，以根据用户操作，通过所述碰撞检测管理模块检测UI发射对象和UI碰撞对象之间的碰撞，并通过所述UI系统状态机管理模块改变所述UI交互对象的状态，从而实现三维视觉与环境的交互。2.根据权利要求1所述的用于三维视觉与环境交互的系统架构，其特征在于，还包括：UI功能组件层，所述UI功能组件层包括UI系统套件，用于生成UI交互对象，且定义所述UI交互对象的状态，所述UI系统管理与监听模块通过所述UI系统套件生成所述UI交互对象，所述UI系统管理机状态管理模块通过所述UI系统套件改变所述UI交互对象的状态。3.根据权利要求2所述的用于三维视觉与环境交互的系统架构，其特征在于，所述UI系统套件中的UI组件包括UI按钮、UI计时器、复选框、容器、滑动框、滚屏拖动组件、消息弹窗中的系统套件框架及自定义组件。4.根据权利要求2所述的用于三维视觉与环境交互的系统架构，其特征在于，所述系统管理层还包括：UI渲染组件，用于渲染所述UI组件；外设管理器模块，用于管理外设设备的软件开发工具包和通信协议信号。5.根据权利要求4所述的用于三维视觉与环境交互的系统架构，其特征在于，还包括：底层库，所述底层库包括图形渲染引擎模块、VR设备驱动模块及外设驱动模块。6.根据权利要求1所述的用于三维视觉与环境交互的系统架构，其特征在于，所述UI系统状态机管理模块还用于对所述UI发射对象和UI碰撞对象之间的碰撞进行计时。7.一种基于权利要求1至6任一所述的用于三维视觉与环境交互的系统架构的三维视觉与环境交互的方法，其特征在于，包括：步骤S1，UI系统管理与监听模块基于业务应用层的系统交互模块中的应用实例，生成UI交互对象，注册UI发射器、UI发射对象、UI碰撞对象、所述UI发射对象和所述UI碰撞对象的碰撞信息及所述UI交互对象的状态信息；步骤S2，所述U...

【专利技术属性】
技术研发人员：王静逸，邢磊，舒展，李俊杰，张国超，蔡娟，曹岩，唐景峰，张术芬，张鹤苧，张俊，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：