一种基于神经网络的MR混合现实信息处理方法及装置制造方法及图纸

本发明专利技术提供了一种基于神经网络的MR混合现实信息处理方法及装置，包括：混合现实设备获取数据流，神经网络对数据流进行学习，得到数据特征，对应关系。神经网络根据学习的数据特征和对应关系指示处理组件对数据流进行处理并输出。本发明专利技术在混合现实设备第一次接收并处理多媒体信号时，神经网络进行学习。当混合现实设备接收后续信号时，神经网络根据之前学习的结果指示相关组件对后续信号进行处理，从而不用进行重复动作，节约了大量了系统资源，不仅降低了功耗，还提升了进程进行的速度，进一步提升了输出数据速度，提升了数据刷新率。

A Neural Network Based MR Hybrid Reality Information Processing Method and Device

The invention provides a MR hybrid reality information processing method and device based on neural network, which includes: acquiring data stream by hybrid reality equipment, learning data stream by neural network, obtaining data characteristics and corresponding relations. According to the characteristics of the learning data and the corresponding relationship, the neural network instructs the processing component to process and output the data stream. The invention learns the neural network when the mixed reality device receives and processes the multimedia signal for the first time. When the hybrid reality equipment receives the follow-up signal, the neural network instructs the relevant components to process the follow-up signal according to the results of the previous study, so that no repetitive action is needed, which saves a lot of system resources, not only reduces the power consumption, but also improves the speed of the process, further improves the speed of output data, and improves the data refresh rate.

【技术实现步骤摘要】
一种基于神经网络的MR混合现实信息处理方法及装置
本专利技术涉及混合现实数据处理领域，尤其涉及一种基于神经网络的MR混合现实信息处理方法及装置。
技术介绍
现有技术中对于MR(MixedReality，混合现实)设备运行中接收产生的多媒体信号集合普遍是：通过设备中图像获取装置和传感器接收此信号数据流，对多媒体信号集合数据流中包含信号数据的类别进行识别。处理组件对进行数据处理，得到每个数据的数据结果。处理组件将以上各个数据结果进行数据融合，之后将冗余数据剔除，最后输出，如此循环。在此进程中，每次设备接收新的数据流都要进行数据类别识别，都有剔除冗余数据的动作，这些重复的动作在进程过程中占用了大量了系统资源，降低了进程进行的速度，造成了不必要的系统资源浪费。当进程数量瞬时增多的时，由于这些重复动作占用的系统资源大，由于进程进行速度降低，进一步导致输出数据的速度降低，最后导致图像、声音、位置等数据刷新率降低，用户体验差的结果。
技术实现思路
本专利技术提供一种基于神经网络的MR混合现实信息处理方法及装置，用以解决混合现实设备在处理多媒体信号时，系统资源占用大的问题。为了实现上述目的，本专利技术技术方案提供了一种基于神经网络的MR混合现实信息处理方法，所述方法包括：混合现实设备获取数据流；神经网络对所述数据流进行学习，得到数据特征；神经网络学习对应关系；神经网络根据学习的数据特征和对应关系指示处理组件对数据流进行处理并输出；其中，所述数据流中含有的数据为与多媒体和三维影像相关的数据。作为上述技术方案的优选，所述方法包括：神经网络初始化；神经网络学习所述数据流中包含数据的种类，得到数据特征。作为上述技术方案的优选，所述方法包括：神经网络学习处理组件的种类，得到处理组件标签；神经网络学习处理组件标签与所述数据特征的对应关系；其中，所述处理组件中的内容均为与多媒体和三维影像数据处理相关。作为上述技术方案的优选，所述方法包括：神经网络根据学习到的对应关系指示处理组件接收所述数据流中的数据；处理组件对数据进行数据处理，得到每种数据对应的数据结果；处理组件根据所述数据特征对所述数据结果进行标签；处理组件根据标签对每个所述数据结果进行标签融合，得到融合结果后输出。作为上述技术方案的优选，所述方法还包括：神经网络学习每个数据结果的标签，用于后续指示处理组件进行标签融合；处理组件输出所述融合结果。本专利技术技术方案还提供了一种基于神经网络的MR混合现实信息处理装置，所述装置包括：获取模块，用于混合现实设备获取数据流。学习模块，用于神经网络对获取模块获取的数据流进行学习，得到数据特征；学习模块，还用于神经网络学习对应关系。指示模块，用于神经网络根据学习模块学习的数据特征和对应关系指示处理组件对数据流进行处理并输出。其中，数据流中含有的数据为与多媒体和三维影像相关的数据。作为上述技术方案的优选，学习模块，包括：初始单元，用于神经网络初始化，以便于进行之后的学习。数据特征学习单元，用于神经网络学习获取模块获取的数据流中包含数据的种类，得到数据特征。作为上述技术方案的优选，学习模块，还包括：标签获取单元，用于神经网络学习处理组件的种类，得到处理组件标签。对应关系学习单元，用于神经网络学习处理组件标签与数据特征的对应关系。其中，所述处理组件中的内容均为与多媒体和三维影像数据处理相关。作为上述技术方案的优选，指示模块，包括：神经网络指示单元，用于神经网络根据学习到的对应关系指示处理组件接收数据流中的数据。处理组件，用于处理组件对所述数据进行数据处理，得到每种数据对应的数据结果。标签单元，用于根据数据特征对数据结果进行标签。融合输出单元，用于处理组件根据标签对每个数据结果进行标签融合，得到融合结果后输出。作为上述技术方案的优选，所述学习模块，包括：标签融合学习单元，用于神经网络学习每个数据结果的标签，用于后续指示处理组件进行标签融合。输出单元，用于处理组件输出所述融合结果。本专利技术技术方案提供了一种基于神经网络的MR混合现实信息处理方法，所述方法包括：混合现实设备获取数据流；神经网络对数据流进行学习，得到数据特征，学习对应关系。神经网络根据学习的数据特征和对应关系指示处理组件对数据流进行处理并输出。本专利技术技术方案还提供了一种基于神经网络的MR混合现实信息处理装置，所述装置包括：获取模块，用于混合现实设备获取数据流。学习模块，用于神经网络对获取模块获取的数据流进行学习得到数据特征，还用于神经网络学习对应关系。指示模块，用于神经网络根据学习模块学习的数据特征和对应关系指示处理组件对数据流进行处理并输出。本专利技术的优点是，在混合现实设备第一次接收并处理多媒体信号时，神经网络学习处理过程，获取信号和处理组件特征。当混合现实设备接收后续多媒体信号时，神经网络根据之前学习的结果指示相关组件对后续多媒体信号进行处理，从而不用每次都进行识别信号类型、获取处理组件功能等重复动作节约了大量了系统资源，提高了进程进行的速度。当进程数量瞬时增多的时，由于这些重复动作不再占用系统资源，不仅降低了功耗，还提升了进程进行的速度，进一步提升了系统运行效率，还提升了用户体验。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种基于神经网络的MR混合现实信息处理方法的流程示意图；图2为本专利技术又一实施例提供的一种基于神经网络的MR混合现实信息处理方法的流程示意图；图3为本专利技术技术方案中混合现实设备的结构示意图一；图4为本专利技术技术方案中混合现实设备的结构示意图二；图5为为本专利技术实施例提供的一种基于神经网络的MR混合现实信息处理装置的结构示意图；图6为图5所示的学习模块52的结构示意图一；图7为图5所示的学习模块52的结构示意图二；图8为图5所示的指示模块53的结构示意图；图9为图5所示的学习模块52的结构示意图三；图10为本专利技术实施例提供的一种基于神经网络的MR混合现实信息处理装置的后续信息处理的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术实施例提供的一种基于神经网络的MR混合现实信息处理方法的流程示意图，如图1所示，包括：步骤101、混合现实设备获取数据流。步骤102、神经网络对所述数据流进行学习，得到数据特征。首先，神经网络初始化。之后，神经网络学习步骤101中获取的数据流中包含数据的种类，进而得到数据特征。步骤103、神经网络学习对应关系。神经网络学习处理组件的种类，得到处理组件标签。神经网络学习所述处理组件标签与所述数据特征的对应关系。步骤104、神经网络根据学习的数据特征和对应关系指示处理组件对数据流进行处理并输出。神经网络根据学习到的对应关系指示处理组件接本文档来自技高网...

【技术保护点】
1.一种基于神经网络的MR混合现实信息处理方法，其特征在于，所述方法包括：混合现实设备获取数据流；神经网络对所述数据流进行学习，得到数据特征；所述神经网络学习对应关系；所述神经网络根据学习的所述数据特征和所述对应关系指示处理组件对所述数据流进行处理并输出；其中，所述数据流中含有的数据为与多媒体和三维影像相关的数据。

【技术特征摘要】
1.一种基于神经网络的MR混合现实信息处理方法，其特征在于，所述方法包括：混合现实设备获取数据流；神经网络对所述数据流进行学习，得到数据特征；所述神经网络学习对应关系；所述神经网络根据学习的所述数据特征和所述对应关系指示处理组件对所述数据流进行处理并输出；其中，所述数据流中含有的数据为与多媒体和三维影像相关的数据。2.根据权利要求1所述的方法，其特征在于，所述神经网络对所述数据流进行学习，得到数据特征，包括：所述神经网络初始化；所述神经网络学习所述数据流中包含数据的种类，得到所述数据特征。3.根据权利要求2所述的方法，其特征在于，所述神经网络学习对应关系，包括：所述神经网络学习处理组件中的内容，得到内容标签；所述神经网络学习所述处理组件标签与所述数据特征的对应关系；其中，所述处理组件中的内容均为与多媒体和三维影像数据处理相关。4.根据权利要求3所述的方法，其特征在于，所述神经网络根据学习的所述数据特征和所述对应关系指示处理组件对所述数据流进行处理并输出，包括：所述神经网络根据学习到的所述对应关系指示所述处理组件接收所述数据流中的数据；所述处理组件对所述数据进行数据处理，得到每种数据对应的数据结果；所述处理组件根据所述数据特征对所述数据结果进行标签；所述处理组件根据标签对每个所述数据结果进行标签融合，得到融合结果后输出。5.根据权利要求4所述的方法，其特征在于，所述处理组件对所述每种数据对应的数据结果进行标签融合，得到融合结果后输出，包括：所述神经网络学习每个所述数据结果的标签，用于后续指示所述处理组件进行所述标签融合；所述处理组件输出所述融合结果。6.一种基于神经网络的MR混合现实信息处理装置，其特征在于，所...

【专利技术属性】
技术研发人员：杜晶，陈清甫，范懿文，张弦，
申请(专利权)人：幻视互动北京科技有限公司，
类型：发明
国别省市：北京,11