基于虚拟现实设备的存内计算方法及装置制造方法及图纸

本发明专利技术公开了一种基于虚拟现实设备的存内计算方法及装置中采用MRAM近存储技术，将图像采集、空间位置变化和人机交互等任务都具有独自的MRAM存储并完成存内计算，提升虚拟现实技术设备的工作效率；通过MRAM在VR、AR和WR等虚拟现实技术应用设备中，MRAM具有非易失性和快速读取能力，可以解决传统存储SRAM/DRAM的易失性问题和Flash读写速度慢等问题；由于大量数据需要在设备中处理，MRAM近存储技术可以避免无效数据，同时处理有效数据并将处理后的任务存储在MRAM区域，提升设备可靠性；通过将各自任务处理后的事件综合传输给CPU进行综合事件响应，该方式可以减少任务响应时间和提升设备可靠性。设备可靠性。设备可靠性。

【技术实现步骤摘要】
基于虚拟现实设备的存内计算方法及装置


[0001]本专利技术涉及到近存储计算的
，尤其涉及到基于虚拟现实设备的存内计算方法及装置。

技术介绍

[0002]近年来随着信息化时代的到来，VR、AR和WR等虚拟现实技术设备领域迅速发展。虚拟现实技术设备通过内部系统产生电子信号与虚拟现实技术设备结合转换成人们可以看到并感受到的图像。虚拟现实技术开启人、计算机与环境交互之间的联系。随着人类的需求针对虚拟电子设备的大量图像数据和传感器数据的处理。新一代信息技术融合创新领域对设备的硬件组成部分具有多种需求，如主控芯片任务处理速度、存储容量和摄像头采集信息能力等。VR和AR等虚拟现实技术设备具有大量数据处理场景，如图像数据、传感器数据和虚拟数据结合等。这需要虚拟现实技术设备的存储具有快速读取能力和主控芯片的响应能力。
[0003]然而VR、AR和WR等虚拟现实技术设备具有不同发展侧重点。VR设备侧重于近眼现实聚焦高画质的视觉沉浸体验。AR设备侧重视野呈现真实场景、识别和理解现实场景和物体，该设备将虚拟场景和真实场景叠加。MR设备则将虚拟现实与增强现实结合起来，求真实世界与数字世界相融合。这些设备需要系统具有足够的数据处理能力并及时反应设备任务。由于任意CPU都只能在一个时刻处理一个任务，同时虚拟现实技术设备具有多任务的大量数据处理。常规设备只能更换CPU做新的主控芯片来增强任务处理能力或增加存储为设备存储更多的待处理数据。这从根本上没有解决虚拟现实技术的实际问题。
[0004]现有虚拟存储技术将采集的图像数据、传感器数据和算法处理任务都在CPU中进行处理。这会造成CPU出现任务响应不及时、任务阻塞或任务不响应等情况。传统存储SRAM和DRAM具有易失性，Flash具有非易失性但读写速度较慢。MRAM具有SRAM的读写速度能力和Flash的非易失性。

技术实现思路

[0005]本专利技术的目的在于提供一种基于虚拟现实设备的存内计算方法及装置采用MRAM近存储技术，将图像采集、空间位置变化和人机交互等任务都具有独自的MRAM存储并完成存内计算，提升虚拟现实技术设备的工作效率。
[0006]基于虚拟现实设备的存内计算方法，包括：
[0007]系统完成初始化，MCU启动相应的流程；
[0008]虚拟现实设备进行系统参数配置；
[0009]所述虚拟现实设备启动任务，进行数据采集工作；
[0010]通过存内计算处理采集的数据。
[0011]作为进一步的优选，还包括：
[0012]接收计算的数据进行任务处理，完成虚拟融合；
[0013]基于图像的虚拟融合，进行图像输出。
[0014]作为进一步的优选，所述系统参数配置包括图像采集的摄像头参数配置、位置测量的传感器定位和人机交互的触发类设备的参数配置。
[0015]作为进一步的优选，所述虚拟现实设备启动数据采集任务包括图像采集、场景融合和人机交互。
[0016]作为进一步的优选，所述图像采集任务包括：
[0017]图像数据经过采集放置在图像缓冲区，进行暂时数据存储；
[0018]将缓存的数据进行图像灰度化算法处理；
[0019]将图像灰度化处理后的数据进行特征点，应用MRAM内部的图像特征点算法进行数据处理；
[0020]将处理后的数据传输给图像处理区进行实时存储。
[0021]作为进一步的优选，所述场景融合任务包括：
[0022]准确定位空间位置变化的数值，并将数据值存储在MRAM的数据处理区；
[0023]多核计算将位置数据缓冲区数值进行综合处理，计算出当前的位置空间值；
[0024]通过所述数据处理区的数据值与MRAM存储内的空间值进行对比，得出此时空间的变化值；
[0025]将所述数据处理区的数据值、MRAM存储内的空间值和空间的变化值传输至所述数据处理区，进行虚拟场景的融合。
[0026]作为进一步的优选，所述人机交互识别包括：
[0027]通过多核计算将不必要的数据进行过滤，选取有效数据进行实时处理；
[0028]将事件响应存储在MRAM中，根据事件的优先级发送给CPU处理。
[0029]基于虚拟现实设备的存内计算装置，包括上述的基于虚拟现实设备的存内计算方法，还包括虚拟现实设备和MRAM存储器，所述MRAM存储器与多核计算模块组成MRAM近存储单元；所述虚拟现实设备用于系统参数配置，包括图像采集模块、场景融合模块和人机交互模块，所述图像采集模块、场景融合模块和人机交互模块信号连接所述MRAM近存储单元，其中，
[0030]所述图像采集模块用于将采集到的数据传输至所述MRAM存储器，进行图像数据灰度化和特征点提取；
[0031]所述场景融合模块用于根据空间位置的变化进行虚拟场景融合；
[0032]所述人机交互模块用于根据传感器阈值进行事件响应工作。
[0033]作为进一步的优选，所述MRAM存储器包括图像缓冲区和图像处理区，所述图像处理区用于存储经过图像灰度化和提取特征点后的图像数据，所述图像缓冲区用于不断接收图像数据，进行异步读取工作。
[0034]作为进一步的优选，所述场景融合模块包括空间位置对比单元、空间位置算法单元、位置数据缓冲区和位置数据处理区：
[0035]所述空间位置对比单元用于存储不同空间的位置值，便于计算后直接进行对比得出此时空间位置区域；
[0036]所述空间位置算法单元用于处理来自运动传感器、陀螺仪、惯性传感器和AR头显采集获得的运动位置数值；
[0037]所述位置数据缓冲区用于存储多种运动传感器数据值；
[0038]所述位置数据处理区用于存储算法处理后的位置数据。
[0039]作为进一步的优选，所述MRAM近存储单元将不必要的数据进行过滤，选取有效数据进行实时处理。
[0040]一种电子设备，包括：
[0041]存储器以及一个或多个处理器；
[0042]其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现以上任一项实施例所述的方法。
[0043]一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现以上任一项实施例所述的方法。
[0044]一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，可用来实现以上任一项实施例所述的方法。
[0045]上述技术方案具有如下优点或有益效果：
[0046]本专利技术这种基于虚拟现实设备的存内计算方法及装置中通过MRAM在VR、AR和WR等虚拟现实技术应用设备中，MRAM具有非易失性和快速读取能力，可以解决传统存储SRAM/DRAM的易失性问题和Flash读写速度慢等问题；由本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于虚拟现实设备的存内计算方法，其特征在于，包括：系统完成初始化，MCU启动相应的流程；虚拟现实设备进行系统参数配置；所述虚拟现实设备启动任务，进行数据采集工作；通过存内计算处理采集的数据。2.如权利要求1所述的基于虚拟现实设备的存内计算方法，其特征在于，还包括：接收计算的数据进行任务处理，完成虚拟融合；基于图像的虚拟融合，进行图像输出。3.如权利要求1所述的基于虚拟现实设备的存内计算方法，其特征在于，所述系统参数配置包括图像采集的摄像头参数配置、位置测量的传感器定位和人机交互的触发类设备的参数配置。4.如权利要求3所述的基于虚拟现实设备的存内计算方法，其特征在于，所述虚拟现实设备启动数据采集任务包括图像采集、场景融合和人机交互。5.如权利要求2或权利要求4所述的基于虚拟现实设备的存内计算方法，其特征在于，所述图像采集任务包括：图像数据经过采集放置在图像缓冲区，进行暂时数据存储；将缓存的数据进行图像灰度化算法处理；将图像灰度化处理后的数据进行特征点，应用MRAM内部的图像特征点算法进行数据处理；将处理后的数据传输给图像处理区进行实时存储。6.如权利要求2或权利要求4所述的基于虚拟现实设备的存内计算方法，其特征在于，所述场景融合任务包括：准确定位空间位置变化的数值，并将数据值存储在MRAM的数据处理区；多核计算将位置数据缓冲区数值进行综合处理，计算出当前的位置空间值；通过所述数据处理区的数据值与MRAM存储内的空间值进行对比，得出此时空间的变化值；将所述数据处理区的数据值、MRAM存储内的空间值和空间的变化值传输至所述数据处理区，进行虚拟场景的融合。7.如权利要求2或权利要求4所述的基于虚拟现实设备的存内计算方法，其特征在于，所述人机交互识别包括：通过多核计算将不必要的数据进行过滤，选取有效数据进行实时处理；将事件响应存储在MRAM中，根据事件的优先级发送给CPU处理。8.基于虚拟现实设备的存内计算装置，包括权利要求1—7所述的基于虚拟现实设备的存内计算方法，其特征在于，还包括虚拟现实设备(1)和MRAM存储器(2)，所述MRAM存储器(2)与多核计算模块(4)组成MRAM近存储单元(3)；所述虚拟现实设备(1)用于...

【专利技术属性】
技术研发人员：李月婷，曹凯华，王昭昊，赵巍胜，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：