虚拟现实环境危险感知方法及装置制造方法及图纸

本发明专利技术提出虚拟现实环境危险感知方法及装置。方法包括：提取VR摄像机实时采集的每一帧图像中的特征点；对于第二帧及以后帧图像，将当前帧与前一帧图像中的特征点进行匹配，根据每对匹配点，计算出VR摄像机采集当前帧图像时相对采集前一帧图像时的运动矢量；根据计算出的运动矢量，计算出当前帧图像与前一帧图像上匹配成功的每一特征点的世界坐标；根据当前帧图像中已经计算出世界坐标的所有特征点，检测当前帧图像中是否存在关注物，若存在，计算关注物与当前VR摄像机之间的距离，若该欧氏距离小于预设阈值，则向用户发出危险提醒。本发明专利技术能够在VR环境中感知危险并发出提醒。

【技术实现步骤摘要】
虚拟现实环境危险感知方法及装置
本专利技术涉及VR(VirtualReality，虚拟现实)
尤其涉及一种VR环境危险感知方法及装置。
技术介绍
分析VR产品使用过程中的现状了解到：用户在使用VR产品时因为无法感知所处的真实环境，不了解自己运动是否会产生危险，所以在运动过程中小心翼翼，不敢自由移动。随着计算芯片性能的不断提升，渲染算法的不断优化改进，VR产品画面真实感不断地增强，而这样的背景下，用户却无法全身心地体验这样的沉浸感。目前急需可以感知真实环境并且提示的方法。目前VR应用中，只是简单地通过摄像头拍摄真实画面并映射，缺少对于真实环境本身的精确感知。
技术实现思路
本专利技术提供VR环境危险感知方法及装置，以实现VR环境中的危险感知及提醒。本专利技术的技术方案是这样实现的：一种虚拟现实VR环境危险感知方法，该方法包括：对于VR摄像机实时采集的每一帧图像，提取该图像中的特征点；对于VR摄像机采集的第二帧及以后帧的每一帧图像，将当前帧图像与前一帧图像中的特征点进行匹配，根据每对匹配点在两帧图像中的位置，计算出VR摄像机采集当前帧图像时相对采集前一帧图像时的运动矢量；根据计算出的运动矢量，计算出当前帧图像与前一帧图像上匹配成功的每一特征点的世界坐标；根据当前帧图像中已经计算出世界坐标的所有特征点，检测当前帧图像中是否存在关注物，若是，根据VR摄像机的初始世界坐标和VR摄像机采集每一帧图像时相对采集前一帧图像时的运动矢量，计算VR摄像机的当前世界坐标，根据当前帧中的关注物的世界坐标与VR摄像机的当前世界坐标，计算关注物与当前VR摄像机之间的距离，若该距离小于预设阈值，则向用户发出危险提醒。所述计算出当前帧图像与前一帧图像上匹配成功的每一特征点的世界坐标之后进一步包括：将计算得到的特征点的世界坐标放入到局部地图描述库中，同时，在局部地图描述库中记录每一特征点对应的帧标识；且，所述将当前帧图像与前一帧图像中的特征点进行匹配之后、根据每对匹配点在两帧图像中的位置计算出VR摄像机采集当前帧图像时相对采集前一帧图像时的运动矢量之前进一步包括：判断当前帧是否满足如下关键帧判定条件之一：一、关键帧集合中的关键帧总数<第一阈值；二、当前帧与前一帧图像匹配成功的特征点的数目/当前帧提取的特征点的总数<第二阈值；若满足，则确定当前帧为关键帧，将当前帧的帧标识放入关键帧集合中，然后执行所述根据每对匹配点在两帧图像中的位置计算出VR摄像机采集当前帧图像时相对采集前一帧图像时的运动矢量的动作；否则，确定当前帧为非关键帧，丢弃当前帧，直接转至下一帧。当确定当前帧为关键帧时，所述计算出当前帧图像与前一帧图像上匹配成功的每一特征点的世界坐标之后进一步包括：将计算出世界坐标的当前帧的所有特征点与关键帧集合中的每一关键帧的计算出世界坐标的所有特征点分别进行匹配，若匹配率超过预设第三阈值，则认为当前帧冗余，则不将当前帧加入关键帧集合，也不以计算出世界坐标的当前帧的特征点更新局部地图描述库，转至下一帧，其中，若两个特征点的世界坐标相同，则两个特征点匹配。所述计算出当前帧图像与前一帧图像上匹配成功的每一特征点的世界坐标之后进一步包括：将计算出世界坐标的当前帧的所有特征点构成一个词袋BOW向量，将当前帧的BOW向量分别与关键帧集合中的每一关键帧的BOW向量进行匹配，若与一关键帧匹配成功，则认为对当前帧的重定位成功，即认为VR摄像机采集当前帧时所处的位置与采集匹配成功的关键帧时所处的位置相同，则丢弃原本在当前帧中提取出的特征点，在局部地图描述库中查找到匹配成功的关键帧对应的所有特征点的世界坐标，在查找到的每个特征点的世界坐标的帧标识列表中添加当前帧的帧标识，且不将当前帧放入关键帧集合所述关键帧判定条件进一步包括：当前帧的最近一次重定位过程耗时时长大于预设第五阈值。所述方法进一步包括：当预设的闭环检测周期到来时，对于关键帧集合中的关键帧，分别计算最新的关键帧的BOW向量与与其关联的每一关键帧的BOW向量的距离，将距离最小的关联关键帧作为最新关键帧的候选回环帧，其中，当两个关键帧中至少有一对特征点的世界坐标相同时，认为该两个关键帧关联；根据最新关键帧和候选回环帧上的特征点的世界坐标，计算VR摄像机采集最新关键帧时相对采集候选回环帧时的运动矢量，以候选回环帧作为最新关键帧的前一帧，将该两帧的特征点进行匹配，根据计算出的运动矢量，重新计算匹配成功的所有特征点的世界坐标，以计算得到的匹配成功的所有特征点的世界坐标更新局部地图描述库中最新关键帧的所有特征点的世界坐标，并在局部地图描述库中添加匹配成功的所有特征点对应的帧标识：最新关键帧的帧标识。所述提取该图像中的特征点为：提取该图像中的加速分割测试获得特征FAST特征点。所述向用户发出危险提醒包括：将预设单声道提醒音频数据复制为左、右声道两份，对两声道的提醒音频数据分别进行FFT变换，得到左、右声道的频域提醒音频数据；根据关注物的世界坐标与VR摄像机的世界坐标，确定提醒音频的发声位置，其中该发声位置采用HRTF标准空间位置参数表示，其中，提醒音频的发声位置位于VR摄像机与关注物之间的直线连线上，且预先设定提醒音频的发声位置与VR摄像机之间的距离；根据提醒音频的发声位置，从HRTF标准数据库中读取对应的HRTF变换数据，对该HRTF变换数据进行FFT变换，得到频域HRTF变换数据，将左、右声道的频域提醒音频数据分别与频域HRTF变换数据相乘，得到左、右声道的频域提醒空间音频数据，对左、右声道的频域提醒空间音频数据分别进行IFFT变换，得到左、右声道的时域提醒空间音频数据，并分别通过左、右声道播放给用户。所述向用户发出危险提醒包括：在检测到关注物的3维VR图像上叠加显示关注物的已知世界坐标的所有特征点构成的轮廓；或者，在检测到关注物的2维图像上叠加显示提醒文本信息，所述文本信息包括：VR摄像机距离关注物的距离信息；或者，显示剔除了背景信息的检测到关注物的3维VR图像，即将检测到关注物的VR图像上所有已知世界坐标的特征点构成的轮廓外的背景图像删除，以便只显示VR摄像机、用户和关注物，其中，在显示关注物时，根据关注物与VR摄像机的距离的由远及近，对关注物的颜色进行渐进色展示。一种虚拟现实VR环境危险感知装置，该装置包括：特征提取及计算模块，用于对于VR摄像机实时采集的每一帧图像，提取该图像中的特征点；对于VR摄像机采集的第二帧及以后帧的每一帧图像，将当前帧图像与前一帧图像中的特征点进行匹配，根据每对匹配点在两帧图像中的位置，计算出VR摄像机采集当前帧图像时相对采集前一帧图像时的运动矢量；根据计算出的运动矢量，计算出当前帧图像与前一帧图像上匹配成功的每一特征点的世界坐标；危险检测模块，用于根据当前帧图像中已经计算出世界坐标的所有特征点，检测当前帧图像中是否存在关注物，若是，根据VR摄像机的初始世界坐标和VR摄像机采集每一帧图像时相对采集前一帧图像时的运动矢量，计算VR摄像机的当前世界坐标，根据当前帧中的关注物的世界坐标与VR摄像机的当前世界坐标，计算关注物与当前VR摄像机之间的距离，若该距离小于预设阈值，则向用户发出危险提醒。所述特征提取及计算模块计算出当前帧图像与前一帧图像上匹配成功的本文档来自技高网...

【技术保护点】
1.一种虚拟现实VR环境危险感知方法，其特征在于，该方法包括：对于VR摄像机实时采集的每一帧图像，提取该图像中的特征点；对于VR摄像机采集的第二帧及以后帧的每一帧图像，将当前帧图像与前一帧图像中的特征点进行匹配，根据每对匹配点在两帧图像中的位置，计算出VR摄像机采集当前帧图像时相对采集前一帧图像时的运动矢量；根据计算出的运动矢量，计算出当前帧图像与前一帧图像上匹配成功的每一特征点的世界坐标；根据当前帧图像中已经计算出世界坐标的所有特征点，检测当前帧图像中是否存在关注物，若是，根据VR摄像机的初始世界坐标和VR摄像机采集每一帧图像时相对采集前一帧图像时的运动矢量，计算VR摄像机的当前世界坐标，根据当前帧中的关注物的世界坐标与VR摄像机的当前世界坐标，计算关注物与当前VR摄像机之间的距离，若该距离小于预设阈值，则向用户发出危险提醒。

【技术特征摘要】
1.一种虚拟现实VR环境危险感知方法，其特征在于，该方法包括：对于VR摄像机实时采集的每一帧图像，提取该图像中的特征点；对于VR摄像机采集的第二帧及以后帧的每一帧图像，将当前帧图像与前一帧图像中的特征点进行匹配，根据每对匹配点在两帧图像中的位置，计算出VR摄像机采集当前帧图像时相对采集前一帧图像时的运动矢量；根据计算出的运动矢量，计算出当前帧图像与前一帧图像上匹配成功的每一特征点的世界坐标；根据当前帧图像中已经计算出世界坐标的所有特征点，检测当前帧图像中是否存在关注物，若是，根据VR摄像机的初始世界坐标和VR摄像机采集每一帧图像时相对采集前一帧图像时的运动矢量，计算VR摄像机的当前世界坐标，根据当前帧中的关注物的世界坐标与VR摄像机的当前世界坐标，计算关注物与当前VR摄像机之间的距离，若该距离小于预设阈值，则向用户发出危险提醒。2.根据权利要求1所述的方法，其特征在于，所述计算出当前帧图像与前一帧图像上匹配成功的每一特征点的世界坐标之后进一步包括：将计算得到的特征点的世界坐标放入到局部地图描述库中，同时，在局部地图描述库中记录每一特征点对应的帧标识；且，所述将当前帧图像与前一帧图像中的特征点进行匹配之后、根据每对匹配点在两帧图像中的位置计算出VR摄像机采集当前帧图像时相对采集前一帧图像时的运动矢量之前进一步包括：判断当前帧是否满足如下关键帧判定条件之一：一、关键帧集合中的关键帧总数<第一阈值；二、当前帧与前一帧图像匹配成功的特征点的数目/当前帧提取的特征点的总数<第二阈值；若满足，则确定当前帧为关键帧，将当前帧的帧标识放入关键帧集合中，然后执行所述根据每对匹配点在两帧图像中的位置计算出VR摄像机采集当前帧图像时相对采集前一帧图像时的运动矢量的动作；否则，确定当前帧为非关键帧，丢弃当前帧，直接转至下一帧。3.根据权利要求2所述的方法，其特征在于，当确定当前帧为关键帧时，所述计算出当前帧图像与前一帧图像上匹配成功的每一特征点的世界坐标之后进一步包括：将计算出世界坐标的当前帧的所有特征点与关键帧集合中的每一关键帧的计算出世界坐标的所有特征点分别进行匹配，若匹配率超过预设第三阈值，则认为当前帧冗余，则不将当前帧加入关键帧集合，也不以计算出世界坐标的当前帧的特征点更新局部地图描述库，转至下一帧，其中，若两个特征点的世界坐标相同，则两个特征点匹配。4.根据权利要求2所述的方法，其特征在于，所述计算出当前帧图像与前一帧图像上匹配成功的每一特征点的世界坐标之后进一步包括：将计算出世界坐标的当前帧的所有特征点构成一个词袋BOW向量，将当前帧的BOW向量分别与关键帧集合中的每一关键帧的BOW向量进行匹配，若与一关键帧匹配成功，则认为对当前帧的重定位成功，即认为VR摄像机采集当前帧时所处的位置与采集匹配成功的关键帧时所处的位置相同，则丢弃原本在当前帧中提取出的特征点，在局部地图描述库中查找到匹配成功的关键帧对应的所有特征点的世界坐标，在查找到的每个特征点的世界坐标的帧标识列表中添加当前帧的帧标识，且不将当前帧放入关键帧集合。5.根据权利要求4所述的方法，其特征在于，所述关键帧判定条件进一步包括：当前帧的最近一次重定位过程耗时时长大于预设第五阈值。6.根据权利要求2所述的方法，其特征在于，所述方法进一步包括：当预设的闭环检测周期到来时，对于关键帧集合中的关键帧，分别计算最新的关键帧的BOW向量与与其关联的每一关键帧的BOW向量的距离，将距离最小的关联关键帧作为最新关键帧的候选回环帧，其中，当两个关键帧中至少有一对特征点的世界坐标相同时，认为该两个关键帧关联；根据最新关键帧和候选回环帧上的特征点的世界坐标，计算VR摄像机采集最新关键帧时相对采集候选回环帧时的运动矢量，以候选回环帧作为最新关键帧的前一帧，将该两帧的特征点进行匹配，根据计算出的运动矢量，重新计算匹配成功的所有特征点的世界坐标，以计算得到的匹配成功的所有特征点的世界坐标更新局部地图描述库中最新关键帧的所有特征点的世界坐标，并在局部地图描述库中添加匹配成功的所有特征点对应的帧标识：最新关键帧的帧标识。7.根据权利要求1所述的方法，其特征在于，所述提取该图像中的特征点为：提取该图像中的加速分割测试获得特征FAST特征点。8.根据权利要求1所述的方法，其特征在于，所述向用户发出危险提醒包括：将预设单声道提醒音频数据复制为左、右声道两份，对两声道的提醒音频数据分别进行FFT变换，得到左、右声道的频域提醒音频数据；根据关注物的世界坐标与VR摄像机的世界坐标，确定提醒音频的发声位置，其中该发声位置采用HRTF标准空间位置参数表示，其中，提醒音频的发声位置位于VR摄像机与关注物之间的直线连线上，且预先设定提醒音频的发声位置与VR摄像机之间的距离；根据提醒音频的发声位置，从HRTF标准数据库中读取对应的HRTF变换数据，对该HRTF变换数据进行FFT变换，得到频域HRTF变换数据，将左、右声道的频域提醒音频数据分别与频域HRTF变换数据相乘，得到左、右声道的频域提醒空间音频数据，对左、右声道的频域提醒空间音频数据分别进行IFFT变换，得到左、右声道的时域提醒空间音频数据，并分别通过左、右声道播放给用户。9.根据权利要求1所述的方法，其特征在于，所述向用户发出危险提醒包括：在检测到关注物的3维VR图像上叠加显示关注物的已知世界坐标的所有特征点构成的轮廓；或者，在检测到关注物的2维图像上叠加显示提醒文本信息，所述文本信息包括：VR摄像机距离关注物的距离信息；或者，显示剔除了背景信息的检测到关注物的3维VR图像，即将检测到关注物的VR图像上所有已知世界坐标的特征点构成的轮廓外的背景图像删除，以便只显示VR摄像机、用户和关注物，其中，在显示关注物时，根据关注物与VR摄像机的距离的由远及近，对关注物的颜色进行渐进色展示。10.一种虚拟现实VR环境危险感知装置，其特征在于，该装置包括：特征提取及计算模块，用于对于VR摄像机实时采集的每一帧图...

【专利技术属性】
技术研发人员：凌霄，谢启宇，杨辰，马俊青，黄耀清，
申请(专利权)人：三星电子中国研发中心，三星电子株式会社，
类型：发明
国别省市：江苏,32