一种360°全息实时交互方法技术

本发明专利技术公开了一种360°全息实时交互方法，解决了现有技术中，全息再现的内容受到限制、无法进行交互操作等问题。该360°全息实时交互方法包括实时信息采集，从多个方位对用户及环境信息进行采集，得到对应的音频及视频信息；实时信息处理，对每个方位得到的视频信息进行运动物体分割提取，将分割提取处理后的帧图像进行实时拼接，实现全息真实影像及虚拟影像的再现的数据基础；实时信息再现，根据实时信息处理后的数据实现全息影像的再现；实时交互，建立语音交互、交互引导模式、姿势交互三种交互模式的映射关系，通过对语音、手势的识别，实现全息影像的变化，实现交互。本发明专利技术将360°全息显示技术与新型交互技术结合，实现了多技术的融合。

【技术实现步骤摘要】

本专利技术涉及全息交互
，具体的说是涉及一种360°全息实时交互方法。
技术介绍
现有的全息交互技术方法有两种，一种是通过计算全息预先得到场景的数字全息图像序列，然后根据检测到的姿势信息加载相应的全息图，达到数字全息影像的动态交互显示效果，实现全息交互；另一种是在360°全息显示基础上，进行虚拟建模，去掉纹理后进行拼接，得到预先设定好的全息影像，通过用户自己围绕柜体得到全息影像几个角度的信息。这两种全息交互技术方法存在的缺陷是：第一种全息交互技术方法，只能对预先得到场景的全息图序列进行交互，会使全息再现的内容受到限制，具有很强的固定性和单一性，且多处于实验阶段，不能在现阶段推出。第二种全息交互技术方法，只能对预先建模的影像实现全息再现，而不能对全息影像进行切换、缩放、旋转等交互操作。
技术实现思路
本专利技术的目的在于解决现有技术所存在的问题，提供了一种实现方便、在现阶段可直接推出使用，可实时采集到用户或环境等信息，经过实时处理后，实现全息影像再现，然后根据检测到的手部姿势和语音，实现对全息影像交互的360°全息实时交互技术方法。为了实现上述目的，本专利技术采用以下技术方案：一种360°全息实时交互方法，包括：实时信息采集，从多个方位对用户及环境信息进行采集，得到对应的音频及视频信息；实时信息处理，对每个方位得到的视频信息进行运动物体分割提取，将分割提取处理后的帧图像进行实时拼接，实现全息真实影像及虚拟影像的再现的数据基础；实时信息再现，根据实时信息处理后的数据实现全息影像的再现；实时交互，建立语音交互、交互引导模式、姿势交互三种交互模式的映射关系，通过对语音、手势的识别，实现全息影像的变化，实现交互。进一步的，在所述实时信息采集中，采用四台相同型号和性能的前端信息采集设备：一号摄像机、二号摄像机、三号摄像机、四号摄像机，分别从用户前、后、左、右四个方位采集用户信息；其中，位于前面的一号摄像机采集用户的正面视频、音频信息，接受用户手部姿势和语音命令的交互信息，其余摄像机采集用户的对应方位的视频信息。进一步的，四台摄像机同步工作且与用户的定位区域等距，四台摄像机镜头准心在同一水平线上。进一步的，所述实时信息处理包括：用户信息初步处理：将用户从复杂的环境中提取出来，完成全息显示真实模式下的用户信息初步处理；虚拟形象的初步处理：建立全息显示虚拟模式下的无背景虚拟人物模型，完成虚拟形象的初步处理；实时信息拼接：建立拼接通道，并对所有方位的信息与拼接通道实现匹配
建立拼接的映射关系，实现全息真实影像及虚拟影像的再现的数据基础。进一步的，所述将用户从复杂的环境中提取出来包括如下步骤：(1)定义帧图像的图像小基元，将每个帧图像的图像小基元表示为M×N个像素构成；(2)计算连续两帧图像的帧差：ID(x，y，t)＝|I(x，y，t)-I(x，y，t-1)|，将帧差公式转换为像素表达：ID(m，n)＝|I(m，n，t)-I(m，n，t-1)|，基于帧图像的图像小基元，定义高斯检验模型公式GSlarge(i)和GSsmall(i)： G k ( i ) = 1 / ( M × N ) Σ m = 1 M Σ n = 1 N ID k ( m , n ) GS s m a l l ( i ) = G 3 ( i ) + G 4 ( i ) - 3 G 1 ( i ) [ G 2 本文档来自技高网...

【技术保护点】
一种360°全息实时交互方法，其特征在于，包括：实时信息采集，从多个方位对用户及环境信息进行采集，得到对应的音频及视频信息；实时信息处理，对每个方位得到的视频信息进行运动物体分割提取，将分割提取处理后的帧图像进行实时拼接，实现全息真实影像及虚拟影像的再现的数据基础；实时信息再现，根据实时信息处理后的数据实现全息影像的再现；实时交互，建立语音交互、交互引导模式、姿势交互三种交互模式的映射关系，通过对语音、手势的识别，实现全息影像的变化，实现交互。

【技术特征摘要】
1.一种360°全息实时交互方法，其特征在于，包括：实时信息采集，从多个方位对用户及环境信息进行采集，得到对应的音频及视频信息；实时信息处理，对每个方位得到的视频信息进行运动物体分割提取，将分割提取处理后的帧图像进行实时拼接，实现全息真实影像及虚拟影像的再现的数据基础；实时信息再现，根据实时信息处理后的数据实现全息影像的再现；实时交互，建立语音交互、交互引导模式、姿势交互三种交互模式的映射关系，通过对语音、手势的识别，实现全息影像的变化，实现交互。2.根据权利要求1所述的360°全息实时交互方法，其特征在于，在所述实时信息采集中，采用四台相同型号和性能的前端信息采集设备：一号摄像机、二号摄像机、三号摄像机、四号摄像机，分别从用户前、后、左、右四个方位采集用户信息；其中，位于前面的一号摄像机采集用户的正面视频、音频信息，接受用户手部姿势和语音命令的交互信息，其余摄像机采集用户的对应方位的视频信息。3.根据权利要求2所述的360°全息实时交互方法，其特征在于，四台摄像机同步工作且与用户的定位区域等距，四台摄像机镜头准心在同一水平线上。4.根据权利要求3所述的360°全息实时交互方法，其特征在于，所述实时信息处理包括：用户信息初步处理：将用户从复杂的环境中提取出来，完成全息显示真实
\t模式下的用户信息初步处理；虚拟形象的初步处理：建立全息显示虚拟模式下的无背景虚拟人物模型，完成虚拟形象的初步处理；实时信息拼接：建立拼接通道，并对所有方位的信息与拼接通道实现匹配建立拼接的映射关系，实现全息真实影像及虚拟影像的再现的数据基础。5.根据权利要求4所述的360°全息实时交互方法，其特征在于，所述将用户从复杂的环境中提取出来包括如下步骤：(1)定义帧图像的图像小基元，将每个帧图像的图像小基元表示为M×N个像素构成；(2)计算连续两帧图像的帧差：ID(x，y，t)＝|I(x，y，t)-I(x，y，t-1)|，将帧差公式转换为像素表达ID(m，n)＝|(m，n，t)-I(m，n，t-1)|，基于帧图像的图像小基元，定义高斯检验模型公式GSlarge(i)和GSsmall(i)： G k ( i ) = 1 / ( M × N ) Σ m = 1 M Σ n - 1 N ID k ( m , n ) GS s m a l l ( i ) = G 3 ( i ) + G 4 ( i ) - 3 G 1 ( i ) [ G 2 ( i ) - G 1 2 ( i ) ] - 3 G 2 2 ( i ) - G 1 3 ( i ) - 2 G 1 4 ( i ) ...

【专利技术属性】
技术研发人员：王幽又，杨随先，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川;51