增强现实方法和装置制造方法及图纸

本发明专利技术公开了一种增强现实方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：采集目标的视频信息，从中获取目标的真实图像信息及真实声音信息；使用真实图像信息确定基于图像的至少一种目标状态数据，使用真实声音信息确定基于声音的至少一种目标状态数据；将基于图像与基于声音的同种目标状态数据融合，得到目标画像数据；获取与目标画像数据对应的虚拟信息，将虚拟信息叠加到目标的视频信息中进行展示。该实施方式能够分别根据目标的图像信息与声音信息识别其当前状态，并将两方面的识别结果融合得到准确的目标画像，基于该目标画像即可进行匹配于用户状态的虚拟信息展示，从而提升增强现实效果与用户体验。

【技术实现步骤摘要】
增强现实方法和装置
本专利技术涉及计算机
，尤其涉及一种增强现实方法和装置。
技术介绍
增强现实是一种实时计算影像的位置及角度，以增加相应图像、视频、三维模型的技术，其能够将真实世界中难以体验的虚拟信息应用在真实世界，从而产生超越现实的效果。实际应用中，增强现实技术被广泛应用于网络直播等环境，用于将各种虚拟信息与用户图像进行叠加，以丰富图像内容，增加交互趣味性。图1示出了增强现实技术在网络直播中的几个应用实例。在图1中，用户图像上叠加的虚拟图像依次是：兔耳朵、眼镜、花环、发卡及星星。在实现本专利技术的过程中，专利技术人发现现有技术至少存在以下问题：1.在现有技术中，难以实现准确的用户画像，因此用于叠加展示的虚拟信息往往与用户当前状态不相匹配，导致用户体验度较低。2.在现有的增强现实技术中，无法根据用户的情绪、年龄及性别展示适合的虚拟信息。例如，当用户为心情愉悦的年轻女性时，虚拟信息为花环图像及笑脸贴纸；当用户改变为情绪低落的年长男性，虚拟信息仍为花环图像及笑脸贴纸，这严重影响了增强现实效果。
技术实现思路
有鉴于此，本专利技术实施例提供一种增强现实方法和装置，能够分别根据目标的图像信息与声音信息识别其当前状态，并将两方面的识别结果融合得到准确的目标画像，基于该目标画像即可进行匹配于用户状态的虚拟信息展示，从而提升增强现实效果与用户体验。为实现上述目的，根据本专利技术的一个方面，提供了一种增强现实方法。本专利技术实施例的增强现实方法包括：采集目标的视频信息，从中获取目标的真实图像信息以及真实声音信息；使用所述真实图像信息确定基于图像的至少一种目标状态数据，使用所述真实声音信息确定基于声音的至少一种目标状态数据；将基于图像与基于声音的同种目标状态数据融合，得到目标画像数据；获取与目标画像数据对应的虚拟信息，将所述虚拟信息叠加到所述视频信息中进行展示。可选地，所述目标状态数据包括以下至少一种：情绪数据、年龄数据以及性别数据；任一种目标状态数据中的任一组均包括：目标状态的判断结果、以及与该判断结果对应的置信度。可选地，所述真实图像信息包括：目标的面部图像信息；以及，所述使用所述真实图像信息确定基于图像的至少一种目标状态数据包括：从所述面部图像信息中确定多个关键点的位置信息，利用所述位置信息对所述面部图像信息进行倾斜校正；在经过校正的面部图像信息中提取多个面部特征值输入预先建立的图像分类模型，得到基于图像的至少一种目标状态数据。可选地，所述使用所述真实声音信息确定基于声音的至少一种目标状态数据包括：提取所述真实声音信息中的多个音频特征参数，并对所述音频特征参数进行聚类；将聚类后的音频特征参数输入预先建立的声音分类模型，得到基于声音的至少一种目标状态数据。可选地，所述将基于图像与基于声音的同种目标状态数据融合，得到目标画像数据包括：对于基于图像与基于声音的任意两组同种目标状态数据：第一状态数据与第二状态数据；其中，第一状态数据为基于图像的、包括第一判断结果以及第一置信度的目标状态数据，第二状态数据为基于声音的、包括第二判断结果以及第二置信度的目标状态数据；比较第一判断结果与第二判断结果是否相同：在比较结果为相同时，检测第一置信度与第二置信度之和是否大于第一置信阈值：若是，将第一判断结果或第二判断结果确定为目标画像数据；在比较结果为不同时，检测第一置信度与第二置信度中的较大者是否大于第二置信阈值：若是，将所述较大者对应的判断结果确定为目标画像数据。可选地，第二置信阈值大于第一置信阈值。可选地，所述虚拟信息包括以下至少一种：视觉信息、听觉信息以及特定效果信息。为实现上述目的，根据本专利技术的又一方面，提供了一种增强现实装置。本专利技术实施例的增强现实装置包括：目标识别单元，可用于采集目标的视频信息，从中获取目标的真实图像信息以及真实声音信息；使用所述真实图像信息确定基于图像的至少一种目标状态数据，使用所述真实声音信息确定基于声音的至少一种目标状态数据；融合展示单元，可用于将基于图像与基于声音的同种目标状态数据融合，得到目标画像数据；获取与目标画像数据对应的虚拟信息，将所述虚拟信息叠加到所述视频信息中进行展示。可选地，所述目标状态数据包括以下至少一种：情绪数据、年龄数据以及性别数据；任一种目标状态数据中的任一组均包括：目标状态的判断结果、以及与该判断结果对应的置信度。可选地，所述真实图像信息包括：目标的面部图像信息；以及，所述目标识别单元可进一步用于：从所述面部图像信息中确定多个关键点的位置信息，利用所述位置信息对所述面部图像信息进行倾斜校正；在经过校正的面部图像信息中提取多个面部特征值输入预先建立的图像分类模型，得到基于图像的至少一种目标状态数据。可选地，所述目标识别单元可进一步用于：提取所述真实声音信息中的多个音频特征参数，并对所述音频特征参数进行聚类；将聚类后的音频特征参数输入预先建立的声音分类模型，得到基于声音的至少一种目标状态数据。可选的，所述融合展示单元可进一步用于：对于基于图像与基于声音的任意两组同种目标状态数据：第一状态数据与第二状态数据；其中，第一状态数据为基于图像的、包括第一判断结果以及第一置信度的目标状态数据，第二状态数据为基于声音的、包括第二判断结果以及第二置信度的目标状态数据；比较第一判断结果与第二判断结果是否相同：在比较结果为相同时，检测第一置信度与第二置信度之和是否大于第一置信阈值：若是，将第一判断结果或第二判断结果确定为目标画像数据；在比较结果为不同时，检测第一置信度与第二置信度中的较大者是否大于第二置信阈值：若是，将所述较大者对应的判断结果确定为目标画像数据。可选地，第二置信阈值大于第一置信阈值。可选地，所述虚拟信息包括以下至少一种：视觉信息、听觉信息以及特定效果信息。为实现上述目的，根据本专利技术的又一方面，提供了一种电子设备。本专利技术的一种电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术所提供的增强现实方法。为实现上述目的，根据本专利技术的再一方面，提供了一种计算机可读存储介质。本专利技术的一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本专利技术所提供的增强现实方法。根据本专利技术的技术方案，上述专利技术中的一个实施例具有如下优点或有益效果：通过对用户图像信息进行关键点检测、倾斜校正以及特征提取，并将提取的特征输入预先建立的图像分类模型，实现了基于图像的情绪、年龄、性别的识别；通过对用户声音信息进行特征提取、特征聚类，并将经过聚类的特征输入预先建立的声音分类模型，实现了基于声音的情绪、年龄、性别的识别；之后，根据置信度对图像与声音两方面的识别结果进行融合，得到用户在情绪、年龄、性别三个维度的准确判别结果，利用该判别结果即可获取与用户当前状态高度匹配的虚拟信息用于增强现实展示，从而提升了增强现实效果与用户体验。上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。附图说明附图用于更好地理解本专利技术，不构成对本专利技术的不当限定。其中：图1是现有技术中增强现实技术的具体应用示意图；图2是根据本专利技术实施例的增强现实方法的主要步骤示意图；图3是根据本专利技术实施例的增强现实方法的关键点检测示意图本文档来自技高网...

【技术保护点】
1.一种增强现实方法，其特征在于，包括：采集目标的视频信息，从中获取目标的真实图像信息以及真实声音信息；使用所述真实图像信息确定基于图像的至少一种目标状态数据，使用所述真实声音信息确定基于声音的至少一种目标状态数据；将基于图像与基于声音的同种目标状态数据融合，得到目标画像数据；获取与目标画像数据对应的虚拟信息，将所述虚拟信息叠加到所述视频信息中进行展示。

【技术特征摘要】
1.一种增强现实方法，其特征在于，包括：采集目标的视频信息，从中获取目标的真实图像信息以及真实声音信息；使用所述真实图像信息确定基于图像的至少一种目标状态数据，使用所述真实声音信息确定基于声音的至少一种目标状态数据；将基于图像与基于声音的同种目标状态数据融合，得到目标画像数据；获取与目标画像数据对应的虚拟信息，将所述虚拟信息叠加到所述视频信息中进行展示。2.根据权利要求1所述的方法，其特征在于，所述目标状态数据包括以下至少一种：情绪数据、年龄数据以及性别数据；任一种目标状态数据中的任一组均包括：目标状态的判断结果、以及与该判断结果对应的置信度。3.根据权利要求1所述的方法，其特征在于，所述真实图像信息包括：目标的面部图像信息；以及，所述使用所述真实图像信息确定基于图像的至少一种目标状态数据包括：从所述面部图像信息中确定多个关键点的位置信息，利用所述位置信息对所述面部图像信息进行倾斜校正；在经过校正的面部图像信息中提取多个面部特征值输入预先建立的图像分类模型，得到基于图像的至少一种目标状态数据。4.根据权利要求1所述的方法，其特征在于，所述使用所述真实声音信息确定基于声音的至少一种目标状态数据包括：提取所述真实声音信息中的多个音频特征参数，并对所述音频特征参数进行聚类；将聚类后的音频特征参数输入预先建立的声音分类模型，得到基于声音的至少一种目标状态数据。5.根据权利要求2所述的方法，其特征在于，所述将基于图像与基于声音的同种目标状态数据融合，得到目标画像数据包括：对于基于图像与基于声音的任意两组同种目标状态数据：第一状态数据与第二状态数据；其中，第一状态数据为基于图像的、包括第一判断结果以及第一置信度的目标状态数据，第二状态数据为基于声音的、包括第二判断结果以及第二置信度的目标状态数据；比较第一判断结果与第二判断结果是否相同：在比较结果为相同时，检测第一置信度与第二置信度之和是否大于第一置信阈值：若是，将第一判断结果或第二判断结果确定为目标画像数据；在比较结果为不同时，检测第一置信度与第二置信度中的较大者是否大于第二置信阈值：若是，将所述较大者对应的判断结果确定为目标画像数据。6.根据权利要求5所述的方法，其特征在于，第二置信阈值大于第一置信阈值。7.根据权利要求1-6任一所述的方法，其特征在于，所述虚拟信息包括以下至少一种：视觉信息、听觉信息以及特定效果信息。8.一种增强现实装置，其特征在于，包括：目标识别单元，用于采集目标的视频信息，从中获取目标的真实图像信息以及真实声音信息；使用所述...

【专利技术属性】
技术研发人员：张伟华，吴江旭，李凡，彭刚林，张洪光，孔磊锋，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京,11