一种视频通话人机交互方法及装置制造方法及图纸

本发明专利技术提供一种视频通话人机交互方法及装置，所述方法包含：设置视频通话中人机交互权限；建立通讯连接，进行视频通话；获取视频通话者的关注的信息；推送与所述关注的信息相关的服务内容，实现视频通话中人机交互。

A human-computer interaction method and device for video call

【技术实现步骤摘要】
一种视频通话人机交互方法及装置
本专利技术涉及人机交互
，具体涉及一种视频通话人机交互方法及装置。
技术介绍
随着网络带宽的快速提升以及硬件设备的发展和普及，视频通话已经成为人们日常沟通的一种重要方式。视频通话时通过WIFI连接网络，可以代替打电话产生的费用。由于视频通话不用输入文字，可以使得沟通更加便利快捷。而视频通话时，可以看到对方的五官和表情，进一步增进了情感沟通。但视频通话过程中，无法同时进行网络资讯的搜索，必须要跳出当前使用的视频通话的app(如微信)或视频程序。因此在视频过程中，如果使用者想为获取谈论的话题的相关信息，必须中断谈话或者事后再进行搜索。随着人工智能技术的发展，围绕人工智能展开的趋势性应用和产品正不断受到关注。目前已有一些基于对话系统的人工智能设备产品，使用者和智能设备之间可以通过某种对话语言，以一定的交互方式，实现信息交换。使用者通过语音输入自然语言以后，智能设备能够返回相应的自然语言、文本进行应答，或根据使用者输入的语音进行操作，并返回对应的操作结果。如小米电视盒，通过长按遥控器的“ok”键，对着遥控器说出想看的电视节目，就可以通过小米电视屏幕显示根据者语音搜索得到的电视节目清单。同样的基于对话系统的智能产品还有苹果Siri问答系统等。我们可以通过苹果Siri介绍餐厅、询问天气状况、语音设置闹钟、安排日程和搜索资料等。这类主要基于语音识别技术的智能设备产品，虽然其语音识别准确率达到了人们接受的门槛值，但实际中，语音识别技术还达不到完全识别的程度，其对语音、语义的处理能力十分有限，往往答非所问，或者需要使用者多次重复输入语音信息。这给者的使用带来了很大的不便，大大降低了者体验的质量。且目前还没有专门针对视频通话过程中的语音信息进行语音采集处理，进行人机交互，且不打扰正常视频通话的智能产品。随着人脸识别技术的发展，人脸识别技术已经成为验证者与其提供的身份证信息是否一致的主要手段。人脸识别技术在生活中广泛用于摄像拍照、门禁考勤、安防监控、人脸支付、人脸登录等众多场景。也有通过人脸识别进行人物情绪分析或进行测谎。但在视频通话过程中，还没有对人脸识别技术加以应用。很长时间以来，使用者通过计算机获取资讯的方式大都停留在人工输入关键词，通过网络搜索引擎，获得相关资讯。随着大数据分析技术的发展，现在也有一些软件或浏览器能够结合者的使用习惯、爱好、关注内容等进行资讯的推送，但这些都仅仅是根据获取者的历史浏览信息或历史使用信息进行大数据分析的结果，并不能主动获得者的当下实际需求，进行实时推送帮助者解决问题。人们对于人机交互服务的精准性提出了更多的要求，优化改善人机交互服务的体验，是目前业界所亟待解决的技术难题。特别是在视频通话过程中更是需要一种技术，可以实时提取者的表情信息和通话时的语音信息，为者的通话内容提供合理化建议。
技术实现思路
本专利技术的目的是提供一种视频通话人机交互方法及装置，在视频通话的过程中，推送与视频通话内容相关的服务咨询，通过人机实时互动，为视频通话者提供所需信息，且不影响当前的视频通话正常进行。为了达到上述目的，本专利技术提供一种视频通话人机交互方法，包含步骤：获取通信中的图像信息和/或语音信息；根据预设规则采集所述图像信息和/或语音信息中的关键信息；推送与所述关键信息相关的服务内容。优选的，所述的视频通话人机交互方法，还包含设置视频通话中人机交互权限，具体包含：设置是否接收推送；选择接收所有推送，或仅接受与设置的推送词相关的服务内容。优选的，所述关键信息的具体采集方法包含：对所述语音信息进行声纹识别获取声纹信息；从所述语音信息获取语音内容，并对获取的语音内容进行语义识别，获取关键词，并统计关键词的频次；当所述关键词的频次超过预设的阈值，将该关键词作为关键信息。优选的，推送与关键信息相关的服务内容具体包含：根据所述声纹信息和声纹识别模型，获取视频通话者的籍贯、年龄、性别信息中的至少一种；根据所述籍贯、年龄、性别信息中的至少一种和/或所述关键信息推送服务内容。优选的，推送与关键信息相关的服务内容进一步包含：从所述图像信息中提取出人脸图像；从所述人脸图像中提取视频通话者的年龄、性别信息中的至少一种；根据所述年龄、性别信息中的至少一种和/或关键信息推送服务内容。优选的，推送与关键信息相关的服务内容进一步包含：检测所述人脸图像中的面部关键点，基于所检测的面部关键点确定相应的人物面部动作，基于表情识别模型识别所检测人物面部动作对应的面部表情；根据识别的面部表情判断视频通话者对推送的服务内容是否满意，若不满意，更换服务内容。优选的，推送与关键信息相关的服务内容进一步包含：获取视频通话者的地理位置信息；根据所述地理位置和/或关键信息推送服务内容。优选的，通过动图的形式推送服务内容，并通过提示音或震动的形式提醒视频通话者查看推送的服务内容。本专利技术还提供一种视频通话人机交互装置，包含：图像采集处理模块，采集视频通话中的图像信息，并从所述图像信息中提取人脸图像，根据提取的人脸图像识别视频通话者身份类型；检测提取的人脸图像中的人物面部动作，识别所述人物面部动作对应的面部表情；语音采集处理模块，采集视频通话中的语音信息，对所述语音信息进行声纹识别，识别视频通话者的身份类型、关注的信息；定位模块，用于获取视频通话者的地理位置信息；信息推送模块，其被配置为根据所述身份类型、面部表情、关注的信息、地理位置信息推送服务内容，实现视频通话中人机交互。本专利技术还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现本专利技术所述的视频通话人机交互方法的步骤。与现有技术相比，本专利技术的优点在于：在视频通话过程中，通过使用本专利技术可以为视频通话者的通话内容提供合理化建议。视频通话者在想获取与谈论话题相关的咨询时，无须中断谈话或者事后再进行搜索，使得正常视频通话和获取咨询同步进行。本专利技术能够根据者选择的推送词，进行定向推送服务内容，保证了推送的精准性。本专利技术还能够根据采集的视频通话者的语音信息获取关键词，向视频通话者推送与关键词相关的服务内容。并且本专利技术还可以根据采集的语音信息、图像信息判断者的性别、年龄、籍贯、职业，对推送的服务内容进行进一步的筛选，进一步增加了推送内容的精准性，者无需花费大量精力筛选排除不感兴趣的推送即可获得真正需要的服务内容，大大提高了者体验的质量。且本专利技术基于表情识别模型识别视频通话者的面部表情，判断者对推送的服务内容是否满意，自动更换推送的服务内容，进一步为视频通话者提供了便利。附图说明为了更清楚地说明本专利技术技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图：图1为本专利技术的实施例中视频通话人机交互装置结构本文档来自技高网...

【技术保护点】
1.一种视频通话人机交互方法，其特征在于，包含步骤：/n获取通信中的图像信息和/或语音信息；/n根据预设规则采集所述图像信息和/或语音信息中的关键信息；推送与所述关键信息相关的服务内容。/n

【技术特征摘要】
1.一种视频通话人机交互方法，其特征在于，包含步骤：
获取通信中的图像信息和/或语音信息；
根据预设规则采集所述图像信息和/或语音信息中的关键信息；推送与所述关键信息相关的服务内容。


2.如权利要求1所述的视频通话人机交互方法，其特征在于，还包含设置视频通话中人机交互权限，具体包含：
设置是否接收推送；
选择接收所有推送，或仅接受与设置的推送词相关的服务内容。


3.如权利要求1所述的视频通话人机交互方法，其特征在于，所述关键信息的具体采集方法包含：
对所述语音信息进行声纹识别获取声纹信息；
从所述语音信息获取语音内容，并对获取的语音内容进行语义识别，获取关键词，并统计关键词的频次；当所述关键词的频次超过预设的阈值，将该关键词作为关键信息。


4.如权利要求3所述的视频通话人机交互方法，其特征在于，推送与关键信息相关的服务内容具体包含：
根据所述声纹信息和声纹识别模型，获取视频通话者的籍贯、年龄、性别信息中的至少一种；根据所述籍贯、年龄、性别信息中的至少一种和/或所述关键信息推送服务内容。


5.如权利要求3所述的视频通话人机交互方法，其特征在于，推送与关键信息相关的服务内容进一步包含：
从所述图像信息中提取出人脸图...

【专利技术属性】
技术研发人员：赵柯莹，孙文君，李立，
申请(专利权)人：上海传英信息技术有限公司，
类型：发明
国别省市：上海;31