基于面试机器人的面试方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及人工智能技术领域，公开了一种基于面试机器人的面试方法，通过根据被面试者来选择对应的面试试题以及面试试题要求的表情姿态来生成面试唇形视频帧和面试人脸表情视频帧，根据所述面试唇形视频帧和面试人脸表情视频帧生成人脸视频帧，结合预设的虚拟面试机器人雏形，生成用于面试所述被面试者的画面视频。本发明专利技术还提供了一种基于面试机器人的面试装置、设备及计算机可读存储介质，通过该面试机器人进行面试，可以完全虚拟出面试官的面试表情，使得备面试得到更好的面试体验，从而提高面试的效果。

Interview method, device, equipment and storage medium based on interview robot

【技术实现步骤摘要】
基于面试机器人的面试方法、装置、设备及存储介质
本专利技术涉及人工智能
，尤其涉及一种基于面试机器人的面试方法、装置、设备及计算机可读存储介质。
技术介绍
随着智能家居技术的不断发展，尤其是人脸检测机器人方向上的发展，在各种应用场景都涉及，目前百度、阿里、腾讯等各大厂商以及高校在人脸检测领域都有较大的突破，人脸检测也均做到很高的精度；而视频生成目前是一项非常前沿的技术，在很多公司为了减少人供资源的使用，开始逐步使用智能面试系统对被面试者进行面试做初步的筛选，但是在现有技术中，主要是通过设置一个机器人，在机器人的显示屏上推送一些面试资料，或者同时显示机器人的头像的方式来实现面试和对面试者的录像，而并没有实现对对机器人本身的虚拟真人化。
技术实现思路
本专利技术的主要目的在于提供一种基于面试机器人的面试方法、装置、设备及计算机可读存储介质，旨在解决现有的面试机器人对于面试官的映射不够真实化，导致面试效果不佳的技术问题。为实现上述目的，本专利技术提供一种基于面试机器人的面试方法，应用于机器人面试系统，所述基于面试机器本文档来自技高网...

【技术保护点】
1.一种基于面试机器人的面试方法，应用于机器人面试系统，其特征在于，所述基于面试机器人的面试方法包括以下步骤：/n在接收到被面试者的面试指令后，获取所述被面试者的身份认证信息并进行身份的认证，其中，所述身份认证信息包括人脸识别特征和指纹信息中的至少一种；/n若所述被面试者的身份认证通过，则获取所述被面试者所要面试的岗位信息；/n根据所述岗位信息，从所述机器人面试系统中预设的面试数据库中，调取对应的面试试题，其中，所述面试试题包括文本面试问题和陈述所述文本面试问题时面试官的表情姿态信息，以及还包括文本面试问题和表情姿态信息之间的对应关系；/n将所述文本面试问题输入至所述机器人面试系统中预设的唇形...

【技术特征摘要】
1.一种基于面试机器人的面试方法，应用于机器人面试系统，其特征在于，所述基于面试机器人的面试方法包括以下步骤：
在接收到被面试者的面试指令后，获取所述被面试者的身份认证信息并进行身份的认证，其中，所述身份认证信息包括人脸识别特征和指纹信息中的至少一种；
若所述被面试者的身份认证通过，则获取所述被面试者所要面试的岗位信息；
根据所述岗位信息，从所述机器人面试系统中预设的面试数据库中，调取对应的面试试题，其中，所述面试试题包括文本面试问题和陈述所述文本面试问题时面试官的表情姿态信息，以及还包括文本面试问题和表情姿态信息之间的对应关系；
将所述文本面试问题输入至所述机器人面试系统中预设的唇形转换模型中，生成面试唇形视频帧，其中所述面试唇形视频帧中每个视频帧的排序与音频同步的时间序列一致；
将所述表情姿态信息输入至所述机器人面试系统中预设的表情生成模型中，生成面试人脸表情视频帧，其中所述面试人脸表情视频帧中每个视频帧的排序与音频同步的时间序列一致；
根据所述面试唇形视频帧和面试人脸表情视频帧生成人脸视频帧，结合预设的虚拟面试机器人雏形，生成用于面试所述被面试者的画面视频。


2.如权利要求1所述的基于面试机器人的面试方法，其特征在于，所述将所述文本面试问题输入至所述机器人面试系统中预设的唇形转换模型中，生成面试唇形视频帧的步骤包括：
采用文字分割技术对所述文本面试问题进行分割，形成一个关键词集合；
根据预先训练好的关键词的发音与唇形特征的对应关系，从预设的唇形特征库中查询出所述关键词集合中每个关键词的发音的唇形特征，得到唇形特征视频帧；
根据所述文本面试问题的关键词排序，将所述唇形特征视频帧进行排列组合，得到所述面试唇形视频帧。


3.如权利要求2所述的基于面试机器人的面试方法，其特征在于，所述将所述文本面试问题输入至所述机器人面试系统中预设的唇形转换模型中，生成面试唇形视频帧的步骤，还包括：
对所述关键词集合中的每个关键词进行近音的拓展分析，并对拓展分析得到的拓展关键词进行语义分析，确定所述拓展关键词的属性信息；
根据所述属性信息和词语发音原理，确定所述拓展关键词的唇形特征；
根据所述拓展关键词的唇形特征对所述面试唇形视频帧中的唇形特征视频帧进行调整；
将调整后的唇形特征视频帧和调整前的唇形特征视频帧合成新的唇形特征视频帧。


4.如权利要求3所述的基于面试机器人的面试方法，其特征在于，在所述根据预先训练好的关键词的发音与唇形特征的对应关系，从预设的唇形特征库中查询出所述关键词集合中每个关键词的发音的唇形特征，得到唇形特征视频帧的步骤之后，还包括：
基于深度学习的端对端语音合成模型中的文本转换语音网络，将所述关键词集合转换为语音，以及记录转换语音时的唇形特征/表情姿态点播放的时间延迟记忆网络。


5.如权利要求4所述的基于面试机器人的面试方法，其特征在于，所述根据所...

【专利技术属性】
技术研发人员：欧光礼，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：广东;44