基于人工智能的疫情排查方法及相关设备技术

本发明专利技术涉及人工智能技术领域，提供一种基于人工智能的疫情排查方法、装置、电子设备及存储介质。所述方法包括：获取人员名单，得到其中人员的备案语音和备案图像；获取目标人员名单，并获取目标人员的通话语音文件；使用备案语音训练说话人识别模型，将通话语音文件与备案语音输入说话人识别模型，判断接听人是否为目标人员；当说话人识别模型判断接听人不是目标人员时，采集接听人的图像文件；使用备案图像训练图像识别模型，将图像文件与备案图像输入图像识别模型，判断接听人是否为目标人员；当图像文件中的接听人不是目标人员时，生成并输出警告信息。本发明专利技术可以验证被摸排人员身份以确保反馈信息的真实可靠，提高了疫情防控的效率。

【技术实现步骤摘要】
基于人工智能的疫情排查方法及相关设备
本专利技术涉及人工智能中的语音图像处理
，具体涉及一种基于人工智能的疫情排查方法、装置、电子设备及存储介质。
技术介绍
现有技术中，基于疫情排查主要依靠网格员、社区人员通过电话热线进行摸排记录，以及通过简单的电话语音机器人回访摸排，这些传统的排查方式效率不高，不能验证被摸排人员的身份，且容易出现漏填误填情况。
技术实现思路
鉴于以上内容，有必要提出一种基于人工智能的疫情排查方法、装置、电子设备及存储介质以实现对高效率和可验证身份的疫情排查。本申请的第一方面提供一种基于人工智能的疫情排查方法，所述基于人工智能的疫情排查方法包括：获取人员名单，并获取所述人员名单中的人员的语音数据与人脸图像数据，得到备案语音和备案图像；获取目标人员名单，并获取所述目标人员名单中每个目标人员的通话语音文件；使用所述备案语音训练基于梅尔频率倒谱系数和第一孪生网络的说话人识别模型，并将所述每个目标人员的通话语音文件与所述备案语音输入至训练好的说话人识别模型，通过所述说话人识别模型判断所述每个目标人员的通话语音文件中的接听人是否为所述目标人员；当判断所述通话语音文件中的所述接听人不是所述目标人员时，采集所述接听人的视频图像得到图像文件；使用所述备案图像训练基于卷积神经网络和第二孪生网络的图像识别模型，并将所述图像文件与所述备案图像输入至训练好的图像识别模型，通过所述图像识别模型判断所述图像文件中的所述接听人是否为所述目标人员；当判断所述图像文件中的所述接听人不是所述目标人员时，生成并输出警告信息。优选地，所述获取所述人员名单中的人员的语音数据与人脸图像数据，得到备案语音和备案图像包括：通过语音录入单元获取所述人员名单中的人员录入的语音数据及通过图像录入单元获取所述人员名单中的人员录入的人脸图像数据，将所述语音数据存储为备案语音，将所述人脸图像数据存储为备案图像。优选地，所述获取所述目标人员名单中的每个目标人员的通话语音文件包括：使用智能语音机器人发起通话，基于预设的话术进行摸排，并采集所述通话中所述接听人的语音，得到所述每个目标人员的通话语音文件。优选地，所述基于预设的话术进行摸排包括：所述智能语音机器人从预设的问题池中按照预设的顺序获取问题并根据问题进行提问操作，直至所述预设的问题池中的问题被提问完，其中，所述提问操作包括：所述智能语音机器人根据所述预设的顺序从所述预设的问题池中获取每一问题并根据每一问题进行提问；所述智能语音机器人等待接听人员回复；当所述接听人员回复时，所述智能语音机器人采集所述通话中的语音，得到通话语音数据，并确认所述接听人员回复结束。优选地，所述使用所述备案语音训练基于梅尔频率倒谱系数和第一孪生网络的说话人识别模型，并将所述每个目标人员的通话语音文件与备案语音输入至训练好的说话人识别模型，通过所述说话人识别模型判断所述每个目标人员的通话语音文件中的所述接听人是否为所述目标人员包括：将所述备案语音按预设周期进行切分，得到预设数量个备案语音段；对所述预设数量个备案语音段进行梅尔频率倒谱系数预处理，得到预设数量个备案语音特征；使用所述预设数量个备案语音特征训练第一孪生网络，优化所述第一孪生网络，得到所述训练好的说话人识别模型和第一阈值，所述第一阈值根据所述预设数量个备案语音特征的相似度设定，用于通过与两个语音文件的语音特征相似度比较以确认两个语音文件是否来自同一说话人；对所述通话语音文件和所述备案语音进行梅尔频率倒谱系数预处理，得到通话语音特征与备案语音比较特征；将所述通话语音特征与所述备案语音比较特征输入所述训练好的说话人识别模型，通过所述训练好的说话人识别模型计算所述通话语音特征与所述备案语音比较特征的第一相似度，当所述第一相似度大于或等于所述第一阈值时，判断所述每个目标人员的通话语音文件中的所述接听人是所述目标人员；当所述第一相似度小于所述第一阈值时，判断所述每个目标人员的通话语音文件中的所述接听人不是所述目标人员。优选地，所述方法还包括：使用语音识别模型将所述通话语音文件转为文本信息；判断所述文本信息中是否存在预设的关键字，当所述文本信息中存在预设的关键字时，判断所述目标人员存在感染风险；当所述文本信息中不存在预设的关键字时，判断所述目标人员不存在感染风险。优选地，所述使用所述备案图像训练基于卷积神经网络和第二孪生网络的图像识别模型，并将所述图像文件与所述备案图像输入至训练好的图像识别模型，通过所述图像识别模型判断所述图像文件中的所述接听人是否为所述目标人员包括：对所述备案图像按画面帧进行切分，得到人脸图像训练数据；使用所述人脸图像训练数据训练所述卷积神经网络，得到所述图像识别模型的特征提取模型，所述特征提取模型可以提取人脸图像的特征；将所述人脸图像训练数据输入所述特征提取模型，得到人脸图像训练特征；使用所述人脸图像训练特征训练第二孪生网络，优化所述第二孪生网络，得到所述图像识别模型的人脸识别模型和第二阈值，所述第二阈值根据所述人脸图像训练特征的相似度设定，用于通过与两个人脸图像的相似度比较以确认人脸图像是否来自同一人；将对所述目标人员的图像文件和所述目标人员的备案图像按画面帧进行切分，得到目标人员测试图像和目标人员备案图像；将所述目标人员测试图像和所述目标人员备案图像输入所述图像识别模型的特征提取模型，经所述特征提取模型得到通话图像特征与备案图像特征；将所述通话图像特征与所述备案图像特征输入所述图像识别模型的人脸识别模型，通过所述识别模型计算所述通话图像特征与所述备案图像特征的第二相似度，当所述第二相似度大于或等于所述第二阈值时，判断所述图像文件中的所述接听人是所述目标人员；当所述第二相似度小于所述第二阈值时，判断所述图像文件中的所述接听人不是所述目标人员本人。本申请的第二方面提供一种基于人工智能的疫情排查装置，所述基于人工智能的疫情排查装置包括：语音图像获取模块，用于获取人员名单，并获取所述人员名单中的人员的语音数据与人脸图像数据，得到备案语音和备案图像；通话语音文件获取模块，用于获取目标人员名单，并获取所述目标人员名单中每个目标人员的通话语音文件；说话人识别模块，用于使用所述备案语音训练基于梅尔频率倒谱系数和第一孪生网络的说话人识别模型，并将所述每个目标人员的通话语音文件与所述备案语音输入至训练好的说话人识别模型，通过所述说话人识别模型判断所述每个目标人员的通话语音文件中的所述接听人是否为所述目标人员；图像文件获取模块，用于当判断所述通话语音文件中的接听人不是所述目标人员时，采集所述接听人的视频图像得到图像文件；图像识别模块，用于使用所述备案图像训练基于卷积神经网络和第二孪生网络的图像识别模型，并将所述图像文件与所述备案图像输入至训练好的图像识别模型，通过所述图像识别模型判断所述图像文件中的所述接本文档来自技高网...

【技术保护点】
1.一种基于人工智能的疫情排查方法，其特征在于，所述基于人工智能的疫情排查方法包括：/n获取人员名单，并获取所述人员名单中的人员的语音数据与人脸图像数据，得到备案语音和备案图像；/n获取目标人员名单，并获取所述目标人员名单中的每个目标人员的通话语音文件；/n使用所述备案语音训练基于梅尔频率倒谱系数和第一孪生网络的说话人识别模型，并将所述每个目标人员的通话语音文件与所述备案语音输入至训练好的说话人识别模型，通过所述说话人识别模型判断所述每个目标人员的通话语音文件中的接听人是否为所述目标人员；/n当判断所述通话语音文件中的所述接听人不是所述目标人员时，采集所述接听人的视频图像得到图像文件；/n使用所述备案图像训练基于卷积神经网络和第二孪生网络的图像识别模型，并将所述图像文件与所述备案图像输入至训练好的图像识别模型，通过所述图像识别模型判断所述图像文件中的所述接听人是否为所述目标人员；/n当判断所述图像文件中的所述接听人不是所述目标人员时，生成并输出警告信息。/n

【技术特征摘要】
1.一种基于人工智能的疫情排查方法，其特征在于，所述基于人工智能的疫情排查方法包括：
获取人员名单，并获取所述人员名单中的人员的语音数据与人脸图像数据，得到备案语音和备案图像；
获取目标人员名单，并获取所述目标人员名单中的每个目标人员的通话语音文件；
使用所述备案语音训练基于梅尔频率倒谱系数和第一孪生网络的说话人识别模型，并将所述每个目标人员的通话语音文件与所述备案语音输入至训练好的说话人识别模型，通过所述说话人识别模型判断所述每个目标人员的通话语音文件中的接听人是否为所述目标人员；
当判断所述通话语音文件中的所述接听人不是所述目标人员时，采集所述接听人的视频图像得到图像文件；
使用所述备案图像训练基于卷积神经网络和第二孪生网络的图像识别模型，并将所述图像文件与所述备案图像输入至训练好的图像识别模型，通过所述图像识别模型判断所述图像文件中的所述接听人是否为所述目标人员；
当判断所述图像文件中的所述接听人不是所述目标人员时，生成并输出警告信息。


2.如权利要求1所述的基于人工智能的疫情排查方法，其特征在于，所述获取所述人员名单中的人员的语音数据与人脸图像数据，得到备案语音和备案图像包括：
通过语音录入单元获取所述人员名单中的人员录入的语音数据及通过图像录入单元获取所述人员名单中的人员录入的人脸图像数据，将所述语音数据存储为备案语音，将所述人脸图像数据存储为备案图像。


3.如权利要求1所述的基于人工智能的疫情排查方法，其特征在于，所述获取所述目标人员名单中的每个目标人员的通话语音文件包括：
使用智能语音机器人发起通话，基于预设的话术进行摸排，并采集所述通话中所述接听人的语音，得到所述每个目标人员的通话语音文件。


4.如权利要求3所述的基于人工智能的疫情排查方法，其特征在于，所述基于预设的话术进行摸排包括：
所述智能语音机器人从预设的问题池中按照预设的顺序获取问题并根据问题进行提问操作，直至所述预设的问题池中的问题被提问完，其中，所述提问操作包括：
所述智能语音机器人根据所述预设的顺序从所述预设的问题池中获取每一问题并根据每一问题进行提问；所述智能语音机器人等待接听人员回复；当所述接听人员回复时，所述智能语音机器人采集所述通话中的语音，得到通话语音数据，并确认所述接听人员回复结束。


5.如权利要求1所述的基于人工智能的疫情排查方法，其特征在于，所述使用所述备案语音训练基于梅尔频率倒谱系数和第一孪生网络的说话人识别模型，并将所述每个目标人员的通话语音文件与备案语音输入至训练好的说话人识别模型，通过所述说话人识别模型判断所述每个目标人员的通话语音文件中的所述接听人是否为所述目标人员包括：
将所述备案语音按预设周期进行切分，得到预设数量个备案语音段；
对所述预设数量个备案语音段进行梅尔频率倒谱系数预处理，得到预设数量个备案语音特征；
使用所述预设数量个备案语音特征训练第一孪生网络，优化所述第一孪生网络，得到所述训练好的说话人识别模型和第一阈值，所述第一阈值根据所述预设数量个备案语音特征的相似度设定，用于通过与两个语音文件的语音特征相似度比较以确认两个语音文件是否来自同一说话人；
对所述通话语音文件和所述备案语音进行梅尔频率倒谱系数预处理，得到通话语音特征与备案语音比较特征；
将所述通话语音特征与所述备案语音比较特征输入所述训练好的说话人识别模型，通过所述训练好的说话人识别模型计算所述通话语音特征与所述备案语音比较特征的第一相似度，当所述第一相似度大于或等于所述第一阈值时，判断所述每个目标人员的通话语音文件中的所述接听人是所述目标人员；当所述第一相似度小于所述第一阈值时，判断所述每...

【专利技术属性】
技术研发人员：丁思雨，
申请(专利权)人：平安国际智慧城市科技股份有限公司，
类型：发明
国别省市：广东;44