基于人脸识别和语音交互的通行设备控制方法、装置、机器可读介质及设备制造方法及图纸

本发明专利技术公开了一种基于人脸识别和语音交互的通行设备控制方法，包括：对通行设备采集的目标对象的人脸图片进行人脸识别，并根据人脸识别结果生成相应的行为类别；在所述行为类别为不通过时，控制通行设备与所述目标对象进行多轮语音交互；根据语音交互结果控制通行设备开启或保持关闭。本发明专利技术能够对人脸识别结果的不同情况进行处理和分类，如在强光照背景下导致的识别结果模糊等情况，根据判定结果，系统进一步采用语音问答的方式与用户进行交互，以确认用户身份，从而作出进一步的判断和决定。

【技术实现步骤摘要】
基于人脸识别和语音交互的通行设备控制方法、装置、机器可读介质及设备
本专利技术涉及人工智能领域，具体涉及一种基于人脸识别和语音交互的通行设备控制方法、装置、机器可读介质及设备。
技术介绍
在办公大楼入口场景下的门禁系统中，需要通过采集用户的人脸信息或者通过语音交互的方式来进行身份认证，从而决定是否让其通行。同时，为了能够给不同的用户角色提供相应的语音指引服务，需要通过与员工信息系统和访客预约系统相结合。目前，智能门禁系统的大致流程是用户先经过抓拍进行人脸识别，如果人脸识别结果超过设定阈值，则打开门禁，并给出相应的欢迎语；如果识别不通过，则通过语音对话的方式进行信息的确认后再决定是否放行。然而，由于人脸识别的结果受到不同光照背景或拍摄角度的影响较大以及无预约来访的情况，因此，会出现较多流程为先经过人脸识别模块判断不通过，再通过语音模块进行交互的情况，两个模块各自为独立的系统，使得智能门禁作为整体的系统而言运行效率不高，从而影响了用户的体验。另一方面，在语音交互模块，基于规则的方式建立的对话问答使得该模块只能根据自然语言理解子模块提取到的意图和实体回复设定好的问题，对于设定之外的问题，系统无法做出有效的回复，对用户进行相应的指引，而此类问题又是不同角色的用户在使用门禁系统时经常会出现的，如外卖人员等系统中无预约的访客。因此，基于规则的语音交互模块通常只适用于用户和场景比较确定的交流场景，无法满足多角色用户的需求。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种基于人脸识别和语音交互的通行设备控制方法、装置、机器可读介质及设备，用于解决现有技术存在的问题。为实现上述目的及其他相关目的，本专利技术提供一种基于人脸识别和语音交互的通行设备控制方法，包括：对通行设备采集的目标对象的人脸图片进行人脸识别，并根据人脸识别结果生成相应的行为类别；在所述行为类别为不通过时，控制通行设备与所述目标对象进行多轮语音交互；根据语音交互结果控制通行设备开启或保持关闭。可选地，在通行设备与所述目标对象进行多轮语音交互时，根据不同的人脸识别结果进行不同内容的语音交互。可选地，所述人脸识别结果包括目标对象与人脸底库中人脸图片的人脸相似度。可选地，所述通行设备具有一预先训练好的信息处理模型，所述信息处理模型用于对通行设备采集的目标对象的人脸图片进行人脸识别，并根据人脸识别结果生成相应的行为类别，以及用于在通行设备与所述目标对象进行多轮语音交互的过程中对语音信息进行处理并输出语音结果。可选地，在通行设备与所述目标对象进行多轮语音交互的过程中对语音信息进行处理的方法包括：识别目标对象的语音信号，并将所述语音信号转换成文本；对所述文本进行自然语言理解；根据自然语言理解结果生成回复文本；将所述回复文本转换成语音结果并输出。可选地，通过循环嵌入式对话策略REDP根据自然语言理解结果生成回复文本。可选地，通过RNN、Attention-based算法完成对目标对象的语音信号的识别。可选地，通过Bert、RNN算法对所述文本进行自然语言理解。为实现上述目的及其他相关目的，本专利技术提供一种基于人脸识别和语音交互的通行设备控制装置，包括：人脸识别模块，用于对通行设备采集的目标对象的人脸图片进行人脸识别，并根据人脸识别结果生成相应的行为类别；第一控制模块，用于在所述行为类别为不通过时，控制通行设备与所述目标对象进行多轮语音交互；第二控制模块，用于根据语音交互结果控制通行设备开启或保持关闭。可选地，在通行设备与所述目标对象进行多轮语音交互时，根据不同的人脸识别结果进行不同内容的语音交互。可选地，所述人脸识别结果包括目标对象与人脸底库中人脸图片的人脸相似度。可选地，所述通行设备具有一预先训练好的信息处理模型，所述信息处理模型用于对通行设备采集的目标对象的人脸图片进行人脸识别，并根据人脸识别结果生成相应的行为类别，以及用于在通行设备与所述目标对象进行多轮语音交互的过程中对语音信息进行处理并输出语音结果。可选地，在通行设备与所述目标对象进行多轮语音交互的过程中对语音信息进行处理的方法包括：识别目标对象的语音信号，并将所述语音信号转换成文本；对所述文本进行自然语言理解；根据自然语言理解结果生成回复文本；将所述回复文本转换成语音结果并输出。可选地，通过循环嵌入式对话策略REDP根据自然语言理解结果生成回复文本。为实现上述目的及其他相关目的，本专利技术还提供一种控制设备，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行前述的一个或多个所述的方法。为实现上述目的及其他相关目的，本专利技术还提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行前述的一个或多个所述的方法。如上所述，本专利技术提供的一种基于人脸识别和语音交互的通行设备控制方法、装置、机器可读介质及设备，具有以下有益效果：本专利技术的一种基于人脸识别和语音交互的通行设备控制方法，包括：对通行设备采集的目标对象的人脸图片进行人脸识别，并根据人脸识别结果生成相应的行为类别；在所述行为类别为不通过时，控制通行设备与所述目标对象进行多轮语音交互；根据语音交互结果控制通行设备开启或保持关闭。本专利技术能够对人脸识别结果的不同情况进行处理和分类，如在强光照背景下导致的识别结果模糊等情况，根据判定结果，系统进一步采用语音问答的方式与用户进行交互，以确认用户身份，从而作出进一步的判断和决定。附图说明图1为本专利技术一实施例一种基于人脸识别和语音交互的通行设备控制方法的流程图；图2为本专利技术一实施例对语音信息进行处理的方法流程图；图3为本专利技术一实施例一种基于人脸识别和语音交互的通行设备控制装置的硬件结构示意图；图4为本专利技术一实施例中终端设备的硬件结构示意图；图5为本专利技术一实施例中终端设备的硬件结构示意图。具体实施方式以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，遂图式中仅显示与本专利技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。如图1所示，本实施例提供一种基于人脸识别和语音交互的通行设备控制方法，包括：S11对通行设备采集的目标对象的人脸图本文档来自技高网...

【技术保护点】
1.一种基于人脸识别和语音交互的通行设备控制方法，其特征在于，包括：/n对通行设备采集的目标对象的人脸图片进行人脸识别，并根据人脸识别结果生成相应的行为类别；/n在所述行为类别为不通过时，控制通行设备与所述目标对象进行多轮语音交互；/n根据语音交互结果控制通行设备开启或保持关闭。/n

【技术特征摘要】
1.一种基于人脸识别和语音交互的通行设备控制方法，其特征在于，包括：
对通行设备采集的目标对象的人脸图片进行人脸识别，并根据人脸识别结果生成相应的行为类别；
在所述行为类别为不通过时，控制通行设备与所述目标对象进行多轮语音交互；
根据语音交互结果控制通行设备开启或保持关闭。


2.根据权利要求1所述的基于人脸识别和语音交互的通行设备控制方法，其特征在于，在通行设备与所述目标对象进行多轮语音交互时，根据不同的人脸识别结果进行不同内容的语音交互。


3.根据权利要求2所述的基于人脸识别和语音交互的通行设备控制方法，其特征在于，所述人脸识别结果包括目标对象与人脸底库中人脸图片的人脸相似度。


4.根据权利要求1所述的基于人脸识别和语音交互的通行设备控制方法，其特征在于，所述通行设备具有一预先训练好的信息处理模型，所述信息处理模型用于对通行设备采集的目标对象的人脸图片进行人脸识别，并根据人脸识别结果生成相应的行为类别，以及用于在通行设备与所述目标对象进行多轮语音交互的过程中对语音信息进行处理并输出语音结果。


5.根据权利要求1或4所述的基于人脸识别和语音交互的通行设备控制方法，其特征在于，在通行设备与所述目标对象进行多轮语音交互的过程中对语音信息进行处理的方法包括：识别目标对象的语音信号，并将所述语音信号转换成文本；
对所述文本进行自然语言理解；
根据自然语言理解结果生成回复文本；
将所述回复文本转换成语音结果并输出。


6.根据权利要求5所述的基于人脸识别和语音交互的通行设备控制方法，其特征在于，通过循环嵌入式对话策略REDP根据自然语言理解结果生成回复文本。


7.根据权利要求5所述的基于人脸识别和语音交互的通行设备控制方法，其特征在于，通过RNN、Attention-based算法完成对目标对象的语音信号的识别。


8.根据权利要求5所述的基于人脸识别和语音交互的通行设备控制方法，其特征在于，通过Bert、RNN算法对所述文本进行自然语言理解。


9.一种基于人脸识别和语音交互的通行设备控制装置...

【专利技术属性】
技术研发人员：吴蓉蓉，杨球松，苏磊，
申请(专利权)人：广州云从鼎望科技有限公司，
类型：发明
国别省市：广东;44