一种基于多模态交互的分布式物联网设备协同方法及其系统技术方案

本发明专利技术公开了一种基于多模态交互的分布式物联网设备协同方法及其系统，由分布式物联网各个子设备分别通过麦克风实时采集语音信号做语音唤醒判断，在语音唤醒的设备上启动摄像头实时采集人脸图像做人脸检测，并通过网络通信发送到交互中控，交互中控根据各子设备上报的语音唤醒和人脸检测结果进行仲裁和协同，确定真正响应用户唤醒的设备并继续监听语音命令，同时清除其他子设备的唤醒信息，并对该用户语音命令进行语音实时处理后下达相对应的控制命令和语音回复内容给到该唤醒响应的物联网子设备，本发明专利技术通过分布式物联网设备和交互中控根据多模态结果进行仲裁和协同，提高了分布式物联网设备协同交互和响应的准确率。

A collaborative method and system of distributed IOT devices based on multimodal interaction

【技术实现步骤摘要】
一种基于多模态交互的分布式物联网设备协同方法及其系统
本专利技术涉及人工智能
，具体为一种基于多模态交互的分布式物联网设备协同方法及其系统。
技术介绍
随着人工智能领域技术的不断发展，语音识别和人脸检测的准确率不断得到提升，使我们日常生活中出现了很多智能语音设备。智能语音设备中内置麦克风或麦克风阵列，可以实现让用户与智能设备进行近距离或具有一定距离的远场交互，但超过该距离范围，语音交互准确率会下降或甚至无法实现。现在很多带语音交互的智能设备分布在我们的家庭环境中，如智能语音音箱放在客厅、智能台灯放在卧室等，设备间呈分布式放置，随着物联网的快速发展，多种语音智能设备实现多设备互联是一个必然的技术趋势和智慧家庭的生活需求，在该场景下需要一种分布式物联网设备协同交互的方法。现有技术中，分布式的物联网设备使用同一个唤醒词，当用户语音唤醒后，所有设备都响应了，无法判断应该由哪个设备响应用户的请求，严重影响了用户的使用体验。
技术实现思路
本专利技术的目的在于提供一种基于多模态交互的分布式物联网设备协同方法及其系统，能够降低网络延本文档来自技高网...

【技术保护点】
1.一种基于多模态交互的分布式物联网设备协同方法，其特征在于，包括以下步骤：/nS1：分布式物联网设备每个子设备本地实时采集用户的语音，做语音唤醒判断；/nS2：每个语音唤醒命中的子设备启动摄像头获取当前场景的图片，进行实时人脸检测，并计算人脸检测的结果和置信度；/nS3：在每个子设备上当判断当前场景中存在人脸时，立即向交互中控传输该子设备上的语音唤醒结果和人脸检测结果，该结果包括但不限于语音唤醒和人脸唤醒的置信度；若当判断当前场景中不存在人脸时，则清除设备自身的语音唤醒结果并不向交互中控上报语音唤醒与人脸检测结果；/nS4：交互中控根据接收到的各个子设备的语音唤醒结果和人脸检测结果，将最大语...

【技术特征摘要】
1.一种基于多模态交互的分布式物联网设备协同方法，其特征在于，包括以下步骤：
S1：分布式物联网设备每个子设备本地实时采集用户的语音，做语音唤醒判断；
S2：每个语音唤醒命中的子设备启动摄像头获取当前场景的图片，进行实时人脸检测，并计算人脸检测的结果和置信度；
S3：在每个子设备上当判断当前场景中存在人脸时，立即向交互中控传输该子设备上的语音唤醒结果和人脸检测结果，该结果包括但不限于语音唤醒和人脸唤醒的置信度；若当判断当前场景中不存在人脸时，则清除设备自身的语音唤醒结果并不向交互中控上报语音唤醒与人脸检测结果；
S4：交互中控根据接收到的各个子设备的语音唤醒结果和人脸检测结果，将最大语音唤醒得分和人脸检测置信度结果对应的子设备确定为响应用户唤醒的子设备，并通知该子设备进行响应提示，继续拾取用户语音命令，并持续将该子设备的用户语音命令向语音云端服务器发起语音处理请求，同时清除其他分布式子设备的唤醒信息；
S5：语音云端服务器实时执行语音识别、语义理解、对话管理和语音合成操作处理用户语音命令，并将响应结果返回。


2.如权利要求1所述的一种基于多模态交互的分布式物联网设备协同方法，其特征在于，S1中，分布式物联网设备表征多个智能终端，每个智能终端都有其麦克风阵列，包括但不限于线性2麦、线性4麦、线性6麦、环形4麦或非规则麦克风阵列。


3.如权利要求1所述的一种基于多模态交互的分布式物联网设备协同方法，其特征在于，S2中，人脸检测方法包括图片的预处理操作和基于MTCNN的人脸检测算法两个步骤，MTCNN在网络结...

【专利技术属性】
技术研发人员：郑敏，郑炜乔，
申请(专利权)人：深圳市华创技术有限公司，
类型：发明
国别省市：广东;44