采用智能音箱进行监控的方法及装置制造方法及图纸

本发明专利技术提出采用智能音箱进行监控的方法及装置。方法包括：对于监控环境中可能出现的每类声音，根据该类声音的声源在监控环境中相对智能音箱的所有可能位置，采用智能音箱分别采集每个可能位置上该类声音的声源发出的声音信号；从声音信号中提取声音的声学特征和声源的方位特征；将声学特征和方位特征输入到训练模型中进行训练，得到用于识别声音类型和声源方位的声音识别模型；采用智能音箱实时采集监控环境中的声音信号，从声音信号中实时提取声音的声学特征和声源的方位特征，将提取的声学特征和方位特征实时输入到声音识别模型；根据声音识别模型输出的声音的类型和声源的方位，确定监控场景是否发生异常。本发明专利技术提高了监控效率。

【技术实现步骤摘要】
采用智能音箱进行监控的方法及装置
本专利技术涉及监控
尤其涉及采用智能音箱进行监控的方法及装置。
技术介绍
智能音箱的保有量正在逐年提高，预计2018年智能音箱的整体市场将达到5,630亿台。目前智能音箱的主要功能是：智能家居中控、语音购物、手机充值、叫外卖、音频音乐播放等。目前室内监控方式主要依靠摄像头或者传感器达到监控的目的。这种方式的缺点如下：一、无法自动感知异常，监控效率低；二、基于摄像头拍摄的图像感知异常的室内监控方式会暴露目标场所的图像，不能很好地保护用户隐私；三、基于传感器感知异常的室内监控方式需要用户安装对应的传感器。
技术实现思路
本专利技术提供采用智能音箱进行监控的方法及装置，以提高监控效率。本专利技术的技术方案是这样实现的：一种采用智能音箱进行监控的方法，该方法包括：对于监控环境中可能出现的每类声音，根据该类声音的声源在监控环境中相对智能音箱的所有可能位置，采用智能音箱分别采集每个可能位置上该类声音的声源发出的声音信号；对于采集的每类声音在每个可能位置上的声音信号，从该声音信号中分别提取声音的声学特征和声源的方位特征；将采集的所有类别的所有声音信号的声学特征和方位特征输入到预设的训练模型中进行训练，得到用于识别声音类型和声源方位的声音识别模型；采用智能音箱实时采集监控环境中的声音信号，从采集的声音信号中实时提取声音的声学特征和声源的方位特征，将提取的声学特征和方位特征实时输入到声音识别模型；根据声音识别模型输出的声音的类型和声源的方位，确定监控场景是否发生异常。所述声音的声学特征包括：短时幅值过零率、短时平均能量和梅尔频率倒谱系数MFCC；或者包括：短时幅值过零率、短时平均能量和MFCC，以及如下之一或任意组合：小波包分解系数、基音子带能量、幅值或功率、邻界带特征矢量、线性预测编码倒谱系数LPCC。所述声源的方位特征包括：耳间时间差ITD和耳间强度差IID；或者包括：ITD和IID，以及如下之一或组合：耳间相对衰减ILD、耳间相位差IPD。所述采用智能音箱实时采集监控环境中的声音信号之后、从采集的声音信号中实时提取声音的声学特征和声源的方位特征之前进一步包括：判断采集的声音信号的频率是否大于预设频率阈值，若大于，则执行所述从采集的声音信号中实时提取声音的声学特征和声源的方位特征的动作；若不大于，则丢弃采集的声音信号。所述训练模型为深度神经网络或者长短期记忆神经网络模型。所述监控场景为室内场景，且所述监控场景中的声音类型包括如下之一或任意组合：雨声、水龙头流水声、开门声、喷嚏声、咳嗽声、报警声；且，预先确定室内场景中各个区域相对智能音箱的位置范围；所述根据声音识别模型输出的声音的类型和声源的方位，确定监控场景是否发生异常包括：根据声音识别模型输出的声源的方位，以及室内场景中各个区域相对智能音箱的位置范围，确定声源所在的室内场景中的区域，根据声音的类型判断是否需要对该区域内的设备设施进行控制，若需要，则向对应设备设施的控制装置发送相应的控制指令。所述根据声音的类型判断是否需要对该区域内的设备设施进行控制包括：若声音的类型为雨声，则判断该区域内的窗户是否关闭，若未关闭，则向该窗户的控制装置发送关闭指令；或者包括：若声音的类型为水龙头流水声，则向该区域内的水龙头的控制装置发送关闭指令；或者包括：若声音的类型为开门声，且根据声源的方位确定来自于入户门，则根据预设的用户回家时间范围，判断当前时间是否用户回家时间，若否，则确定发生异常开门，开启录音或/和监控摄像头；或者包括：若声音的类型为喷嚏声，则判断该区域的温度是否低于预设舒适温度，若低于，判断空调是否开启，若开启，则询问用户是否升高空调温度，若未开启，则询问用户是否开启空调，并根据用户反馈向空调的控制装置发送相应控制指令；或者包括：若声音类型为咳嗽声，则判断该区域的空气质量是否低于预设标准，若低于，则询问用户是否需要开启空气净化器；或者包括：若声音的类型为报警声，则判断该区域是否有电器设备，若有，则向用户发送针对该电器设备的报警信息。一种采用智能音箱进行监控的装置，该装置包括：声音采集模块，用于采用智能音箱实时采集监控环境中的声音信号，从采集的声音信号中实时提取声音的声学特征和声源的方位特征，将提取的声学特征和方位特征实时输入到声音识别模型；声音识别模块，用于根据声音识别模型对输入的声学特征和方位特征进行计算，输出识别结果：声音的类型和声源的方位；其中，声音识别模型通过如下方式得到：对于监控环境中可能出现的每类声音，根据该类声音的声源在监控环境中相对智能音箱的所有可能位置，采用智能音箱分别采集每个可能位置上该类声音的声源发出的声音信号，对于采集的每类声音在每个可能位置上的声音信号，从该声音信号中分别提取声音的声学特征和声源的方位特征，将采集的所有类别的所有声音信号的声学特征和方位特征输入到预设的训练模型中进行训练，得到用于识别声音类型和声源方位的声音识别模型；异常判断模块，用于根据声音识别模块的输出结果，确定监控场景是否发生异常。所述监控场景为室内场景，且所述监控场景中的声音类型包括如下之一或任意组合：雨声、水龙头流水声、开门声、喷嚏声、咳嗽声、报警声；且，所述异常判断模块进一步用于，预先确定室内场景中各个区域相对智能音箱的位置范围；且，根据声音识别模型输出的声源的方位，以及室内场景中各个区域相对智能音箱的位置范围，确定声源所在的室内场景中的区域，根据声音的类型判断是否需要对该区域内的设备设施进行控制，若需要，则向对应设备设施的控制装置发送相应的控制指令。所述异常判断模块根据声音的类型判断是否需要对该区域内的设备设施进行控制包括：若声音的类型为雨声，则判断该区域内的窗户是否关闭，若未关闭，则向该窗户的控制装置发送关闭指令；或者包括：若声音的类型为水龙头流水声，则向该区域内的水龙头的控制装置发送关闭指令；或者包括：若声音的类型为开门声，且根据声源的方位确定来自于入户门，则根据预设的用户回家时间范围，判断当前时间是否用户回家时间，若否，则确定发生异常开门，开启录音或/和监控摄像头；或者包括：若声音的类型为喷嚏声，则判断该区域的温度是否低于预设舒适温度，若低于，判断空调是否开启，若开启，则询问用户是否升高空调温度，若未开启，则询问用户是否开启空调，并根据用户反馈向空调的控制装置发送相应控制指令；或者包括：若声音类型为咳嗽声，则判断该区域的空气质量是否低于预设标准，若低于，则询问用户是否需要开启空气净化器；或者包括：若声音的类型为报警声，则判断该区域是否有电器设备，若有，则向用户发送针对该电器设备的报警信息。本专利技术能够自动识别出环境音的类型和方位，提高了监控效率。附图说明图1为本专利技术一实施例提供的采用智能音箱进行监控的方法流程图；图2为本专利技术实施例提供的得到声音识别模型的方法流程图；图3为声源方位表示示意图；图4为本专利技术实施例提供的利用声音识别模型进行监控的方法流程图；图5为本专利技术实施例提供的采用智能音箱进行监控的装置的结构示意图。具体实施方式下面结合附图及具体实施例对本专利技术再作进一步详细的说明。图1为本专利技术一实施例提供的采用智能音箱进行监控的方法流程图，其具体步骤如下：步骤101：对于监控环境中可能出现的每类声音，根据该类声音的声源在监控本文档来自技高网...

【技术保护点】
1.一种采用智能音箱进行监控的方法，其特征在于，该方法包括：对于监控环境中可能出现的每类声音，根据该类声音的声源在监控环境中相对智能音箱的所有可能位置，采用智能音箱分别采集每个可能位置上该类声音的声源发出的声音信号；对于采集的每类声音在每个可能位置上的声音信号，从该声音信号中分别提取声音的声学特征和声源的方位特征；将采集的所有类别的所有声音信号的声学特征和方位特征输入到预设的训练模型中进行训练，得到用于识别声音类型和声源方位的声音识别模型；采用智能音箱实时采集监控环境中的声音信号，从采集的声音信号中实时提取声音的声学特征和声源的方位特征，将提取的声学特征和方位特征实时输入到声音识别模型；根据声音识别模型输出的声音的类型和声源的方位，确定监控场景是否发生异常。

【技术特征摘要】
1.一种采用智能音箱进行监控的方法，其特征在于，该方法包括：对于监控环境中可能出现的每类声音，根据该类声音的声源在监控环境中相对智能音箱的所有可能位置，采用智能音箱分别采集每个可能位置上该类声音的声源发出的声音信号；对于采集的每类声音在每个可能位置上的声音信号，从该声音信号中分别提取声音的声学特征和声源的方位特征；将采集的所有类别的所有声音信号的声学特征和方位特征输入到预设的训练模型中进行训练，得到用于识别声音类型和声源方位的声音识别模型；采用智能音箱实时采集监控环境中的声音信号，从采集的声音信号中实时提取声音的声学特征和声源的方位特征，将提取的声学特征和方位特征实时输入到声音识别模型；根据声音识别模型输出的声音的类型和声源的方位，确定监控场景是否发生异常。2.根据权利要求1所述的方法，其特征在于，所述声音的声学特征包括：短时幅值过零率、短时平均能量和梅尔频率倒谱系数MFCC；或者包括：短时幅值过零率、短时平均能量和MFCC，以及如下之一或任意组合：小波包分解系数、基音子带能量、幅值或功率、邻界带特征矢量、线性预测编码倒谱系数LPCC。3.根据权利要求1所述的方法，其特征在于，所述声源的方位特征包括：耳间时间差ITD和耳间强度差IID；或者包括：ITD和IID，以及如下之一或组合：耳间相对衰减ILD、耳间相位差IPD。4.根据权利要求1所述的方法，其特征在于，所述采用智能音箱实时采集监控环境中的声音信号之后、从采集的声音信号中实时提取声音的声学特征和声源的方位特征之前进一步包括：判断采集的声音信号的频率是否大于预设频率阈值，若大于，则执行所述从采集的声音信号中实时提取声音的声学特征和声源的方位特征的动作；若不大于，则丢弃采集的声音信号。5.根据权利要求1所述的方法，其特征在于，所述训练模型为深度神经网络或者长短期记忆神经网络模型。6.根据权利要求1所述的方法，其特征在于，所述监控场景为室内场景，且所述监控场景中的声音类型包括如下之一或任意组合：雨声、水龙头流水声、开门声、喷嚏声、咳嗽声、报警声；且，预先确定室内场景中各个区域相对智能音箱的位置范围；所述根据声音识别模型输出的声音的类型和声源的方位，确定监控场景是否发生异常包括：根据声音识别模型输出的声源的方位，以及室内场景中各个区域相对智能音箱的位置范围，确定声源所在的室内场景中的区域，根据声音的类型判断是否需要对该区域内的设备设施进行控制，若需要，则向对应设备设施的控制装置发送相应的控制指令。7.根据权利要求6所述的方法，其特征在于，所述根据声音的类型判断是否需要对该区域内的设备设施进行控制包括：若声音的类型为雨声，则判断该区域内的窗户是否关闭，若未关闭，则向该窗户的控制装置发送关闭指令；或者包括：若声音的类型为水龙头流水声，则向该区域内的水龙头的控制装置发送关闭指令；或者包括：若声音的类型为开门声，且根据声源的方位确定来自于入户门，则根据预设的用户回家时间范围，判断当前时间是否用户回家时间，若否，则确定发生异常开门，开启录音或/和监控摄像头；或者包括：若声音的类型为喷嚏声，则判断该区域的温度...

【专利技术属性】
技术研发人员：王壮，杨建军，
申请(专利权)人：三星电子中国研发中心，三星电子株式会社，
类型：发明
国别省市：江苏,32