一种实时视频家居环境设备识别交互的远程智能家居控制方法技术

本发明专利技术公开了一种实时视频家居环境设备识别交互的远程智能家居控制方法，该方法包括：S1、使用网络摄像头，采集家居环境中的多角度图像，并对图像做预处理；S2、使用在线设备形状分类器，将预处理的图像与该分类器中的模型进行匹配，对家居环境中存在的设备信息做初定位，提取初定位区域图像，作为设备识别分类器的输入；S3、调用在线设备分类器模型，使用深度学习匹配算法，对该图像进行识别；S4、根据识别出的设备类别，调用预学习的遥控码，对该设备进行远程控制；S5、对电器设备的远程控制结果通过实时视频反馈到控制端。本发明专利技术可以精确识别家居场景，并实时进行控制，快速实现个性化家居环境场景的定制识别及远程控制。

A remote intelligent home control method of real-time video home environment equipment identification and interaction

【技术实现步骤摘要】
一种实时视频家居环境设备识别交互的远程智能家居控制方法
本专利技术涉及智能家居中的远程视频识别及交互控制和视频模式识别算法
，尤其涉及一种实时视频家居环境设备识别交互的远程智能家居控制方法。
技术介绍
随着移动网络和智能家居技术的应用，在网络环境下，实现远程家居设备的操作成为目前的一个研究热点。基于无线网络智能家居和计算机视觉识别的控制在智能家居、远程交互、助残护理等领域中有较为广泛的应用。
技术实现思路
本专利技术要解决的技术问题在于针对现有技术中的缺陷，提供一种实时视频家居环境设备识别交互的远程智能家居控制方法。本专利技术解决其技术问题所采用的技术方案是：本专利技术提供一种实时视频家居环境设备识别交互的远程智能家居控制方法，实现在家居环境场景中，使用网络摄像机对家居环境中的电器、设备进行识别，并根据识别结果开启对应设备的控制界面，进行设备电器的远程控制，同时在实时视频中进行控制结果的反馈，该方法包括以下步骤：S1、使用基于WIFI网络的网络摄像头，监控家居场景，采集家居环境中的多角度图像，并对图像做预处理，包括：灰度化、二值化、边缘化操作；S2、使用在线设备形状分类器，将预处理的图像与该分类器中的模型进行匹配，对家居环境中存在的设备信息做初定位，提取初定位区域图像，作为设备识别分类器的输入；S3、对提取的初定位区域图像，调用在线设备分类器模型，使用深度学习匹配算法，对该图像进行识别；S4、深度学习匹配算法实时识别出家居环境中的电器设备，根据识别出的设备类别，调用预学习的遥控码，对该设备进行远程控制；S5、对电器设备的远程控制结果通过实时视频反馈到控制端，获取电器设备的实时状态值，并远程调整摄像头运动，获取多角度图像，完成控制过程。进一步地，本专利技术的步骤S1的具体方法为：S11、在提取的视频图像上，进行图像的形状处理，首先对图像做边缘检测，提取连续边缘；S12、在连续边缘区域提取设备的轮廓，标识开轮廓区域的角点，利用角点位置做几何校正，获取该设备的规范图。进一步地，本专利技术的步骤S2的具体方法为：S21、分类器学习：在分类器学习的预处理阶段，使用多种设备样本作为训练分类器输入，进行分类器学习，分类器学习阶段使用多特征对输入样本进行分解，在分割的初定位图像中，存在误检和错检，为避免错漏，将该初定位图像输入到形状分类器；该分类器使用在线学习获取，具体的获取方法是：在初始化阶段，将预拍摄的已知设备的图像形状处理结果存储为匹配模板，该模板包含多设备的多角度结果；S22、实时获取的待识别的形状，输入到该形状分类器中，对该形状进行分类器识别，将识别的最大概率结果作为预判设备；S23、在该形状边缘区域进行扩展10％像素点，获取的轮廓区域作为设备分类器识别的输入图像。进一步地，本专利技术的步骤S3的具体方法为：S31、对输入的设备图像做多特征提取，包括边缘、角点、文字及图标特征关键值；S32、将多特征进行归一化处理，构建特征向量多维矩阵；S33、该多维矩阵输入到设备识别分类器中与模板进行模式匹配，输出识别结果作为最终的判定结果。进一步地，本专利技术的步骤S4的具体方法为：S41、标记识别出的电器设备的识别结果，在远程控制数据库中调用该设备的控制参数；S42、通过视频传输控制参数，作为远程控制触发代码；S43、通过IP网络将控制结果图像压制为字节码流，传输到远程控制端，作为控制结果反馈。进一步地，本专利技术的步骤S5的具体方法为：S51、远程网络摄像头的云台控制，包含角度调整、聚焦调整，在云台图像中对画面图像进行特征提取，并将提取的特征传入识别硬件，该硬件设备集成在云台中；S52、该网络摄像头实现在线的图像设备轮廓提取和模式匹配过程，算法集成在设备中，不需要远程服务器参与；S53、远程通过IP协议，传输远程控制代码，该代码为在线学习获取，存储在IP摄像机存储内；S54、远程控制界面由网络摄像头内部算法实时生成，并进行控制代码映射，实现远程遥控。本专利技术产生的有益效果是：本专利技术的实时视频家居环境设备识别交互的远程智能家居控制方法，能够在家居环境下，通过视频摄像头对家电设备进行智能识别，并弹出响应的控制界面实现对设备的远程控制。该专利技术针对家居环境的智能识别和控制，特别适合家中有独居老人或行动不便者，可以使用无线视频进行远程无线控制，提高家居的智能控制水平和自理能力。在残障患者助残辅具的智能控制等领域具有广泛的应用前景，可以获得较好的社会效益。附图说明下面将结合附图及实施例对本专利技术作进一步说明，附图中：图1是本专利技术实施例的算法整体流程图；图2是本专利技术实施例的家居设备识别算法的流程图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。本专利技术实施例的实时视频家居环境设备识别交互的远程智能家居控制方法，实现在家居环境场景中，使用网络摄像机对家居环境中的电器、设备进行识别，并根据识别结果开启对应设备的控制界面，进行设备电器的远程控制，同时在实时视频中进行控制结果的反馈，该方法包括以下步骤：S1、使用基于WIFI网络的网络摄像头，监控家居场景，采集家居环境中的多角度图像，并对图像做预处理，包括：灰度化、二值化、边缘化操作；S11、在提取的视频图像上，进行图像的形状处理，首先对图像做边缘检测，提取连续边缘；S12、在连续边缘区域提取设备的轮廓，标识开轮廓区域的角点，利用角点位置做几何校正，获取该设备的规范图。S2、使用在线设备形状分类器，将预处理的图像与该分类器中的模型进行匹配，对家居环境中存在的设备信息做初定位，提取初定位区域图像，作为设备识别分类器的输入；S21、分类器学习：在分类器学习的预处理阶段，使用多种设备样本作为训练分类器输入，进行分类器学习，分类器学习阶段使用多特征对输入样本进行分解，在分割的初定位图像中，存在误检和错检，为避免错漏，将该初定位图像输入到形状分类器；该分类器使用在线学习获取，具体的获取方法是：在初始化阶段，将预拍摄的已知设备的图像形状处理结果存储为匹配模板，该模板包含多设备的多角度结果；S22、实时获取的待识别的形状，输入到该形状分类器中，对该形状进行分类器识别，将识别的最大概率结果作为预判设备；S23、在该形状边缘区域进行扩展10％像素点，获取的轮廓区域作为设备分类器识别的输入图像。S3、对提取的初定位区域图像，调用在线设备分类器模型，使用深度学习匹配算法，对该图像进行识别；S31、家居场景中的电器的识别为典型的多分类识别，使用深度神经网络，对预设的家居图像进行分类训练，考虑以下的多分类目标：其中Vi为分类器的前级识别结果，对于总类别数为c的家居场景图像分类的任务，i为各类别的索引，Si为当前的元素的分类结果值的指数与所有分类结果的和的比值；S32、使用softmax函数将多分类的输出数值转化为相对概率分布，其中概率最大的类别为识别的结果；同时考虑到指数函数的溢出问题，使用归一化方法对初步分类结果的指数数值进行以下处理：D＝max(V)S33、在家居图像分类中，令x为输入的图像，y为分类的结果，W为分类器的参数，则每一类分类的结果：S＝Wx对于每一类分类结果，有：对分类结果进行对数运算：因为本文档来自技高网...

【技术保护点】
1.一种实时视频家居环境设备识别交互的远程智能家居控制方法，其特征在于，实现在家居环境场景中，使用网络摄像机对家居环境中的电器、设备进行识别，并根据识别结果开启对应设备的控制界面，进行设备电器的远程控制，同时在实时视频中进行控制结果的反馈，该方法包括以下步骤：S1、使用基于WIFI网络的网络摄像头，监控家居场景，采集家居环境中的多角度图像，并对图像做预处理，包括：灰度化、二值化、边缘化操作；S2、使用在线设备形状分类器，将预处理的图像与该分类器中的模型进行匹配，对家居环境中存在的设备信息做初定位，提取初定位区域图像，作为设备识别分类器的输入；S3、对提取的初定位区域图像，调用在线设备分类器模型，使用深度学习匹配算法，对该图像进行识别；S4、深度学习匹配算法实时识别出家居环境中的电器设备，根据识别出的设备类别，调用预学习的遥控码，对该设备进行远程控制；S5、对电器设备的远程控制结果通过实时视频反馈到控制端，获取电器设备的实时状态值，并远程调整摄像头运动，获取多角度图像，完成控制过程。

【技术特征摘要】
1.一种实时视频家居环境设备识别交互的远程智能家居控制方法，其特征在于，实现在家居环境场景中，使用网络摄像机对家居环境中的电器、设备进行识别，并根据识别结果开启对应设备的控制界面，进行设备电器的远程控制，同时在实时视频中进行控制结果的反馈，该方法包括以下步骤：S1、使用基于WIFI网络的网络摄像头，监控家居场景，采集家居环境中的多角度图像，并对图像做预处理，包括：灰度化、二值化、边缘化操作；S2、使用在线设备形状分类器，将预处理的图像与该分类器中的模型进行匹配，对家居环境中存在的设备信息做初定位，提取初定位区域图像，作为设备识别分类器的输入；S3、对提取的初定位区域图像，调用在线设备分类器模型，使用深度学习匹配算法，对该图像进行识别；S4、深度学习匹配算法实时识别出家居环境中的电器设备，根据识别出的设备类别，调用预学习的遥控码，对该设备进行远程控制；S5、对电器设备的远程控制结果通过实时视频反馈到控制端，获取电器设备的实时状态值，并远程调整摄像头运动，获取多角度图像，完成控制过程。2.根据权利要求1所述的实时视频家居环境设备识别交互的远程智能家居控制方法，其特征在于，步骤S1的具体方法为：S11、在提取的视频图像上，进行图像的形状处理，首先对图像做边缘检测，提取连续边缘；S12、在连续边缘区域提取设备的轮廓，标识开轮廓区域的角点，利用角点位置做几何校正，获取该设备的规范图。3.根据权利要求1所述的实时视频家居环境设备识别交互的远程智能家居控制方法，其特征在于，步骤S2的具体方法为：S21、分类器学习：在分类器学习的预处理阶段，使用多种设备样本作为训练分类器输入，进行分类器学习，分类器学习阶段使用多特征对输入样本进行分解，在分割的初定位图像中，存在误检和错检，为避免错漏，将该初定位图像输入到形状分类器；该分...

【专利技术属性】
技术研发人员：徐国庆，
申请(专利权)人：武汉工程大学，
类型：发明
国别省市：湖北,42