一种冰箱的智能化图像数据采集处理方法技术

本发明专利技术公开了一种冰箱的智能化图像数据采集处理方法，包括：图像数据的获取，以预设的触发条件控制摄像设备采集图像数据并进行发送；物体的识别，用增强的YOLOv4

【技术实现步骤摘要】
一种冰箱的智能化图像数据采集处理方法


[0001]本专利技术涉及一种智能冰箱控制系统。

技术介绍

[0002]冰箱，是保持恒定低温的一种制冷设备，也是一种使食物或其他物品保持恒定低温状态的民用产品。箱体内有压缩机、制冰机用以结冰的柜或箱，带有制冷装置的储藏箱。家用电冰箱的容积通常为20～500升。
[0003]1910年世界上第一台压缩式制冷的家用电冰箱在美国问世。1925年瑞典丽都公司开发了家用吸收式冰箱。1927年美国通用电气公司研制出全封闭式冰箱。1930年采用不同加热方式的空气冷却连续扩散吸收式电冰箱投放市场。1931年研制成功新型制冷剂氟利昂12。50年代后半期开始生产家用热电冰箱，中国从50年代开始生产电冰箱。
[0004]所谓智能冰箱，就是能对冰箱进行智能化控制、对食品进行智能化管理的冰箱类型。具体点说，就是能自动进行冰箱模式调换，始终让食物保持最佳存储状态，可让用户通过手机或电脑，随时随地了解冰箱里食物的数量、保鲜保质信息，可为用户提供健康食谱和营养禁忌，可提醒用户定时补充食品等。
[0005]传统的冰箱并无视觉识别食物的功能，目前智能冰箱也少有此功能并且价格偏贵，而且买了一款智能冰箱后，其功能固定，体积大，若用户想升级或更换，操作非常困难且成本高。
[0006]由上述可以看出，传统冰箱无法直接升级到智能冰箱的其中一个原因，在于视觉识别食物这一智能化功能的实现，更具体的说，是传统的冰箱上缺少智能摄像设备这一组件，而智能冰箱上具有摄像设备，因此，智能冰箱能够通过摄像设备进行食物图像的采集，并通过对应的软件程序系统实现智能化控制，而传统的冰箱由于缺少智能摄像设备，即是在外部安装一个摄像设备，也缺少其内部的智能化控制手段，无法进行智能化的图像数据采集和处理。

技术实现思路

[0007]针对现有技术中的不足，本专利技术的目的是提供一种能够应用于外置摄像设备，实现其内部的智能化控制，使其具备智能化图像数据采集和处理功能的冰箱的智能化图像数据采集处理方法。
[0008]本专利技术解决其技术问题所采用的技术方案是：
[0009]一种冰箱的智能化图像数据采集处理方法，包括：
[0010]图像数据的获取，以预设的触发条件控制摄像设备采集图像数据并进行发送；
[0011]物体的识别，用改进的YOLOv4
‑
tiny模型对图像进行检测，提取检测到的目标物体，进行类别归类，构成关系分层图和匹配权值矩阵，经过物体识别网络和匹配权值矩阵去确认物体的类别和物体；
[0012]动作的识别，基于图像数据，构建无交集且随着时间覆盖而消亡的时空图，基于时
空图进行动作轨迹的追踪；
[0013]虚拟服务器的调度，基于图像数据的获取状态、物体的识别状态，以及动作的识别状态，调度虚拟服务器拉取并处理图像数据。
[0014]进一步的，在进行图像数据的获取时，控制摄像设备进行联网操作，并以预设的时间周期进行心跳检测操作和空间容量检测操作，其中，
[0015]联网操作的方法为：在摄像设备开机时，进行初始化判定，判断该摄像设备是否为新出厂机器，若是新出厂则将tf卡内设置读取并初始化摄像设备，将初始化数据包括UID、软件版本与设置存入flash内；联网判定的方法为：尝试通过wifi列表文件的AP名与对应密码联网，若能联网则判断此摄像设备的状态，若是AP模式则开启wifi热点，若是蓝牙模式则转到开启蓝牙，若是wifi direct模式则开启wifi直连，不能联网则判断wifi密码与AP名的获取方式，并发出联网失败的语音提示；
[0016]心跳检测操作的方法为：每隔一段预设时间，开启线程发送包到服务器，当服务器返回接收成功的信息，则返回主程序操作，结束线程，若在一定时间内未收到信息则判断联网状态，有信息错误返回则是服务器问题，返回主程序操作，结束线程，若完全无信息返回则判定为无法联网，则进入联网操作，并结束线程；
[0017]空间容量检测操作的方法为：每隔一段预设时间，读取tf卡剩余空间大小，若剩余空间大于预设值则不做任何动作，若剩余空间小于预设值则按时间节点删除最早的视频，直到剩余空间大于预设值，结束线程。
[0018]进一步的，摄像设备采集图像数据的方法为：在收到PIR、摄像设备动作捕捉、麦克风声音捕捉的报警事件后，开启事件记录线程，将该事件类型记录到事件列表文件内并创建该事件的录像文件，让摄像设备开始录像并保存到tf卡内；事件开始和结束都会发送事件报警给服务器，并返回发送回应信息，并判断是否成功，若不成功则储存在未发送事件列表中，等待一段时间后再发送，若发送成功并事件结束，则跳到主程序操作，结束线程。
[0019]进一步的，YOLOv4
‑
tiny模型的训练方法为：采集相关数据集，对采集的数据集使用图像标注工具对目标物体数据集的图像进行标定，并对采集的数据集进行数据增强，选择YOLOv4训练策略对YOLOv4
‑
tiny模型进行训练；其中，
[0020]相关数据集的采集方法为：通过多个相同或不同的视频源，在不同场景，不同时间下采集包含目标物体的视频；
[0021]对目标物体数据集的图像进行标定的方法为：使用LabelImg工具对目标物体数据集的图像进行标定，并划分训练集、测试集、验证集。
[0022]进一步的，在训练前，对YOLOv4
‑
tiny模型中的网络进行改进，对CSPDarknet53
‑
tiny的CSPBlock模块进行修改，减少其计算量，在YOLOv4
‑
tiny模型的底部添加SPP的改造体SPP MAX Mode，把原侦测处理头部的卷积替换成Detect Block。
[0023]进一步的，YOLOv4的训练策略包括余弦退火和多尺度训练。
[0024]进一步的，时空图的构建方法为：构建深度学习目标检测网络，将图片序列集输入到检测网络中，获得检测框集，并将检测框集转化为时空图，其中，
[0025]获得的检测框集为：图像经过检测网络获得物体检测框和人体检测框；
[0026]把检测框集转化成时空图的方法为：排序、过滤和对比，该时空图为多目标时空图，该多目标时空图包括物体时空图和人体时空图，将物体时空图和人体时空图进行人体
关联处理，将人体时空图的面积和物体时空图的面积进行交并集比，过滤不符合需求条件的物体时空图。
[0027]进一步的，基于时空图进行动作轨迹的追踪方法为：获取图片、设备ID号、图像时间戳，并结合时空图，进行轨迹生成和轨迹数组对比，通过时空图和轨迹数组的信息对轨迹数组进行更新，确认动作，根据时间戳对轨迹数组进行接力更新，让轨迹数组保持动态性；其中，
[0028]进行轨迹生成和轨迹数组对比的方法为：将时空图、图片、设备ID号、图像时间戳和该设备的轨迹数组进行交叉比对，以获得在该设备中属于该类别的轨迹，在比对的结果选取各自代表的帧信息，以当前时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种冰箱的智能化图像数据采集处理方法，其特征在于，包括：图像数据的获取，以预设的触发条件控制摄像设备采集图像数据并进行发送；物体的识别，用增强的YOLOv4
‑
tiny模型对图像进行检测，提取检测到的目标物体，进行类别归类，基于图像数据，构建匹配权值矩阵，提取物体特征结合匹配权值矩阵去确认物体的类别和物体；动作的识别，基于图像数据，构建无交集且随着时间覆盖而消亡的时空图，基于时空图进行动作轨迹的追踪；虚拟服务器的调度，基于图像数据的获取状态、物体的识别状态，以及动作的识别状态，调度虚拟服务器拉取并处理图像数据。2.如权利要求1所述的一种冰箱的智能化图像数据采集处理方法，其特征在于：在进行图像数据的获取时，控制摄像设备进行联网操作，并以预设的时间周期进行心跳检测操作和空间容量检测操作，其中，联网操作的方法为：在摄像设备开机时，进行初始化判定，判断该摄像设备是否为新出厂机器，若是新出厂则将tf卡内设置读取并初始化摄像设备，将初始化数据包括UID、软件版本与设置存入flash内；联网判定的方法为：尝试通过wifi列表文件的AP名与对应密码联网，若能联网则判断此摄像设备的状态，若是AP模式则开启wifi热点，若是蓝牙模式则转到开启蓝牙，若是wifi direct模式则开启wifi直连，不能联网则判断wifi密码与AP名的获取方式，并发出联网失败的语音提示；心跳检测操作的方法为：每隔一段预设时间，开启线程发送包到服务器，当服务器返回接收成功的信息，则返回主程序操作，结束线程，若在一定时间内未收到信息则判断联网状态，有信息错误返回则是服务器问题，返回主程序操作，结束线程，若完全无信息返回则判定为无法联网，则进入联网操作，并结束线程；空间容量检测操作的方法为：每隔一段预设时间，读取tf卡剩余空间大小，若剩余空间大于预设值则不做任何动作，若剩余空间小于预设值则按时间节点删除最早的视频，直到剩余空间大于预设值，结束线程。3.如权利要求2所述的一种冰箱的智能化图像数据采集处理方法，其特征在于：摄像设备采集图像数据的方法为：在收到PIR、摄像设备动作捕捉、麦克风声音捕捉的报警事件后，开启事件记录线程，将该事件类型记录到事件列表文件内并创建该事件的录像文件，让摄像设备开始录像并保存到tf卡内；事件开始和结束都会发送事件报警给服务器，并返回发送回应信息，并判断是否成功，若不成功则储存在未发送事件列表中，等待一段时间后再发送，若发送成功并事件结束，则跳到主程序操作，结束线程。4.如权利要求1所述的一种冰箱的智能化图像数据采集处理方法，其特征在于，YOLOv4
‑
tiny模型的训练方法为：采集相关数据集，对采集的数据集使用图像标注工具对目标物体数据集的图像进行标定，并对采集的数据集进行数据增强，选择YOLOv4训练策略对YOLOv4
‑
tiny模型进行训练；其中，相关数据集的采集方法为：通过多个相同或不同的视频源，在不同场景，不同时间下采集包含目标物体的视频；对目标物体数据集的图像进行标定的方法为：使用LabelImg工具对目标物体数据集的图像进行标定，并划分训练集、测试集、验证集。
5.如权利要求4所述的一种冰箱的智能化图像数据采集处理方法，其特征在于，在训练前，对YOLOv4
‑

【专利技术属性】
技术研发人员：张元本，卢伟昌，廖丽曼，
申请(专利权)人：广州微林软件有限公司，
类型：发明
国别省市：