一种对象饮用姿态预测方法、装置及电子设备制造方法及图纸

本申请提供了一种对象饮用姿态预测方法、装置及电子设备，所述方法包括步骤：获取室内饮用器皿对应的饮用器皿摆放位置数据集；根据所述饮用器皿摆放位置数据集生成饮用器皿摆放位置分类检测模型；获取对象的饮用姿态分类预测模型；获取所述对象的饮用头部姿态模型；获取所述室内所述对象的对象图像数据和多模态融合神经网络；根据所述对象图像数据和所述多模态融合神经网络训练得到饮用姿态融合模型；根据所述对象图像数据和所述饮用姿态融合模型获得预测结果。模型获得预测结果。模型获得预测结果。

【技术实现步骤摘要】
一种对象饮用姿态预测方法、装置及电子设备


[0001]本专利技术属于对象饮用姿态预测
，具体涉及一种对象饮用姿态预测方法、装置及电子设备。

技术介绍

[0002]在对对象进行监控过程中，被监控对象通常会要求喝水来缓解自身压力，但是在一些极端情况下，被监控对象可能会在喝水的同时服药而自残，这不仅会破坏监控节奏，不利于监控的后续进行，同时还可能会损害被监控对象的生命健康，无法保证后续的顺利进行。

技术实现思路

[0003]鉴于上述问题，本专利技术提供克服上述问题或者至少部分地解决上述问题的一种对象饮用姿态预测方法、装置及电子设备。
[0004]为解决上述技术问题，本专利技术提供了一种对象饮用姿态预测方法，所述方法包括步骤：
[0005]获取室内饮用器皿对应的饮用器皿摆放位置数据集；
[0006]根据所述饮用器皿摆放位置数据集生成饮用器皿摆放位置分类检测模型；
[0007]获取对象的饮用姿态分类预测模型；
[0008]获取所述对象的饮用头部姿态模型；
[0009]获取所述室内所述对象的对象图像数据和多模态融合神经网络；
[0010]根据所述对象图像数据和所述多模态融合神经网络训练得到饮用姿态融合模型；
[0011]根据所述对象图像数据和所述饮用姿态融合模型获得预测结果。
[0012]优选地，所述获取室内饮用器皿对应的饮用器皿摆放位置数据集包括步骤：
[0013]获取所述室预设角度的室内图像；
[0014]获取所述饮用器皿预设角度的器皿图像；
[0015]将所述室内图像作为背景；
[0016]将所述器皿图像作为前景；
[0017]利用所述背景和所述前景生成饮用器皿摆放位置图像；
[0018]获取所述饮用器皿摆放位置图像中的允许摆放区域和禁止摆放区域；
[0019]调整所述饮用器皿的特征并得到若干变形饮用器皿；
[0020]将所述变形饮用器皿随机放置于所述饮用器皿摆放位置图像中。
[0021]优选地，所述根据所述饮用器皿摆放位置数据集生成饮用器皿摆放位置分类检测模型包括步骤：
[0022]获取所述饮用器皿摆放位置数据集、对象预测定位模型和饮用器皿训练样本；
[0023]将所述饮用器皿摆放位置数据集转换为预设格式；
[0024]将所述饮用器皿摆放位置数据集输入所述对象预测定位模型；
[0025]所述对象预测定位模型按照预设比例输出训练集和验证集；
[0026]使用所述饮用器皿训练样本训练所述对象预测定位模型；
[0027]获取所述对象预测定位模型输出的分类结果；
[0028]判断所述分类结果是否满足所述饮用器皿训练样本预期；
[0029]若是，将训练后的所述对象预测定位模型作为所述饮用器皿摆放位置分类检测模型；
[0030]若否，使用所述训练集和所述验证集训练所述对象预测定位模型，并返回所述获取所述对象预测定位模型输出的分类结果步骤。
[0031]优选地，所述获取对象的饮用姿态分类预测模型包括步骤：
[0032]获取所述对象的上半身姿态关键点；
[0033]获取所述对象在不同姿态时对应的饮用图像；
[0034]将所述饮用图像作为饮用姿态数据集；
[0035]使用所述上半身姿态关键点标记所述饮用姿态数据集；
[0036]将所述饮用姿态数据集输入WAHR神经网络；
[0037]所述WAHR神经网络输出各所述上半身姿态关键点对应的关键点定位；
[0038]将各所述关键点定位输入分类器；
[0039]所述分类器输出各所述上半身姿态关键点对应的定位分类结果。
[0040]优选地，所述获取所述对象的饮用头部姿态模型包括步骤：
[0041]获取所述对象的二维头部图像数据和三维头部模型；
[0042]根据所述二维头部图像数据和所述三维头部模型计算人脸及头部姿态估计；
[0043]获取所述对象的饮用图像；
[0044]根据所述人脸及头部姿态估计和所述饮用图像获取所述对象的饮用头部姿态数据；
[0045]获取所述对象的饮用器皿位置数据；
[0046]根据所述饮用头部姿态数据和所述饮用器皿位置数据获取嘴部朝向和饮用器皿位置之间的关系数据；
[0047]将所述关系数据输入分类器；
[0048]所述分类器输出所述饮用头部姿态数据对应的饮用头部姿态模型。
[0049]优选地，所述根据所述对象图像数据和所述多模态融合神经网络训练得到饮用姿态融合模型包括步骤：
[0050]提取所述对象图像数据中所述饮用器皿的器皿图像、所述对象的饮用姿态图像和头部姿态图像；
[0051]计算所述器皿图像对应的第一得分矩阵；
[0052]计算所述饮用姿态图像对应的第二得分矩阵；
[0053]计算所述头部姿态图像对应的第三得分矩阵；
[0054]将所述第一得分矩阵、所述第二得分矩阵和所述第三得分矩阵输入所述多模态融合神经网络中；
[0055]使用饮用姿态数据集训练所述多模态融合神经网络；
[0056]所述多模态融合神经网络输出所述饮用姿态融合模型。
[0057]优选地，所述根据所述对象图像数据和所述饮用姿态融合模型获得预测结果包括步骤：
[0058]提取所述对象图像数据中所述饮用器皿的器皿图像、所述对象的饮用姿态图像和头部姿态图像；
[0059]计算所述器皿图像对应的第一得分矩阵；
[0060]计算所述饮用姿态图像对应的第二得分矩阵；
[0061]计算所述头部姿态图像对应的第三得分矩阵；
[0062]将所述第一得分矩阵、所述第二得分矩阵和所述第三得分矩阵输入所述饮用姿态融合模型中；
[0063]获取所述饮用姿态融合模型输出的预测结果；
[0064]判断所述预测结果是否大于预设值；
[0065]若是，保存所述对象图像数据并报警；
[0066]若否，返回提取所述对象图像数据中所述饮用器皿的器皿图像、所述对象的饮用姿态图像和头部姿态图像步骤。
[0067]本专利技术还提供了一种对象饮用姿态预测装置，所述装置包括：
[0068]饮用器皿摆放位置数据集获取模块，用于获取室内饮用器皿对应的饮用器皿摆放位置数据集；
[0069]饮用器皿摆放位置分类检测模型生成模块，用于根据所述饮用器皿摆放位置数据集生成饮用器皿摆放位置分类检测模型；
[0070]饮用姿态分类预测模型获取模块，用于获取对象的饮用姿态分类预测模型；
[0071]饮用头部姿态模型获取模块，用于获取所述对象的饮用头部姿态模型；
[0072]对象图像数据和神经网络获取模块，用于获取所述室内所述对象的对象图像数据和多模态融合神经网络；
[0073]饮用姿态融合模型训练模块，用于根据所述对象图像数据和所述多模态融合神经本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对象饮用姿态预测方法，其特征在于，所述方法包括步骤：获取室内饮用器皿对应的饮用器皿摆放位置数据集；根据所述饮用器皿摆放位置数据集生成饮用器皿摆放位置分类检测模型；获取对象的饮用姿态分类预测模型；获取所述对象的饮用头部姿态模型；获取所述室内所述对象的对象图像数据和多模态融合神经网络；根据所述对象图像数据和所述多模态融合神经网络训练得到饮用姿态融合模型；根据所述对象图像数据和所述饮用姿态融合模型获得预测结果。2.根据权利要求1所述的对象饮用姿态预测方法，其特征在于，所述获取室内饮用器皿对应的饮用器皿摆放位置数据集包括步骤：获取所述室预设角度的室内图像；获取所述饮用器皿预设角度的器皿图像；将所述室内图像作为背景；将所述器皿图像作为前景；利用所述背景和所述前景生成饮用器皿摆放位置图像；获取所述饮用器皿摆放位置图像中的允许摆放区域和禁止摆放区域；调整所述饮用器皿的特征并得到若干变形饮用器皿；将所述变形饮用器皿随机放置于所述饮用器皿摆放位置图像中。3.根据权利要求1所述的对象饮用姿态预测方法，其特征在于，所述根据所述饮用器皿摆放位置数据集生成饮用器皿摆放位置分类检测模型包括步骤：获取所述饮用器皿摆放位置数据集、对象预测定位模型和饮用器皿训练样本；将所述饮用器皿摆放位置数据集转换为预设格式；将所述饮用器皿摆放位置数据集输入所述对象预测定位模型；所述对象预测定位模型按照预设比例输出训练集和验证集；使用所述饮用器皿训练样本训练所述对象预测定位模型；获取所述对象预测定位模型输出的分类结果；判断所述分类结果是否满足所述饮用器皿训练样本预期；若是，将训练后的所述对象预测定位模型作为所述饮用器皿摆放位置分类检测模型；若否，使用所述训练集和所述验证集训练所述对象预测定位模型，并返回所述获取所述对象预测定位模型输出的分类结果步骤。4.根据权利要求1所述的对象饮用姿态预测方法，其特征在于，所述获取对象的饮用姿态分类预测模型包括步骤：获取所述对象的上半身姿态关键点；获取所述对象在不同姿态时对应的饮用图像；将所述饮用图像作为饮用姿态数据集；使用所述上半身姿态关键点标记所述饮用姿态数据集；将所述饮用姿态数据集输入WAHR神经网络；所述WAHR神经网络输出各所述上半身姿态关键点对应的关键点定位；将各所述关键点定位输入分类器；
所述分类器输出各所述上半身姿态关键点对应的定位分类结果。5.根据权利要求1所述的对象饮用姿态预测方法，其特征在于，所述获取所述对象的饮用头部姿态模型包括步骤：获取所述对象的二维头部图像数据和三维头部模型；根据所述二维头部图像数据和所述三维头部模型计算人脸及头部姿态估计；获取所述对象的饮用图像；根据所述人脸及头部姿态估计和所述饮用图像获取所述对象的饮用头部姿态数据；获取所述对象的饮用器皿位置数据；根据所述饮用头部姿态数据和所述饮用器皿位置数据获取嘴部朝向和饮用器...

【专利技术属性】
技术研发人员：何双江，董喆，赵慧娟，秦威，闵潇潇，陶志，徐凤祥，陈磊，王昭，单娟，
申请(专利权)人：江汉大学，
类型：发明
国别省市：