智慧实验室管理平台的数据管理方法技术

本申请公开了一种智慧实验室管理平台的数据管理方法，其通过以基于深度学习的神经网络模型作为特征提取器来提取学习者的实验操作监控视频的实验操作动态特征，并结合分类器对实验操作动态进行分类来实现对学习者的实验操作进行监测和智能分析，这样，避免因错误操作而带来的实验室事故。操作而带来的实验室事故。操作而带来的实验室事故。

【技术实现步骤摘要】
智慧实验室管理平台的数据管理方法


[0001]本申请涉及实验室管理
，且更为具体地，涉及一种智慧实验室管理平台的数据管理方法。

技术介绍

[0002]做好实验室安全是保证实验教学和学习正常进行的前提，在传统实验教学中，大多数学习者的错误操作需要人类导师的细心观察才能纠正并进一步阻止安全事故的发生。而现实情况是，人类导师的注意力是有限的，无法关注到每一个学习者的每一个实验操作上，这也是众多实验室安全事故发生的主要原因。
[0003]因此，期待一种优化的智慧实验室管理平台的数据管理方案，其能够对学习者的实验操作进行监测和智能分析，以避免因错误操作而带来的实验室事故。

技术实现思路

[0004]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种智慧实验室管理平台的数据管理方法，其通过以基于深度学习的神经网络模型作为特征提取器来提取学习者的实验操作监控视频的实验操作动态特征，并结合分类器对实验操作动态进行分类来实现对学习者的实验操作进行监测和智能分析，这样，避免因错误操作而带来的实验室事故。
[0005]根据本申请的一个方面，提供了一种智慧实验室管理平台的数据管理方法，其包括：获取由部署于实验室内的摄像头采集的学习者的实验操作监控视频；从所述实验操作监控视频提取多个操作监控关键帧；将所述多个操作监控关键帧中各个操作监控关键帧分别通过器材目标检测网络和学习者目标检测网络以得到多个器材感兴趣区域和多个学习者感兴趣区域；将所述多个器材感兴趣区域中各个器材感兴趣区域分别通过第一线性嵌入层转化为器材感兴趣特征向量以得到多个器材感兴趣特征向量；将所述多个学习者感兴趣区域中各个学习者感兴趣区域分别通过第二线性嵌入层转化为学习者感兴趣特征向量以得到多个学习者感兴趣特征向量；对所述多个器材感兴趣特征向量和所述多个学习者感兴趣特征向量进行关联编码以得到多个协同操作特征矩阵；将所述多个协同操作特征矩阵排列为三维输入张量后通过使用三维卷积核的卷积神经网络模型以得到分类特征图；对所述分类特征图进行特征分布优化以得到优化分类特征图；以及将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示学习者的实验操作是否规范。
[0006]在上述智慧实验室管理平台的数据管理方法中，所述从所述实验操作监控视频提
取多个操作监控关键帧，包括：以预定采样频率从所述实验操作监控视频提取所述多个操作监控关键帧。
[0007]在上述智慧实验室管理平台的数据管理方法中，所述器材目标检测网络和/或所述学习者目标检测网络为基于无锚窗的目标检测网络。
[0008]在上述智慧实验室管理平台的数据管理方法中，所述基于无锚窗的目标检测网络为YOLOv1、FCOS、CenterNet、ExtremeNet或RepPoints。
[0009]在上述智慧实验室管理平台的数据管理方法中，所述将所述多个器材感兴趣区域中各个器材感兴趣区域分别通过第一线性嵌入层转化为器材感兴趣特征向量以得到多个器材感兴趣特征向量，包括：所述第一线性嵌入层使用可学习嵌入矩阵对所述多个器材感兴趣区域中各个器材感兴趣区域进行全连接编码以得到所述多个器材感兴趣特征向量。
[0010]在上述智慧实验室管理平台的数据管理方法中，所述将所述多个学习者感兴趣区域中各个学习者感兴趣区域分别通过第二线性嵌入层转化为学习者感兴趣特征向量以得到多个学习者感兴趣特征向量，包括：所述第二线性嵌入层使用可学习嵌入矩阵对所述多个学习者感兴趣区域中各个学习者感兴趣区域进行全连接编码以得到所述多个学习者感兴趣特征向量。
[0011]在上述智慧实验室管理平台的数据管理方法中，所述对所述多个器材感兴趣特征向量和所述多个学习者感兴趣特征向量进行关联编码以得到多个协同操作特征矩阵，包括：以如下公式对同一所述操作监控关键帧的所述器材感兴趣特征向量和所述学习者感兴趣特征向量进行关联编码以得到所述协同操作特征矩阵；其中，所述公式为：=其中表示所述多个操作监控关键帧中各帧对应的所述学习者感兴趣特征向量的转置向量，表示所述器材感兴趣特征向量，表示所述协同操作特征矩阵，表示向量相乘。
[0012]在上述智慧实验室管理平台的数据管理方法中，所述对所述分类特征图进行特征分布优化以得到优化分类特征图，包括：以如下公式对所述分类特征图进行特征分布优化以得到优化分类特征图；其中，所述公式为：其中，是所述分类特征图的第位置的特征值,是所述优化分类特征图的第位置的特征值，是以2为底的对数。
[0013]在上述智慧实验室管理平台的数据管理方法中，所述将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示学习者的实验操作是否规范，包括：将所述优化分类特征图的各个优化分类特征矩阵按照行向量或者列向量展开为分类特征向量；使
用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
[0014]根据本申请的另一方面，提供了一种智慧实验室管理平台的数据管理系统，包括：监控采集模块，用于获取由部署于实验室内的摄像头采集的学习者的实验操作监控视频；关键帧提取模块，用于从所述实验操作监控视频提取多个操作监控关键帧；感兴趣区域识别模块，用于将所述多个操作监控关键帧中各个操作监控关键帧分别通过器材目标检测网络和学习者目标检测网络以得到多个器材感兴趣区域和多个学习者感兴趣区域；器材感兴趣特征向量构造模块，用于将所述多个器材感兴趣区域中各个器材感兴趣区域分别通过第一线性嵌入层转化为器材感兴趣特征向量以得到多个器材感兴趣特征向量；学习者感兴趣特征向量构造模块，用于将所述多个学习者感兴趣区域中各个学习者感兴趣区域分别通过第二线性嵌入层转化为学习者感兴趣特征向量以得到多个学习者感兴趣特征向量；关联模块，用于对所述多个器材感兴趣特征向量和所述多个学习者感兴趣特征向量进行关联编码以得到多个协同操作特征矩阵；分类特征图生成模块，用于将所述多个协同操作特征矩阵排列为三维输入张量后通过使用三维卷积核的卷积神经网络模型以得到分类特征图；优化模块，用于对所述分类特征图进行特征分布优化以得到优化分类特征图；以及结果生成模块，用于将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示学习者的实验操作是否规范。
[0015]在上述智慧实验室管理平台的数据管理系统中，所述关键帧提取模块，进一步用于：以预定采样频率从所述实验操作监控视频提取所述多个操作监控关键帧。
[0016]在上述智慧实验室管理平台的数据管理系统中，所述器材目标检测网络和/或所述学习者目标检测网络为基于无锚窗的目标检测网络。
[0017]在上述智慧实验室管理平台的数据管理系统中，所述基于无锚窗的目标检测网络为YOLOv1、FCOS、CenterNet、ExtremeNet或RepPoints。
[0018]在上述智慧实验室管理平台的数据管理系统中，所述器材感兴趣特征向量构造模块，包括：所述第一线性嵌本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智慧实验室管理平台的数据管理方法，其特征在于，包括：获取由部署于实验室内的摄像头采集的学习者的实验操作监控视频；从所述实验操作监控视频提取多个操作监控关键帧；将所述多个操作监控关键帧中各个操作监控关键帧分别通过器材目标检测网络和学习者目标检测网络以得到多个器材感兴趣区域和多个学习者感兴趣区域；将所述多个器材感兴趣区域中各个器材感兴趣区域分别通过第一线性嵌入层转化为器材感兴趣特征向量以得到多个器材感兴趣特征向量；将所述多个学习者感兴趣区域中各个学习者感兴趣区域分别通过第二线性嵌入层转化为学习者感兴趣特征向量以得到多个学习者感兴趣特征向量；对所述多个器材感兴趣特征向量和所述多个学习者感兴趣特征向量进行关联编码以得到多个协同操作特征矩阵；将所述多个协同操作特征矩阵排列为三维输入张量后通过使用三维卷积核的卷积神经网络模型以得到分类特征图；对所述分类特征图进行特征分布优化以得到优化分类特征图；以及将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示学习者的实验操作是否规范。2.根据权利要求1所述的智慧实验室管理平台的数据管理方法，其特征在于，所述从所述实验操作监控视频提取多个操作监控关键帧，包括：以预定采样频率从所述实验操作监控视频提取所述多个操作监控关键帧。3.根据权利要求2所述的智慧实验室管理平台的数据管理方法，其特征在于，所述器材目标检测网络和/或所述学习者目标检测网络为基于无锚窗的目标检测网络。4.根据权利要求3所述的智慧实验室管理平台的数据管理方法，其特征在于，所述基于无锚窗的目标检测网络为YOLOv1、FCOS、 CenterNet、ExtremeNet或RepPoints。5.根据权利要求4所述的智慧实验室管理平台的数据管理方法，其特征在于，所述将所述多个器材感兴趣区域中各个器材感兴趣区域分别通过第一线性嵌入层转化为器材感兴趣特征向量以得到多个器材感兴趣特征向量，包括：所述第一线性嵌入层使用可学习嵌入矩阵...

【专利技术属性】
技术研发人员：张秀明，蔡钦泉，汪之红，张丽军，翁佳楠，文启林，佘鑫东，
申请(专利权)人：深圳市惠康信息科技有限公司，
类型：发明
国别省市：