一种基于视频目标追踪的微流体分析方法及装置制造方法及图纸

本公开提出一种基于视频目标追踪的微流体分析方法及装置，属于微流体分析领域。其中所述方法包括：获取微流体视频；将所述视频中的气泡或液滴作为追踪目标，根据预设的微流体视频目标追踪模型，获取所述目标在所述视频对应帧中的视频掩码矩阵组成的序列作为所述目标的追踪结果；根据所述目标的追踪结果，对所述目标进行信息提取。本公开利用深度卷积神经网络，快速分析高速摄影机在微流体装置观察窗处拍摄微流体的视频，得到微流体装置中气泡或液滴的大小、速度和形态等相关视觉信息，运算速度快，分析结果准确，适用于大小不同的气泡或液滴。或液滴。或液滴。

【技术实现步骤摘要】
一种基于视频目标追踪的微流体分析方法及装置


[0001]本专利技术涉及微流体分析领域，具体涉及一种基于视频目标追踪的微流体分析方法及装置。

技术介绍

[0002]在微流体领域中，分散相中气泡/液滴的大小、速度和形态等因素是影响物质传递、热量传递和化学反应速率的关键。现有的常用分析方法主要是基于激光的传感器方法。基于激光的传感器方法利用一组激光发射器产生具有一定波长的激光束并用相应的激光检测器接收激光并转化为电信号。当气泡/液滴遮挡住激光时，会导致激光检测器无法接收到相应的激光信号，因此产生的电信号也会出现相应的脉冲平台。结合脉冲平台时间长度和微流体的速度可以分析得到微流体中气泡/液滴的数量和大小等信息。
[0003]虽然基于激光的传感器方法使用广泛，但该方法仍具有很大的不足：1)当气泡/液滴数量较多时，激光束可能会穿过重叠的气泡，导致测得的气泡/液滴数量偏少、大小偏大；
[0004]2)设备复杂，包含发射源和检测器，测量前还需要进行大量设备调试工作；3)容易有小气泡/液滴因为激光强度弱造成的低信噪比而被漏检；4)难以对非球形气泡/液滴的大小、数量进行测量；5)只能测量在激光处的信息，无法对气泡/液滴进行一段时间内的追踪，从而获取单个气泡/液滴或整个气泡/液滴群的速度信息。

技术实现思路

[0005]本公开的目的是为克服已有技术的不足之处，提出一种基于视频目标追踪的微流体分析方法及装置。本公开利用深度卷积神经网络，快速分析高速摄影机在微流体装置观察窗处拍摄微流体的视频，得到微流体装置中气泡/液滴的大小、速度和形态等相关视觉信息，运算速度快，分析结果准确，适用于大小不同的气泡/液滴。
[0006]本公开第一方面实施例提出一种基于视频目标追踪的微流体分析方法，包括：
[0007]获取微流体视频；
[0008]将所述视频中的气泡或液滴作为追踪目标，根据预设的微流体视频目标追踪模型，获取所述目标在所述视频对应帧中的视频掩码矩阵组成的序列作为所述目标的追踪结果；
[0009]根据所述目标的追踪结果，对所述目标进行信息提取。
[0010]在本公开的一个具体实施例中，所述获取微流体视频还包括：
[0011]将所述视频的每一帧调整为设置的高度和宽度。
[0012]在本公开的一个具体实施例中，所述根据所述目标的追踪结果，对所述目标进行信息提取，包括：
[0013]1)提取目标的数量，具体方法为：
[0014]根据追踪结果中上标l的最大取值确定视频中出现的目标的数量，其中，表示第t帧中第l个目标的视频掩码矩阵，该矩阵为二值矩阵；
[0015]2)提取目标的大小，具体方法为：
[0016]选取任一目标距离视频帧中心点最近的一帧，对所述目标在该帧中的追踪结果提取边界，对所述边界利用椭圆曲线进行拟合，拟合得到的椭圆的长短轴平均值即为所述目标的测量直径；其中中取值为0的元素和取值为1元素的交界处构成边界；
[0017]3)提取目标的速度，具体方法为：
[0018]对任一目标在所述视频中对应的每个提取边界，对每个边界利用椭圆曲线进行拟合；记所述目标在第t帧时拟合椭圆的中心位置坐标为(x
l,t
,y
l,t
)，令所述目标在视频中从第t1帧到第t2帧进行运动，视频的拍摄帧率fHz，则所述目标的速度计算表达式如下：
[0019][0020]在本公开的一个具体实施例中，在所述根据预设的微流体视频目标追踪模型，获取所述视频中各帧的所述目标的追踪结果之前，还包括：
[0021]训练所述微流体视频目标追踪模型；
[0022]其中，所述训练所述微流体视频目标追踪模型包括：
[0023]获取微流体视频数据集，对所述视频数据集中每条视频逐帧标注追踪目标；
[0024]将所述视频数据集及对应标注结果组成标记数据集，将所述标记数据集划分为训练集和测试集；
[0025]构建一个深度卷积目标追踪神经网络模型；
[0026]利用所述训练集和测试集对所述模型进行训练，以得到训练完毕的模型作为微流体视频目标追踪模型。
[0027]在本公开的一个具体实施例中，所述对所述视频数据集中每条视频逐帧标注追踪目标，包括：
[0028]将所述视频数据集的各帧中出现的同一气泡或液滴标记为同一追踪目标；
[0029]对每一帧中的每个追踪目标分别建立对应的真实标注二值矩阵，所述二值矩阵中取值为1的位置表示所述目标在对应视频帧中占据所述位置对应的像素点，所述二值矩阵中取值为0的位置表示所述目标在对应视频帧中未占据所述位置对应的像素点；
[0030]对每一帧中的每个追踪目标分别建立对应的真实尺寸框，所述真实尺寸框为包含所述目标真实标注二值矩阵中所有取值为1位置对应像素点的最小矩形框。
[0031]在本公开的一个具体实施例中，所述深度卷积目标追踪神经网络模型包括：特征提取单元、候选区域提出单元和输出单元；其中，所述特征提取单元用于提取输入的当前视频帧的特征矩阵；所述候选区域用于根据特征矩阵和真实尺寸框，从候选的标准尺寸框中选出候选尺寸框并计算每个候选尺寸框对应的目标特征矩阵；所述输出单元用于根据候选候选尺寸框对应的目标特征矩阵，结合所述当前视频帧的前一帧，获取所述当前视频帧中目标的追踪结果。
[0032]在本公开的一个具体实施例中，所述利用所述训练集和测试集对所述模型进行训练，以得到训练完毕的模型作为微流体视频目标追踪模型，包括：
[0033]1)对训练集和测试集中每条视频进行预处理，所述预处理包括对每条视频的每一
帧进行标准化处理和归一化处理；
[0034]所述标准化处理包括设置每条视频的统一的像素高度和宽度分别为H和W；
[0035]所述归一化处理包括对每条视频中每一帧的各像素值进行归一化；
[0036]2)从预处理完毕的训练集中随机选取一个批次的视频帧，将所述一个批次的视频帧作为当前视频帧集合输入深度卷积目标追踪神经网络模型；
[0037]将当前视频帧集合中每一帧对应的前一帧作为参考帧，所有参考帧组成参考帧集合，将参考帧集合输入深度卷积目标追踪神经网络模型；
[0038]当前视频帧集合和参考帧集合输入深度卷积目标追踪神经网络模型后，该模型中的特征提取单元对每个当前视频帧输出为一个大小为h
s
×
w
s
的特征矩阵；
[0039]3)每个特征矩阵输出到候选区域提出单元，候选区域提出单元对特征矩阵的每个位置提出K个标准尺寸框；
[0040]通过计算标准尺寸框与真实尺寸框之间的交并比IoU，构建训练时的正样本和负样本；其中，视频帧中任意两个尺寸框T和G之间的IoU计算表达式如下：
[0041][0042]式中，area(G和area(T)分别代表尺寸框G和尺寸框T所占像素点的集合；
[0043]若任一标准尺寸框与该帧所有真实尺寸框之间的交并比本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频目标追踪的微流体分析方法，其特征在于，包括：获取微流体视频；将所述视频中的气泡或液滴作为追踪目标，根据预设的微流体视频目标追踪模型，获取所述目标在所述视频对应帧中的视频掩码矩阵组成的序列作为所述目标的追踪结果；根据所述目标的追踪结果，对所述目标进行信息提取。2.根据权利要求1所述的方法，其特征在于，所述获取微流体视频还包括：将所述视频的每一帧调整为设置的高度和宽度。3.根据权利要求1所述的方法，其特征在于，所述根据所述目标的追踪结果，对所述目标进行信息提取，包括：1)提取目标的数量，具体方法为：根据追踪结果中上标l的最大取值确定视频中出现的目标的数量，其中，表示第t帧中第l个目标的视频掩码矩阵，该矩阵为二值矩阵；2)提取目标的大小，具体方法为：选取任一目标距离视频帧中心点最近的一帧，对所述目标在该帧中的追踪结果提取边界，对所述边界利用椭圆曲线进行拟合，拟合得到的椭圆的长短轴平均值即为所述目标的测量直径；其中中取值为0的元素和取值为1元素的交界处构成边界；3)提取目标的速度，具体方法为：对任一目标在所述视频中对应的每个提取边界，对每个边界利用椭圆曲线进行拟合；记所述目标在第t帧时拟合椭圆的中心位置坐标为令所述目标在视频中从第t1帧到第t2帧进行运动，视频的拍摄帧率fHz，则所述目标的速度计算表达式如下：4.根据权利要求1所述的方法，其特征在于，在所述根据预设的微流体视频目标追踪模型，获取所述视频中各帧的所述目标的追踪结果之前，还包括：训练所述微流体视频目标追踪模型；其中，所述训练所述微流体视频目标追踪模型包括：获取微流体视频数据集，对所述视频数据集中每条视频逐帧标注追踪目标；将所述视频数据集及对应标注结果组成标记数据集，将所述标记数据集划分为训练集和测试集；构建一个深度卷积目标追踪神经网络模型；利用所述训练集和测试集对所述模型进行训练，以得到训练完毕的模型作为微流体视频目标追踪模型。5.根据权利要求4所述的方法，其特征在于，所述对所述视频数据集中每条视频逐帧标注追踪目标，包括：将所述视频数据集的各帧中出现的同一气泡或液滴标记为同一追踪目标；对每一帧中的每个追踪目标分别建立对应的真实标注二值矩阵，所述二值矩阵中取值
为1的位置表示所述目标在对应视频帧中占据所述位置对应的像素点，所述二值矩阵中取值为0的位置表示所述目标在对应视频帧中未占据所述位置对应的像素点；对每一帧中的每个追踪目标分别建立对应的真实尺寸框，所述真实尺寸框为包含所述目标真实标注二值矩阵中所有取值为1位置对应像素点的最小矩形框。6.根据权利要求5所述的方法，其特征在于，所述深度卷积目标追踪神经网络模型包括：特征提取单元、候选区域提出单元和输出单元；其中，所述特征提取单元用于提取输入的当前视频帧的特征矩阵；所述候选区域用于根据特征矩阵和真实尺寸框，从候选的标准尺寸框中选出候选尺寸框并计算每个候选尺寸框对应的目标特征矩阵；所述输出单元用于根据候选候选尺寸框对应的目标特征矩阵，结合所述当前视频帧的前一帧，获取所述当前视频帧中目标的追踪结果。7.根据权利要求6所述的方法，其特征在于，所述利用所述训练集和测试集对所述模型进行训练，以得到训练完毕的模型作为微流体视频目标追踪模型，包括：1)对训练集和测试集中每条视频进行预处理，所述预处理包括对每条视频的每一帧进行标准化处理和归一化处理；所述标准化处理包括设置每条视频的统一的像素高度和宽度分别为H和W；所述归一化处理包括对每条视频中每一帧的各像素值进行归一化；2)从预处理完毕的训练集中随机选取一个批次的视频帧，将所述一个批次的视频帧作为当前视频帧集合输入深度卷积目标追踪神经网络模型；将当前视频帧集合中每一帧对应的前一帧作为参考帧，所有参考帧组成参考帧集合，将参考帧集合输入深度卷积目标追踪神经网络模型；当前视频帧集合和参考帧集合输入深度卷积目标追踪神经网络模型后，该模型中的特征提取单元对每个当前视频帧输出为一个大小为h
s
×
w
s
的特征矩阵；3)每个特征矩阵输出到候选区域提出单元，候选区域提出单元对特征矩阵的每个位置提出K个标准尺寸框；通过计算标准尺寸框与真实尺寸框之间的交并比IoU，构建训练时的正样本和负样本；其中，视频帧中任意两个尺寸框T和G之间的IoU计算表达式如下：式中，area(G)和area(T)分别代表尺寸框G和尺寸框T所占像素点的集合；若任一标准尺寸框与该帧所有真实尺寸框之间的交并比的最大值大于设定的正样本阈值IoU
pos
，则该标准尺寸框为一个正样本；否则该标准尺寸框为一个负样本；4)候选区域提出单元输出每个标准尺寸框区域包含目标的概率以及该标准尺寸框相对于其对应真实尺寸框中心点和长宽的坐标偏移量相对于其对应真实尺寸框中心点和长宽的坐标偏移量其中i代表特征矩阵中的列位置，j代表特征矩阵中的行位置，l代表标准尺寸框的序号；和分别为第l个标准尺寸框左上点相对于对应真实尺寸框左上点的横坐标和纵坐标偏差，和分别为第l个标准尺寸框相对于对应真实尺
寸框高和宽的偏差：对于作为正样本的标准尺寸框，将该标准尺寸框对应的的真实值记为1；对于作为负样本的标准尺寸框，将该标准尺寸框对应的的真实值汜为0；将概率小于设定概率阈值η
proposal
的标准尺寸框舍弃，保留的标准尺寸框按照对应的进行偏移，将偏移后的标准尺寸框作为候选尺寸框；5)对各候选尺寸框按照对应的从大到小的顺序进行排序，排序后从第1个候选尺寸框开始，依次将每个候选尺寸框作为当前候选尺寸框，去掉当前候选尺寸框之后序列中所有候选尺寸框中与当前候选尺寸框IoU大...

【专利技术属性】
技术研发人员：邱彤，张书源，王凯，黄新烨，魏奕新，
申请(专利权)人：清华大学，
类型：发明
国别省市：