一种基于深度学习和双目测距相结合的咽拭子采样方法技术

本发明专利技术公开了一种基于深度学习和双目测距相结合的咽拭子采样方法，包括以下步骤：

【技术实现步骤摘要】
一种基于深度学习和双目测距相结合的咽拭子采样方法


[0001]本专利技术涉及机器学习和机器视觉
，具体为一种基于深度学习和双目测距相结合的咽拭子采样方法
。

技术介绍

[0002]目前现有的自助咽拭子采样检测机仅仅通过检测咽拭子在二维图片中的位置来判断咽拭子采样检测是否符合要求，这种方法虽然可以确保咽拭子落入口腔的范围，但很难保证咽拭子在口腔内部的深度符合科学的检测标准
。
此外，当使用者在使用自助咽拭子采样检测机器进行咽拭子采样检测时，必须严格按照开发者所规定的姿势使用
。
但是在面向广大群众的实际检测过程中发现，过于严格的姿势要求对使用者并不友好，许多人甚至需要花费过多的时间去调整姿势
。
现有的自助咽拭子采样检测机也对使用环境有较高的要求
。
一般而言，技术指标所规定的的环境是实验室环境，但是在实际使用过程中多种多样的环境会使得测量产生较大的不准确性
。
[0003]目标检测，也叫目标提取，是一种基于目标几何和统计特征的图像分割，它将目标的分割和识别合二为一，其准确性和实时性是整个系统的一项重要能力
。
而深度学习是一类能够通过监督
、
半监督或无监督的训练方法自动学习训练数据集中隐藏的数据内部结构的一类多层神经网络算法
。
深度学习算法提取到的特征比传统图像处理和机器学习方法具有更强的鲁棒性，可以很好的满足目标提取过程中准确性与实时性的要求
。
因此，可以利用深度学习与目标检测相结合的方法算出目标在二维平面中的位置
。
[0004]双目视觉方法是模拟人类视觉原理，使用计算机被动感知距离的方法
。
从两个或者多个点观察一个物体，获取在不同视角下的图像，根据图像之间像素的匹配关系，通过三角测量原理计算出像素之间的偏移来获取物体的三维信息
。
利用双目视觉方法并根据目标在二维平面中的位置，可以准确且快速地算出目标在三维空间中距离相机的距离
。
[0005]基于上述原理，申请人提出一种基于深度学习和双目测距相结合的咽拭子采样方法
。

技术实现思路

[0006]本专利技术的目的在于提供一种基于深度学习和双目测距相结合的咽拭子采样方法，旨在解决传统的自助咽拭子采样检测技术难以准确检测到咽拭子在口腔中的深度和位置，且对使用者的姿势和使用环境要求过高，导致咽拭子采样检测结果不科学
、
不准确的问题
。
[0007]本专利技术是这样实现的：一种基于深度学习和双目测距相结合的咽拭子采样方法，包括以下步骤：
[0008]S1、
以咽拭子采样检测现场口腔和咽拭子的图片作为数据集；
[0009]S2、
利用深度学习目标检测算法对数据集进行训练；
[0010]S3、
根据训练得到的模型识别口腔和咽拭子并获取它们的位置信息；
[0011]S4、
标定相机并利用双目测距原理计算口腔和咽拭子与相机之间的距离；
[0012]S5、
根据口腔和咽拭子的位置及其与相机之间的距离判断咽拭子采样检测是否符合要求
。
[0013]进一步的，所述步骤
S1
中，拍摄咽拭子采样检测过程中检测对象正面的口腔和咽拭子的图片并制作成数据集，该过程中拍摄的图片要与实际测量过程中的情景相符并尽可能清晰
。
[0014]进一步的，所述步骤
S2
中，使用
yolov4
算法，将数据集划分为训练集和测试集，设置训练参数并进行训练，当损失曲线趋于收敛时结束训练，该过程中要避免出现过拟合和欠拟合问题
。
[0015]进一步的，所述
yolov4
算法结合有加权残差连接
、
跨阶段部分连接
、
跨小批量规范化
、
自对抗训练
、Mish
激活函数
、CIoU
损失函数和
DropBlock
规范化的方法，以
CSPDarknet53
网络作为主干特征提取网络，同时添加特征金字塔模块以增加感受野，并使用
PANet
来替代
FPN
做特征融合
。
[0016]进一步的，所述步骤
S3
中，利用步骤
S2
训练的模型对目标位置进行识别，并获取目标在摄像头中二维平面上的位置坐标信息
。
[0017]进一步的，所述步骤
S4
中，先利用张正友标定法获取双目相机各项参数，再根据步骤
S3
中获取的目标位置坐标信息和标定得到的双目相机焦距
、
摄像头中心距计算得到三维空间中目标与摄像头之间的距离
。
[0018]进一步的，所述步骤
S4
中，双目测距的原理是：两个相机的投影中心的连线的距离为
b
，称作基线，三维空间任意一点
P
在左相机的成像点为
P
L
，在右相机的成像点为
P
R
；根据光的直线传播的原理可知，三维空间点
P
就是两个相机的投影中心点与成像点连线的交点；线段
X
L
和
X
R
分别是左右相机成像点到左成像面的距离，则点
P
在左右相机的视差可以定义如下
:
[0019]d
＝
|X
L
‑
X
R
|
[0020]两个成像点
P
L
和
P
R
之间的距离为：
[0021][0022]根据相似三角形理论可以得出：
[0023][0024]可以得到点
P
到投影中心平面的距离
Z
：
[0025][0026]Z
即目标与相机之间的距离，即深度信息
。
当点
P
在三维空间上移动时，点
P
在左右相机上的成像位置也会改变，从而视差也会发生相应变化，由上式可知，视差与三维空间上的点到投影中心平面的距离成反比
。
因而，只要知道某点的视差，就可以知道该点的深度信息，进而就可以知道该点的三维坐标
。
[0027]进一步的，所述步骤
S5
中，综合步骤
S3、S4
获取的目标位置和深度信息，判断一轮咽拭子采样检测是否符合规范：首先判断是否正确检测到使用者的口腔和咽拭子，然后根据口腔和咽拭子的深度信息计算咽拭子在口腔中的深度；为了模拟咽拭子采样检测的过
程，如果在规定时间的一轮检测中咽拭子在口腔左
、
...

【技术保护点】

【技术特征摘要】
1.
一种基于深度学习和双目测距相结合的咽拭子采样方法，其特征在于，包括以下步骤：
S1、
以咽拭子采样检测现场口腔和咽拭子的图片作为数据集；
S2、
利用深度学习目标检测算法对数据集进行训练；
S3、
根据训练得到的模型识别口腔和咽拭子并获取它们的位置信息；
S4、
标定相机并利用双目测距原理计算口腔和咽拭子与相机之间的距离；
S5、
根据口腔和咽拭子的位置及其与相机之间的距离判断咽拭子采样检测是否符合要求
。2.
根据权利要求1所述的一种基于深度学习和双目测距相结合的咽拭子采样方法，其特征在于，所述步骤
S1
中，拍摄咽拭子采样检测过程中检测对象正面的口腔和咽拭子的图片并制作成数据集，该过程中拍摄的图片要与实际测量过程中的情景相符并尽可能清晰
。3.
根据权利要求1所述的一种基于深度学习和双目测距相结合的咽拭子采样方法，其特征在于，所述步骤
S2
中，使用
yolov4
算法，将数据集划分为训练集和测试集，设置训练参数并进行训练，当损失曲线趋于收敛时结束训练，该过程中要避免出现过拟合和欠拟合问题
。4.
根据权利要求3所述的一种基于深度学习和双目测距相结合的咽拭子采样方法，其特征在于，所述
yolov4
算法结合有加权残差连接
、
跨阶段部分连接
、
跨小批量规范化
、
自对抗训练
、Mish
激活函数
、CIoU
损失函数和
DropBlock
规范化的方法，以
CSPDarknet53
网络作为主干特征提取网络，同时添加特征金字塔模块以增加感受野，并使用
PANet
来替代
FPN
做特征融合
。5.
根据权利要求1所述的一种基于深度学习和双目测距相结合的咽拭子采样方法，其特征在于，所述步骤
S3
中，利用步骤
S2
训练的模型对目标位置进行识别，并获取目标在摄像头中二维平面上的位置坐标信息
。6.
根据权利要求1所述的...

【专利技术属性】
技术研发人员：祁文华，薛琦，殷谦，宋光旭，曹文，赵思宇，李楠森，丁鏖倬，童磊，
申请(专利权)人：河南数智谷科技集团有限公司，
类型：发明
国别省市：