一种眼动自动追踪方法、装置、设备及计算机存储介质制造方法及图纸

本发明专利技术公开了一种眼动自动追踪方法、装置、设备及计算机存储介质，包括：将待检测检眼镜眼底图像集输入预设眼动判断神经网络，得到每一检眼镜眼底图像对应的眼动预测状态；当判断存在某一检眼镜眼底图像对应的眼动预测状态为眼动开始时，将该检眼镜眼底图像确定为第一目标图像并输入至预设视盘定位神经网络得到视盘定位信息；当判断存在某一检眼镜眼底图像对应的眼动预测状态为眼动结束时，将该检眼镜眼底图像确定为第二目标图像，并根据第一目标图像以及第二目标图像得到视盘对应的偏移量信息。可见，本发明专利技术能够对眼球进行持续追踪，准确的判断出眼动的开始状态和眼动结束状态，从而计算出精准的眼动偏移信息，有效提高眼动追踪的效率和准确率。追踪的效率和准确率。追踪的效率和准确率。

【技术实现步骤摘要】
一种眼动自动追踪方法、装置、设备及计算机存储介质


[0001]本专利技术涉及图像处理
，尤其涉及一种眼动自动追踪方法、装置、设备及计算机存储介质。

技术介绍

[0002]在采集眼底图像的过程中，通常会根据检眼镜眼底图像，如LSO(Line Scaning Opthalmoscope)灰度图像追踪眼球的运动状态，进而同步进行OCT扫描，以获取精准的OCT图像。其中，眼球的运动状态会影响OCT的成像质量，比如因眼动导致扫描不到目标而无法采集到有效数据、扫描图像模糊及重复扫描等。
[0003]因此，提供一种眼动自动追踪方法以提高眼动追踪的效率和准确率显得尤为重要。

技术实现思路

[0004]本专利技术提供了一种眼动自动追踪方法、装置、设备及计算机存储介质，能够对眼球进行持续追踪，准确的判断出眼动的开始状态和眼动结束状态，进而准确的追踪眼球的运动，从而计算出精准的眼动偏移信息，有效提高眼动追踪的效率和准确率，有利于后续OCT图像的采集准确度和生成质量，同时结合神经网络和配准算法优势，进一步提高追踪速度和效率。
[0005]为了解决上述技术问题，本专利技术第一方面公开了一种眼动自动追踪方法，所述方法包括：
[0006]将待检测检眼镜眼底图像集输入预设眼动判断神经网络，依次得到每一所述待检测检眼镜眼底图像对应的眼动预测状态；其中，所述待处理检眼镜眼底图像集包括若干帧依时序采集的待检测检眼镜眼底图像；
[0007]判断是否存在某一所述待检测检眼镜眼底图像对应的眼动预测状态为眼动开始状态；
[0008]当判断结果为是时，将该待检测检眼镜眼底图像确定为第一目标图像，并将所述第一目标图像输入预设视盘定位神经网络，得到所述第一目标图像对应的视盘定位信息；
[0009]判断是否存在某一所述待检测检眼镜眼底图像对应的眼动预测状态为眼动结束状态；
[0010]当判断结果为是时，将该待检测检眼镜眼底图像确定为第二目标图像，并根据所述第一目标图像以及所述第二目标图像执行偏移预测操作，得到所述视盘定位信息对应的偏移量信息。
[0011]作为一种可选的实施方式，在本专利技术第一方面中，所述将待检测检眼镜眼底图像集输入预设眼动判断神经网络，依次得到每一所述待检测检眼镜眼底图像对应的眼动预测状态，包括：
[0012]对待检测检眼镜眼底图像集进行预处理，得到待检测检眼镜眼底图像集对应的目
标张量；
[0013]将所述目标张量输入预设眼动判断神经网络，得到每一所述待检测检眼镜眼底图像对应的预测概率值；
[0014]根据所述预测概率值，确定所述待检测检眼镜眼底图像的眼动预测状态；
[0015]其中，所述对待检测检眼镜眼底图像集进行预处理，得到待检测检眼镜眼底图像集对应的目标张量，包括：
[0016]将所述待检测检眼镜眼底图像集中的所有所述待检测检眼镜眼底图像在通道上拼接为一个N*H*W的目标张量，其中，所述N为所有所述待检测检眼镜眼底图像的数量，所述H为任一所述待检测检眼镜眼底图像的高，所述W为任一所述待检测检眼镜眼底图像的宽；或者，
[0017]将所述待检测检眼镜眼底图像集中的相邻两两所述待检测检眼镜眼底图像相减，得到N
‑
1个中间图像；将所有所述中间图像在通道上拼接为一个(N
‑
1)*H*W的目标张量，其中，所述N为所有所述待检测检眼镜眼底图像的数量，所述H为任一所述待检测检眼镜眼底图像的高，所述W为任一所述待检测检眼镜眼底图像的宽。
[0018]作为一种可选的实施方式，在本专利技术第一方面中，所述判断是否存在某一所述待检测检眼镜眼底图像对应的眼动预测状态为眼动开始状态，包括：
[0019]对于任一帧所述待检测检眼镜眼底图像，所述预设眼动判断神经网络判断该待检测检眼镜眼底图像对应的预测概率值是否大于等于预设眼动开始阈值；
[0020]当判断出该待检测检眼镜眼底图像对应的预测概率值大于等于所述预设眼动开始阈值时，所述预设眼动判断神经网络确定该待检测检眼镜眼底图像对应的眼动预测状态为眼动开始状态；其中，所述预设眼动判断神经网络的网络结构包括若干卷积层、归一化层、激活层、注意力层以及全连接层。
[0021]作为一种可选的实施方式，在本专利技术第一方面中，所述判断是否存在某一所述待检测检眼镜眼底图像对应的眼动预测状态为眼动结束状态，包括：
[0022]所述预设眼动判断神经网络追踪连续M帧所述待检测检眼镜眼底图像的对应的M个预测概率值，并判断M个所述预测概率值是否均小于预设眼动结束阈值；
[0023]当判断出M个所述预测概率值均小于所述预设眼动结束阈值时，将M帧所述待检测检眼镜眼底图像中最后一帧待检测检眼镜眼底图像对应的眼动预测状态确定为眼动结束状态。
[0024]作为一种可选的实施方式，在本专利技术第一方面中，所述将所述第一目标图像输入预设视盘定位神经网络，得到所述第一目标图像对应的视盘定位信息，包括：
[0025]所述预设视盘定位神经网络对所述第一目标图像执行视盘分割操作，得到所述第一目标图像对应的视盘分割掩模；
[0026]根据所述视盘分割掩模，得到所述第一目标图像对应的视盘定位信息；
[0027]其中，所述根据所述视盘分割掩模，得到所述第一目标图像对应的视盘定位信息之后，所述方法还包括：
[0028]对所述视盘分割掩模执行信息补偿操作，得到所述视盘定位信息对应的优化视盘定位信息；
[0029]其中，所述对所述视盘分割掩模执行信息补偿操作，得到所述视盘定位信息对应
的优化视盘定位信息，包括：
[0030]获取所述第一目标图像对应的T个尺度信息；其中，任一所述尺度信息用于表示所述预设视盘定位神经网络提取到的与所述第一目标图像中预设视盘信息相匹配的不同维度的特征；
[0031]将T个所述尺度信息中的高层特征和低层特征进行特征融合，并通过跳级连接对所述多维特征提取操作过程中丢失的信息进行补偿，得到所述视盘定位信息对应的优化视盘定位信息。
[0032]作为一种可选的实施方式，在本专利技术第一方面中，所述根据所述第一目标图像以及所述第二目标图像执行偏移预测操作，得到所述视盘定位信息对应的偏移量信息，包括：
[0033]将所述第一目标图像确定为基准图像，将所述第二目标图像确定为匹配图像，通过预设配准方式执行偏移预测操作，以完成所述匹配图像中所有区域图像块与所述基准图像中匹配模板之间的匹配操作，并确定出所述视盘定位信息对应的偏移量信息；和/或，
[0034]根据所述第一目标图像、所述第二目标图像以及预设偏移预测神经网络，得到所述视盘定位信息对应的偏移量信息；
[0035]其中，所述根据所述第一目标图像、所述第二目标图像以及预设偏移预测神经网络执行偏移预测操作，得到所述视盘定位信息对应的偏移量信息，包括：
[0036]将所述第一目标图像和所述第二目标图像输入预设偏移预测神经网络，得到所述视盘定位信息对应的偏移本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种眼动自动追踪方法，其特征在于，所述方法包括：将待检测检眼镜眼底图像集输入预设眼动判断神经网络，依次得到每一所述待检测检眼镜眼底图像对应的眼动预测状态；其中，所述待处理检眼镜眼底图像集包括若干帧依时序采集的待检测检眼镜眼底图像；判断是否存在某一所述待检测检眼镜眼底图像对应的眼动预测状态为眼动开始状态；当判断结果为是时，将该待检测检眼镜眼底图像确定为第一目标图像，并将所述第一目标图像输入预设视盘定位神经网络，得到所述第一目标图像对应的视盘定位信息；判断是否存在某一所述待检测检眼镜眼底图像对应的眼动预测状态为眼动结束状态；当判断结果为是时，将该待检测检眼镜眼底图像确定为第二目标图像，并根据所述第一目标图像以及所述第二目标图像执行偏移预测操作，得到所述视盘定位信息对应的偏移量信息。2.根据权利要求1所述的眼动自动追踪方法，其特征在于，所述将待检测检眼镜眼底图像集输入预设眼动判断神经网络，依次得到每一所述待检测检眼镜眼底图像对应的眼动预测状态，包括：对待检测检眼镜眼底图像集进行预处理，得到待检测检眼镜眼底图像集对应的目标张量；将所述目标张量输入预设眼动判断神经网络，得到每一所述待检测检眼镜眼底图像对应的预测概率值；根据所述预测概率值，确定所述待检测检眼镜眼底图像的眼动预测状态；其中，所述对待检测检眼镜眼底图像集进行预处理，得到待检测检眼镜眼底图像集对应的目标张量，包括：将所述待检测检眼镜眼底图像集中的所有所述待检测检眼镜眼底图像在通道上拼接为一个N*H*W的目标张量，其中，所述N为所有所述待检测检眼镜眼底图像的数量，所述H为任一所述待检测检眼镜眼底图像的高，所述W为任一所述待检测检眼镜眼底图像的宽；或者，将所述待检测检眼镜眼底图像集中的相邻两两所述待检测检眼镜眼底图像相减，得到N
‑
1个中间图像；将所有所述中间图像在通道上拼接为一个(N
‑
1)*H*W的目标张量，其中，所述N为所有所述待检测检眼镜眼底图像的数量，所述H为任一所述待检测检眼镜眼底图像的高，所述W为任一所述待检测检眼镜眼底图像的宽。3.根据权利要求2所述的眼动自动追踪方法，其特征在于，所述判断是否存在某一所述待检测检眼镜眼底图像对应的眼动预测状态为眼动开始状态，包括：对于任一帧所述待检测检眼镜眼底图像，所述预设眼动判断神经网络判断该待检测检眼镜眼底图像对应的预测概率值是否大于等于预设眼动开始阈值；当判断出该待检测检眼镜眼底图像对应的预测概率值大于等于所述预设眼动开始阈值时，所述预设眼动判断神经网络确定该待检测检眼镜眼底图像对应的眼动预测状态为眼动开始状态；其中，所述预设眼动判断神经网络的网络结构包括若干卷积层、归一化层、激活层、注意力层以及全连接层。4.根据权利要求3所述的眼动自动追踪方法，其特征在于，所述判断是否存在某一所述待检测检眼镜眼底图像对应的眼动预测状态为眼动结束状态，包括：
所述预设眼动判断神经网络追踪连续M帧所述待检测检眼镜眼底图像的对应的M个预测概率值，并判断M个所述预测概率值是否均小于预设眼动结束阈值；当判断出M个所述预测概率值均小于所述预设眼动结束阈值时，将M帧所述待检测检眼镜眼底图像中最后一帧待检测检眼镜眼底图像对应的眼动预测状态确定为眼动结束状态。5.根据权利要求1
‑
4任一所述的眼动自动追踪方法，其特征在于，所述将所述第一目标图像输入预设视盘定位神经网络，得到所述第一目标图像对应的视盘定位信息，包括：所述预设视盘定位神经网络对所述第一目标图像执行视盘分割操作，得到所述第一目标图像对应的视盘分割掩模；根据所述视盘分割掩模，得到所述第一目标图像对应的视盘定位信息；其中，所述根据所述视盘分割掩模，得到所述第一目标图像对应的视盘定位信息之后，所述方法还包括：对所述视盘分割掩模执行信息补偿操作，得到所述视盘定位信息对应的优化视盘定位信息；其中，所述对所述视盘分割掩模执行信息补偿操作，得到所述视盘定位信息对应的优化视盘定位信息，包括：获取所述第一目标图像对应的T个尺度信息；其中，任一所述尺度信息用于表示所述预设视盘定位神经网络提取到的与所述第一目标图像中预设视盘信息相匹配的不同维度的特征；将T个所述尺度信息中的高层特征和低层特征进行特征融合，并通过跳级连接...

【专利技术属性】
技术研发人员：区初斌，安林，秦嘉，韦喜飞，
申请(专利权)人：唯智医疗科技佛山有限公司，
类型：发明
国别省市：