一种基于人工智能的免标记仪器设备特征锚点检测方法技术

本发明专利技术提供一种基于人工智能的免标记仪器设备特征锚点检测方法，包括：采集足够表征该仪器设备操作过程的图像或该仪器设备完整操作过程视频，使用k‑means对筛选Na张图像，其中Ntr张训练图像及Nte张测试图像；在Ntr张训练图像、Nte张测试图像上标记需要检测的特征锚点，生成训练响应图像、测试响应图像；以训练图像作为输入，训练响应图像作为输出，训练DeepLabCut卷积神经网络，达到收敛目标后，形成训练完成的神经网络；将测试图像输入到卷积网络中，以输出响应图像上的最大响应值点作为检出锚点，并计算检出锚点与实际锚点间的距离，用于评价网络效果；将任意需要提取特征锚点的图像输入卷积神经网络，输出特征锚点、对应位置及其置信度。

【技术实现步骤摘要】
一种基于人工智能的免标记仪器设备特征锚点检测方法
本专利技术涉及图像模式识别领域，尤其涉及一种基于人工智能的免标记仪器设备特征锚点检测方法。
技术介绍
量化操作行为是实现智能评判人工操作的瓶颈之一，视觉图像是在不同环境中观察、记录人工操作的简单方法，然而提取动作特征量化操作行为进行进一步分析的工作量极大。在测量控制中，通常采用添加标记的方法来辅助计算机跟踪，但是标记是侵入性的，且标记数量、位置必须预先确定。本专利技术提出一种基于人工智能的免标记仪器设备特征锚点检测技术，实现了免标记可定义特征锚点检测，可应用于智能评判人工动作、精密仪器量器跟踪、设备人机协同、遥控装置动作、大型装备操作等各种场景。
技术实现思路
为解决上述存在的问题与缺陷，本专利技术实现不添加任何标记地准确跟踪人工操作、可在图像上任意定义特征锚点，实现人工操作位姿量化测量及智能评判操作。本专利技术的目的通过以下的技术方案来实现：一种基于人工智能的免标记仪器设备特征锚点检测方法，样本采集与筛选、样本标注、网络训练、网络评价与网络使用，具体包括以下步骤：A采集足够表征该仪器设备操作过程的图像或该仪器设备完整操作过程视频，使用k-means对所有图像或视频的所有帧进行分析，并筛选Na张图像，其中Ntr张训练图像及Nte张测试图像B在Ntr张训练图像、Nte张测试图像上标记需要检测的特征锚点，记录所有nap个特征锚点在图像中的坐标，按照特征锚点生成训练响应图像与测试响应图像C以训练图像作为输入，训练响应图像作为输出，训练DeepLabCut卷积神经网络，使用训练响应图像的交叉熵损失作为训练的目标，经过Nstep后或达到收敛目标后，形成训练完成的神经网络；D将测试图像输入到卷积网络中，以输出响应图像上的最大响应值点作为检出锚点，以测试响应图像上的最大响应值点作为实际锚点，计算检出锚点与实际锚点间的距离，用于评价网络效果；E将任意需要提取特征锚点的图像输入卷积神经网络，输出特征锚点序号nap(nap＝1,2,3...Nap)、对应位置及特征锚点对应序号对应的测试图像的特征锚点的置信度本专利技术有益效果是：实现不添加任何标记地准确跟踪人工操作、可在图像上任意定义特征锚点，实现人工操作位姿量化测量及智能评判操作。附图说明图1是本专利技术所述的基于人工智能的免标记仪器设备特征锚点检测方法流程框图。具体实施方式下面结合实施例及附图对本专利技术作进一步详细的描述。本专利技术是基于人工智能的免标记仪器设备特征锚点检测方法，如图1所示，所述方法包括如下步骤：步骤10样本采集与筛选阶段；采集足够表征该仪器设备操作过程的图像，或该仪器设备完整操作过程视频，使用k-means对所有图像或视频的所有帧进行分析，总共筛选Na张图像，其中Ntr张训练图像及Nte张测试图像足够表征该仪器设备操作过程的图像指图像应该涵盖整个仪器设备操作过程，并且对于旋转过程，旋转角度差分值应小于等于15°，且仪器应在尽量在整个视野范围中出现。使用k-means对所有图像或视频的所有帧进行分析：(1)将所有图像{I1,I2,I3…IN}映射为特征向量{v1,v2,v3…vN}，设总共提取Na张图像，则生成个聚类中心(2)通过特征向量到各聚类中心的距离则可以判断出任意的第i张图像Ii属于哪一个聚类中心，将所有图像按照特征向量聚为点集并认为Ii属于第p类(1≤p≤k)之后，在根据聚类的特征向量来计算新的聚类中心进入下一次迭代，重复步骤(2)直到聚类中心不再发生变化。步骤20样本标注阶段；在Ntr张训练图像、Nte张测试图像上由人工标记上需要检测的特征锚点，记录所有nap个特征锚点在图像中坐标，按照特征锚点生成训练响应图像测试响应图像所有Nap个特征锚点在第n张训练图像Itr_n中的坐标为则可以生成重复则可生成Ntr张训练图像的训练响应图像同理，也能生成Nte张测试图像的测试响应图像步骤30网络训练阶段；以训练图像作为输入，训练响应图像作为输出，训练DeepLabCut卷积神经网络，使用响应图像的交叉熵损失作为训练的目标(越小越好)，经过Nstep后或达到收敛目标后，形成训练完成的神经网络；则响应图像上某个像素点的真实响应为输出响应为则交叉熵损失Eloss(p,pout)为：步骤40网络评价阶段；将测试图像输入到卷积网络中，以输出响应图像上的最大响应值点作为检出锚点，以测试响应图像上的最大响应值点作为实际锚点，并计算检出锚点与实际锚点间的距离，用于评价网络效果；若第n张训练图像Itr_n中输出的锚点坐标为则平均距离偏差为这一指标指示了检测锚点的偏离程度。步骤50网络使用阶段；将任意需要提取特征锚点的图像输入卷积神经网络，输出特征锚点、对应位置及其置信度。特征锚点序号nap(nap＝1,2,3…Nap)、对应位置及特征锚点相应序号对应的测试图像的特征锚点的置信度具体为上述实施例中为训练图像、为测试图像、Na为图像总数、Ntr为训练图像数量、Nte为测试图像数量、为训练响应图像、为测试响应图像、{v1,v2,v3…vN}为图像特征向量、{m1(1),…,mk(1)}为聚类中心、k为聚类中心数量、训练图像Itr_n中的特征锚点坐标Nap为特征锚点数量、特征锚点序号nap(nap＝1,2,3...Nap)、训练响应图像生成式真实响应输出响应交叉熵损失Eloss(p,pout)、平均距离偏差Δd及非训练图像、测试图像的特征锚点位置及其置信度虽然本专利技术所揭露的实施方式如上。但所述的内容只是为了便于理解本专利技术而采用的实施方式，并非用以限定本专利技术。任何本专利技术所属
内的技术人员，在不脱离本专利技术所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本专利技术的专利保护范围，仍须以所附的权利要求书所界定的范围为准。本文档来自技高网...

【技术保护点】
1.一种基于人工智能的免标记仪器设备特征锚点检测方法，其特征在于，所述方法包括样本采集与筛选、样本标注、网络训练、网络评价与网络使用，具体包括以下步骤：A采集足够表征该仪器设备操作过程的图像或该仪器设备完整操作过程视频，使用k‑means对所有图像或视频的所有帧进行分析，并筛选Na张图像，其中Ntr张训练图像

【技术特征摘要】
1.一种基于人工智能的免标记仪器设备特征锚点检测方法，其特征在于，所述方法包括样本采集与筛选、样本标注、网络训练、网络评价与网络使用，具体包括以下步骤：A采集足够表征该仪器设备操作过程的图像或该仪器设备完整操作过程视频，使用k-means对所有图像或视频的所有帧进行分析，并筛选Na张图像，其中Ntr张训练图像及Nte张测试图像B在Ntr张训练图像、Nte张测试图像上标记需要检测的特征锚点，记录所有nap个特征锚点在图像中的坐标，按照特征锚点生成训练响应图像与测试响应图像C以训练图像作为输入，训练响应图像作为输出，训练DeepLabCut卷积神经网络，使用训练响应图像的交叉熵损失作为训练的目标，经过Nstep后或达到收敛目标后，形成训练完成的神经网络；D将测试图像输入到卷积网络中，以输出响应图像上的最大响应值点作为检出锚点，以测试响应图像上的最大响应值点作为实际锚点，计算检出锚点与实际锚点间的距离，用于评价网络效果；E将任意需要提取特征锚点的图像输入卷积神经网络，输出特征锚点序号nap(nap＝1,2,3...Nap)、对应位置及特征锚点对应序号对应的测试图像的特征锚点的置信度2.如权利要求1所述的基于人工智能的免标记仪器设备特征锚点检测方法，其特征在于，所述步骤A中：足够表征该仪器设备操作过程的图像指图像应该涵盖整个仪器设备操作过程，并且对于旋转过程，旋转角度差分值应小于等于15°，且仪器应在尽量在整个视野范围中出现。3.如权利要求1所述的基于人工智能的免标记仪器设备特征锚点检测方法，其特...

【专利技术属性】
技术研发人员：刘桂雄，黄坚，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44