一种基于多信息融合的仪器操作正确性检测方法、装置及介质制造方法及图纸

本申请公开了一种基于多信息融合的仪器操作正确性检测方法、装置及介质，涉及仪器操作正确性检测技术领域。该方法包括获取目标仪器多视角的操作视频信息；基于所述目标仪器的操作视频信息，对操作所述目标仪器的操作点进行实时追踪，以获得所述操作点的实时位置信息；获得所述目标仪器上的操作对象的声音信息；基于所述操作点的实时位置信息和所述操作对象的声音信息，判断所述操作对象是否被启动；在所述操作对象被启动的情况下，显示所述操作对象被启动后对应的操作信息；将所述操作对象被启动后对应的操作信息与预设信息进比对，以获得所述目标仪器的操作正确性的检测结果。通过上述技术方案可以更准确的对目的仪器操作的正确性进行检测。操作的正确性进行检测。操作的正确性进行检测。

【技术实现步骤摘要】
一种基于多信息融合的仪器操作正确性检测方法、装置及介质


[0001]本申请涉及仪器操作正确性检测
，尤其涉及一种基于多信息融合的仪器操作正确性检测方法、装置及介质。

技术介绍

[0002]在生产和测试现场，有大量需要人工操作的仪器设备，对这些仪器设备操作的正确性，不仅仅关系到仪器记录数据的正确性，还关系到生产质量，甚至关系到人员的安全。因此，制定了仪器设备的操作规范，并且对操作人员进行岗前的培训。但是对于一些离散型制造业的柔性生产线，操作人员往往需要熟悉多种仪器设备的操作，并且每年还会新增一些仪器设备，从而增加了规范操作的难度。
[0003]综上，现有技术中操作人员仅仅参考仪器的操作规范，不能对仪器操作的正确性进行准确的检测。

技术实现思路

[0004]本申请的主要目的在于提供基于多信息融合的仪器操作正确性检测方法、装置及介质，旨在解决现有技术中操作人员仅仅参考仪器的操作规范，不能对仪器操作的正确性进行准确检测的技术问题。
[0005]为实现上述目的，本申请第一方面提供了一种基于多信息融合的仪器操作正确性检测方法，所述方法包括：
[0006]获取目标仪器多视角的操作视频信息；
[0007]基于所述目标仪器的操作视频信息，对操作所述目标仪器的操作点进行实时追踪，以获得所述操作点的实时位置信息；
[0008]获得所述目标仪器上的操作对象的声音信息；其中，所述操作对象为被所述操作点操作的对象；
[0009]基于所述操作点的实时位置信息和所述操作对象的声音信息，判断所述操作对象是否被启动；
[0010]在所述操作对象被启动的情况下，显示所述操作对象被启动后对应的操作信息；
[0011]将所述操作对象被启动后对应的操作信息与预设信息进比对，以获得所述目标仪器的操作正确性的检测结果。
[0012]可选地，在所述将所述操作对象被启动后对应的操作信息与预设信息进比对，以获得所述目标仪器的操作正确性的检测结果的步骤之后，还包括：
[0013]基于所述目标仪器的操作正确性的检测结果，获得所述目标仪器的操作误差；
[0014]基于所述操作误差，获得所述操作误差的误差级别；
[0015]基于所述操作误差的误差级别，发送提示信息。
[0016]可选地，在所述基于所述操作误差的误差级别，发送提示信息的步骤之后，还包
括：
[0017]将所述操作误差的误差级别与预设级别进行比对；其中，所述预设级别用于判断所述目标仪器的操作误差的大小；
[0018]若所述操作误差的误差级别大于所述预设级别，则发送切断指令；其中，所述切断指令为切断该操作误差对应的输出信号的指令。
[0019]可选地，所述将所述操作对象被启动后对应的操作信息与预设信息进比对，以获得所述目标仪器的操作正确性的检测结果，包括：
[0020]输出被启动的所述操作对象对应的操作信息；
[0021]识别输出的所述操作对象对应的操作信息，以提取与识别出的所述操作对象的操作信息对应的预设信息；
[0022]将识别的所述操作对象对应的操作信息与提取的所述预设信息进行对比，以获得所述目标仪器的操作正确性的检测结果。
[0023]可选地，所述基于所述操作点的实时位置信息和所述操作对象的声音信息，判断所述操作对象是否被启动，包括：
[0024]基于所述操作点的实时位置信息，获得所述操作点的位置坐标；
[0025]基于所述目标仪器的操作视频信息，获得所述目标仪器的操作对象的位置坐标；
[0026]基于所述操作对象的声音信息、所述操作点的位置坐标和所述目标仪器的操作对象的位置坐标，判断所述操作对象是否被启动。
[0027]可选地，基于所述操作对象的声音信息、所述操作点的位置坐标和所述目标仪器的操作对象的位置坐标，判断所述操作对象是否被启动，包括：
[0028]基于所述操作点的位置坐标和所述目标仪器的操作对象的位置坐标，获得坐标误差；所述坐标误差为所述操作点的位置坐标与所述目标仪器的操作对象的位置坐标间的差的绝对值；
[0029]基于预设的操作阈值、所述操作对象的声音信息和所述坐标误差，判断所述操作对象是否被启动；其中，所述坐标误差包括操作阈值。
[0030]可选地，所述基于预设的操作阈值、所述操作点的声音信息和所述坐标误差，判断所述操作对象是否被启动，包括：
[0031]当所述坐标误差小于或等于所述操作阈值，且接收到所述操作对象的声音信息时，所述操作对象被启动。
[0032]可选地，在所述基于所述目标仪器的操作视频信息，对操作所述目标仪器的操作点进行实时追踪，以获得所述操作点的实时位置信息的步骤之前，还包括：
[0033]对所述目标仪器的操作视频信息进行分配；
[0034]所述基于所述目标仪器的操作视频信息，对操作所述目标仪器的操作点进行实时追踪，以获得所述操作点的实时位置信息，包括：
[0035]基于分配后的所述目标仪器的操作视频信息，对操作所述目标仪器的操作点进行实时追踪，以获得所述操作点的实时位置信息。
[0036]可选地，在所述基于所述操作点的实时位置信息和所述操作对象的声音信息，判断所述操作对象是否被启动的步骤之前，还包括：
[0037]对所述操作对象的声音信息进行识别，以获得被所述操作点操作后对应的所述操
作对象的声音信息；
[0038]所述基于所述操作点的实时位置信息和所述操作对象的声音信息，判断所述操作对象是否被启动，包括：
[0039]基于所述操作点的实时位置信息和被识别的所述操作对象的声音信息，判断所述操作对象是否被启动。
[0040]可选地，所述对所述操作对象的声音信息进行识别，以获得被所述操作点操作后对应的所述操作对象的声音信息，包括：
[0041]对所述目标仪器上的各种所述操作对象的声音信息进行预学习，以获得各种所述操作对象的预存操作声音信息；
[0042]基于各种所述操作对象的预存操作声音信息，对所述操作对象的声音信息进行识别，以获得被所述操作点操作后对应的所述操作对象的声音信息。
[0043]第二方面，本申请提供了一种基于多信息融合的仪器操作正确性检测装置，所述装置包括：
[0044]获取模块，用于获取目标仪器多视角的操作视频信息；
[0045]第一获得模块，用于基于所述目标仪器的操作视频信息，对操作所述目标仪器的操作点进行实时追踪，以获得所述操作点的实时位置信息；
[0046]第二获得模块，用于获得所述目标仪器上的操作对象的声音信息；其中，所述操作对象为被所述操作点操作的对象；
[0047]判断模块，用于基于所述操作点的实时位置信息和所述操作对象的声音信息，判断所述操作对象是否被启动；
[0048]显示模块，用于在所述操作对象被启动的情况下，显示所述操作对象被启动后对应的操作信息；
[0049]第三获得模块，用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多信息融合的仪器操作正确性检测方法，其特征在于，所述方法包括：获取目标仪器多视角的操作视频信息；基于所述目标仪器的操作视频信息，对操作所述目标仪器的操作点进行实时追踪，以获得所述操作点的实时位置信息；获得所述目标仪器上的操作对象的声音信息；其中，所述操作对象为被所述操作点操作的对象；基于所述操作点的实时位置信息和所述操作对象的声音信息，判断所述操作对象是否被启动；在所述操作对象被启动的情况下，显示所述操作对象被启动后对应的操作信息；将所述操作对象被启动后对应的操作信息与预设信息进比对，以获得所述目标仪器的操作正确性的检测结果。2.如权利要求1所述的基于多信息融合的仪器操作正确性检测方法，其特征在于，在所述将所述操作对象被启动后对应的操作信息与预设信息进比对，以获得所述目标仪器的操作正确性的检测结果的步骤之后，还包括：基于所述目标仪器的操作正确性的检测结果，获得所述目标仪器的操作误差；基于所述操作误差，获得所述操作误差的误差级别；基于所述操作误差的误差级别，发送提示信息。3.如权利要求2所述的基于多信息融合的仪器操作正确性检测方法，其特征在于，在所述基于所述操作误差的误差级别，发送提示信息的步骤之后，还包括：将所述操作误差的误差级别与预设级别进行比对；其中，所述预设级别用于判断所述目标仪器的操作误差的大小；若所述操作误差的误差级别大于所述预设级别，则发送切断指令；其中，所述切断指令为切断该操作误差对应的输出信号的指令。4.如权利要求1所述的基于多信息融合的仪器操作正确性检测方法，其特征在于，所述将所述操作对象被启动后对应的操作信息与预设信息进比对，以获得所述目标仪器的操作正确性的检测结果，包括：输出被启动的所述操作对象对应的操作信息；识别输出的所述操作对象对应的操作信息，以提取与识别出的所述操作对象的操作信息对应的预设信息；将识别的所述操作对象对应的操作信息与提取的所述预设信息进行对比，以获得所述目标仪器的操作正确性的检测结果。5.如权利要求1所述的基于多信息融合的仪器操作正确性检测方法，其特征在于，所述基于所述操作点的实时位置信息和所述操作对象的声音信息，判断所述操作对象是否被启动，包括：基于所述操作点的实时位置信息，获得所述操作点的位置坐标；基于所述目标仪器的操作视频信息，获得所述目标仪器的操作对象的位置坐标；基于所述操作对象的声音信息、所述操作点的位置坐标和所述目标仪器的操作对象的位置坐标，判断所述操作对象是否被启动。6.如权利要求5所述的基于多信息融合的仪器操作正确性检测方法，其特征在于，所述
基于所述操作对象的声音信息、所述操作点的位置坐标和所述目标仪器的操作对象的位置坐标，判断所述操作对象是否被启动，包括：基于所述操作点的位置坐标和所述目标仪器的操作对象的位置坐标，获得坐标误差；所述坐标误差为所述操作点的位置坐标与所述目标仪器的操作对象的位置坐标间的差的绝对值；基于预设的操作阈值、所述操作对象的声音信息和所述坐标误差，判断所述操作对象是否被启动；其中，所述坐标误差包括操作阈值。7.如权利要求6所述的基于多信息...

【专利技术属性】
技术研发人员：隋少春，赵淑军，陈涤非，金筑云，王丹阳，高新叶，凌志刚，庞永强，王明磊，戚栓栓，
申请(专利权)人：上海埃威信息科技有限公司，
类型：发明
国别省市：