基于人工智能的四轴机械臂点击和位置校准方法和系统技术方案

本发明专利技术公开了一种基于人工智能的四轴机械臂点击和位置校准方法，包括以下步骤：制作工装夹具，使得被测屏幕处于水平位置；根据关键点识别，且使用摄像头获取所述被测屏幕的区域信息；使用固定位置的所述摄像头拍摄指定所述关键点，根据获取到的所述关键点的尺寸，换算距离关系；以及使用强化学习算法，让机械臂逐步主动逼近所述关键点，将屏幕点击有效反馈和机械臂自身压力反馈的关系作为奖励函数。本发明专利技术提使用该方法和系统之后，无需进行繁琐的示教工作，降低人力投入和人为错误，不再依赖人工进行机械臂点击，云计算下的机械臂智能化提升，可将已有测试/运行步骤，远程输入到人力不可达地方。不可达地方。不可达地方。

【技术实现步骤摘要】
基于人工智能的四轴机械臂点击和位置校准方法和系统


[0001]本专利技术涉及计算机软硬件测试
，具体公开了一种基于人工智能的四轴机械臂点击和位置校准方法和系统。

技术介绍

[0002]在自动化测试领域，通常会通过软硬件方式来模拟人的行为，进行人机交互。对于带触摸屏的设备的测试过程中，常见模拟方式有：1.软件模拟触摸屏事件；2.使用机械臂控制触摸笔进行点击，通过软件模拟屏幕点击事件，通常只能用在做功能性的测试验证，无法测试屏幕的实际响应能力；同时也会因额外占用系统资源来模拟点击事件，无法正确反映系统性能；另外，软件模拟的方式一定程度下侵入了被测系统，容易引起非被测系统自身软件导致的故障，产生额外的定位分析问题的时间和费用。
[0003]在使用机械臂进行点击动作前，通常会需要人工进行示教，引导机械臂行动至指定位置，随后记录下位置信息。如果有多个动作，则需要人工多次进行示教工作，费时费力。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的缺陷，提供一种基于人工智能的四轴机械臂点击和位置校准方法和系统，用于解决现有技术中在使用四轴桌面工业级机械臂点击时，如何将屏幕内需要点击元素位置提取，转成机械臂所认知的三维空间坐标，取得转换关系，且拥有一套自动提升识别能力的机械臂点击系统的问题。
[0005]为了实现以上目的及其他目的，本专利技术是通过包括以下技术方案实现的：
[0006]一种基于人工智能的四轴机械臂点击和位置校准方法，包括以下步骤：
[0007]制作工装夹具，使得被测屏幕处于水平位置；
[0008]根据关键点识别，且使用摄像头获取所述被测屏幕的区域信息；
[0009]使用固定位置的所述摄像头拍摄指定所述关键点，根据获取到的所述关键点的尺寸，换算距离关系；以及
[0010]使用强化学习算法，让机械臂逐步主动逼近所述关键点，将屏幕点击有效反馈和机械臂自身压力反馈的关系作为奖励函数。
[0011]在本专利技术的一个实施例中，所述制作装夹工具，使得被测屏幕处于水平位置，包括：
[0012]将所述被测屏幕至于水平面；以及
[0013]让四轴桌面工业级机械臂的底座也处于水平面。
[0014]在本专利技术的一个实施例中，所述根据关键点识别，且使用摄像头获取所述被测屏幕的区域信息，包括：
[0015]使用YOLOv3模型进行小目标识别；
[0016]从固定位置所述摄像头拍摄到的图片中，识别到指定小目标；以及
[0017]将屏幕的有效区域进行ROI裁剪。
[0018]在本专利技术的一个实施例中，所述使用固定位置的所述摄像头拍摄指定所述关键点，根据获取到的所述关键点的尺寸，换算距离关系，包括：
[0019]根据大小一致的关键点在不同深度下，拍摄后得到的像素大小，获得像素与深度的换算关系，从而得到被测屏幕所在的水平面与摄像头的垂直关系，即得到被测屏幕所在的水平面与摄像头的Z轴关系；
[0020]根据四轴桌面工业级机械臂底座与所述摄像头的Z轴关系得到机械臂与所述被测屏幕所在水平面的Z轴关系。
[0021]在本专利技术的一个实施例中，所述使用强化学习算法，让机械臂逐步主动逼近所述关键点，将屏幕点击有效反馈和机械臂自身压力反馈的关系作为奖励函数，包括：
[0022]利用强化学习方式，设置强化学习用到的奖励函数和惩罚函数，使其自主选择路径移动到屏幕，得到屏幕上至少三个点的世界坐标点(x,y,z)；以及
[0023]根据所述制作工装夹具，使得所述被测屏幕处于水平位置，得到z1＝z2＝z3
…
。
[0024]在本专利技术的一个实施例中，所述奖励函数包括：
[0025]机械臂下探后的面积范围在根据关键点识别，且使用摄像头获取所述被测屏幕的区域信息的区域内；以及
[0026]机械臂末端自身压力感受到反馈压力，并机械臂末端点击到屏幕上。
[0027]一种基于人工智能的四轴机械臂点击和位置校准系统，包括：
[0028]强化学习模型模块；
[0029]屏幕距离测算模块；以及
[0030]屏幕2D坐标转机械臂3D坐标模块。
[0031]在本专利技术的一个实施例中，所述强化学习模型模块包括：
[0032]实验环境模型模块，采用本地训练方式，进行模型预训练，加快模型收敛；以及生产环境模型模块，采用在线训练方式，实时采集数据进行再训练，使得模型匹配具体的生产环境。
[0033]在本专利技术的一个实施例中，所述屏幕距离测算模块通过定焦摄像头拍摄固定大小的锚点，测算出锚点跟摄像头之间的深度关系，利用摄像头成像公式得到垂直移动锚点后新的距离。
[0034]在本专利技术的一个实施例中，所述屏幕2D坐标转机械臂3D坐标模块通过将屏幕水平放置，使得屏幕所在面跟机械臂世界坐标面重合，实现3D降维成2D的目的，再利用摄像头拍照，根据图形的相似性，进行等比例计算，得到屏幕上元素对于机械臂要点击的点的位置。
[0035]综上所述，本专利技术提供了一种基于人工智能的四轴机械臂点击和位置校准方法和系统，使用该方法和系统之后，无需进行繁琐的示教工作，降低人力投入和人为错误，不再依赖人工进行机械臂点击，云计算下的机械臂智能化提升，可将已有测试/运行步骤，远程输入到人力不可达地方，降低差旅消耗。其他的特征、益处和优势将通过本文详述的包括说明书和权利要求书在内的文本公开而显而易见。
附图说明
[0036]图1是本专利技术二维坐标和世界坐标转换示例图；
[0037]图2是本专利技术基于定焦摄像头的位置计算示意图；
[0038]图3是本专利技术的识别效果图；
[0039]图4是本专利技术的在线强化学习网络结构图；
[0040]图5是本专利技术奖励函数的结构示意图。
具体实施方式
[0041]下面结合具体实施例进一步阐述本专利技术，应理解，这些实施例仅用于说明本专利技术而不用于限制本专利技术的保护范围。
[0042]以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。
[0043]本专利技术的一种基于人工智能的四轴机械臂点击和位置校准方法，可以在实验环境下强化预学习，也可以在远程环境下运行。
[0044]实施例1
[0045]当在实验环境下强化预学习时，具体地包括步骤S1至S4：
[0046]S1、制作工装夹具，使得被测屏幕处于水平位置，具体地，将所述被测屏幕至于水平面，让四轴桌面工业级机械臂的底座也处于水平面，即将被测设备放入支架，用水平仪进行检测，使得屏幕水平，在屏幕四个顶点贴上标定签，这种操作方式后，将会将解决三维空间转换问题降维，如图1所示，形成对二维坐标转换关系的求解，使得计算难度大大的降低。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的四轴机械臂点击和位置校准方法，其特征在于，包括以下步骤：制作工装夹具，使得被测屏幕处于水平位置；根据关键点识别，且使用摄像头获取所述被测屏幕的区域信息；使用固定位置的所述摄像头拍摄指定所述关键点，根据获取到的所述关键点的尺寸，换算距离关系；以及使用强化学习算法，让机械臂逐步主动逼近所述关键点，将屏幕点击有效反馈和机械臂自身压力反馈的关系作为奖励函数。2.根据权利要求1所述的校准方法，其特征在于，所述制作装夹工具，使得被测屏幕处于水平位置，包括：将所述被测屏幕至于水平面；以及让四轴桌面工业级机械臂的底座也处于水平面。3.根据权利要求1所述的校准方法，其特征在于，所述根据关键点识别，且使用摄像头获取所述被测屏幕的区域信息，包括：使用YOLOv3模型进行小目标识别；从固定位置所述摄像头拍摄到的图片中，识别到指定小目标；以及将屏幕的有效区域进行ROI裁剪。4.根据权利要求1所述的校准方法，其特征在于，所述使用固定位置的所述摄像头拍摄指定所述关键点，根据获取到的所述关键点的尺寸，换算距离关系，包括：根据大小一致的关键点在不同深度下，拍摄后得到的像素大小，获得像素与深度的换算关系，从而得到被测屏幕所在的水平面与摄像头的垂直关系，即得到被测屏幕所在的水平面与摄像头的Z轴关系；根据四轴桌面工业级机械臂底座与所述摄像头的Z轴关系得到机械臂与所述被测屏幕所在水平面的Z轴关系。5.根据权利要求1所述的校准方法，其特征在于，所述使用强化学习算法，让机械臂逐步主动逼近所述关键点，将屏幕点击有效反馈和机械臂自身压力...

【专利技术属性】
技术研发人员：许根，周磊，
申请(专利权)人：江苏明月智能科技有限公司，
类型：发明
国别省市：