【技术实现步骤摘要】
本专利技术属于计算机视觉，具体涉及一种基于多分类神经网络和方向性描述子算法的自适应矩形拼图方法和系统。
技术介绍
1、在自动化生产和物流转运等领域，自动化拼接和排序机器人的需求日益增加，这些机器人通常需要将随机摆放的矩形或其他形状的物件拼接或排序成特定的形状。为了实现这一目标，机器人需要能够准确地识别物件的信息、位置和方向，然后进行精确的操控。
2、传统的拼接和排序机器人通常基于简单的图像处理算法，如边缘检测、轮廓识别等方法，然而这些方法通常需要物件具有高度一致的形状和颜色，并且实现拼接过程中对于物件的光照环境要求较高。此外，传统拼接方法对于矩形物件拼接时常出现拼接角度的误差，从而针对矩形物件进行拼接时可能会出现效率低下和错误拼接等情况。
3、现有技术尚未提供一种能够同时解决矩形物件识别和精确角度控制问题的有效解决方案。
技术实现思路
1、本专利技术的目的就在于提供一种基于多分类神经网络和方向性描述子算法的自适应矩形拼图方法和系统，以解决
技术介绍
中提出的问题。
2、本专利技术通过以下技术方案来实现上述目的：
3、一种基于多分类神经网络和方向性描述子算法的自适应矩形拼图方法，方法包括：
4、s1：获取若干矩形对象位于同一水平面上的待处理图像；
5、s2：对待处理图像进行预处理，生成对应若干矩形对象的二值图像，采集二值图像中矩形对象的轮廓信息，并提取轮廓信息中最小外接矩形，记录矩形角点的像素坐标；
6、
7、s4：以预先获取的矩形对象摆正状态为基准，基于方向性描述子算法若干矩形对象的待处理图像进行关键点的匹配，以确定矩形对象摆正的旋转角度；
8、s5：基于所述分类结果、所述中心位置坐标和所述旋转角度，控制机械臂对矩形对象执行拼图。
9、作为本专利技术的进一步优化方案，步骤s2中预处理具体为：对待处理图像进行标定、剪裁后，保留待处理图像上矩形对象，将剪裁后的待处理图像转化为灰度图像，并基于设定阈值创建二值图像。
10、作为本专利技术的进一步优化方案，步骤s2中还包括，计算若干矩形对象的所述最小外接矩形面积和长宽比，用于确定并过滤矩形对象边缘出现的噪声。
11、作为本专利技术的进一步优化方案，所述预训练的多分类神经网络模型具体为：
12、预先选取若干矩形对象并获取其在不同光照强度和角度下的待处理图像，以形成数据集，将数据集分为训练集和验证集，基于mobilenetv2构建多分类网络模型，将训练集导入所述模型中进行训练，移除了原始多分类网络模型的输出层，并替换为新输出层，新输出层包含有多个神经元，并使用softmax激活函数，通过所述验证集优化所述多分类网络模型，以适用多分类的任务。
13、作为本专利技术的进一步优化方案，步骤s4具体为：
14、s4.1：将预先收集的矩形对象摆正状态的图像作为示例图像；
15、s4.2：利用方向性描述子算法提取并储存待处理图像和示例图像的关键点信息和描述符，将描述符进行匹配，通过多次随机选择两个匹配点并确定角度差；
16、s4.3：利用异常值检测算法进行中心位置坐标点的角度差进行匹配和噪声过滤，对完成过滤的角度差取中位数，并将中位数作为所述旋转角度。
17、一种基于多分类神经网络和方向性描述子算法的自适应矩形拼图系统，应用于实现上述任一项所述方法，包括：
18、图像采集模块，用于获取若干矩形对象位于同一水平面上的待处理图像；
19、信息提取模块，用于对待处理图像进行标定、剪裁后再进行预处理，生成对应若干矩形对象的二值图像，采集二值图像中矩形对象的轮廓信息，并提取轮廓信息中最小外接矩形，记录矩形角点的像素坐标；
20、分类器模块，用于基于预训练的深度学习模型对所述待处理图像进行识别和分类，输出若干矩形对象分类结果，将所述像素坐标通过变换矩阵转化到预先构建的机械臂坐标系中，得到待处理图像中矩形对象的中心位置坐标；
21、拼图预标定模块，用于以预先获取的矩形对象摆正状态为基准，基于方向性描述子算法若干矩形对象的待处理图像进行关键点的匹配，以确定矩形对象摆正的旋转角度；
22、机械臂控制模块，用于基于所述分类结果、所述中心位置坐标和所述旋转角度，控制机械臂对矩形对象执行拼图。
23、作为本专利技术的进一步优化方案，所述图像采集模块通过图像采集设备按照设定帧率采集矩形对象的待处理图像。
24、作为本专利技术的进一步优化方案，所述拼图预标定模块中还包括利用异常值检测算法对中心位置坐标点的角度差进行噪声过滤，对完成过滤的角度差取中位数，并将中位数作为所述旋转角度。
25、作为本专利技术的进一步优化方案，所述机械臂控制模块控制机械臂对矩形对象执行拼图的动作至少包括旋转、提升和平移。
26、本专利技术的有益效果在于：
27、本专利技术提出基于多分类神经网络对预处理后的待处理图像进行识别和分类，通过方向性描述子算法和异常值检测算法对图像进行处理，减少了拼图过程中噪声和异常匹配，增加了旋转角度计算的精度。本专利技术中拼图系统能快速和简便地适应不同大小和形状的矩形物件，具有很强的通用性，不仅提高了拼图系统在处理复杂任务时的效率，还通过减少人工干预，降低了劳动成本。
本文档来自技高网...【技术保护点】
1.一种基于多分类神经网络和方向性描述子算法的自适应矩形拼图方法，其特征在于，方法包括：
2.根据权利要求1所述的一种基于多分类神经网络和方向性描述子算法的自适应矩形拼图方法，其特征在于：步骤S2中预处理具体为：对待处理图像进行标定、剪裁后，保留待处理图像上矩形对象，将剪裁后的待处理图像转化为灰度图像，并基于设定阈值创建二值图像。
3.根据权利要求1所述的一种基于多分类神经网络和方向性描述子算法的自适应矩形拼图方法，其特征在于：步骤S2中还包括，计算若干矩形对象的所述最小外接矩形面积和长宽比，用于确定并过滤矩形对象边缘出现的噪声。
4.根据权利要求1所述的一种基于多分类神经网络和方向性描述子算法的自适应矩形拼图方法，其特征在于：所述预训练的多分类神经网络模型具体为：
5.根据权利要求1所述的一种基于多分类神经网络和方向性描述子算法的自适应矩形拼图方法，其特征在于：步骤S4具体为：
6.一种基于多分类神经网络和方向性描述子算法的自适应矩形拼图系统，应用于实现权利要求1-5任一项所述方法，其特征在于，包括：
7.
8.根据权利要求6所述的一种基于多分类神经网络和方向性描述子算法的自适应矩形拼图系统，其特征在于，所述拼图预标定模块中还包括利用异常值检测算法对中心位置坐标点的角度差进行噪声过滤，对完成过滤的角度差取中位数，并将中位数作为所述旋转角度。
9.根据权利要求6所述的一种基于多分类神经网络和方向性描述子算法的自适应矩形拼图系统，其特征在于，所述机械臂控制模块控制机械臂对矩形对象执行拼图的动作至少包括旋转、提升和平移。
...【技术特征摘要】
1.一种基于多分类神经网络和方向性描述子算法的自适应矩形拼图方法，其特征在于，方法包括：
2.根据权利要求1所述的一种基于多分类神经网络和方向性描述子算法的自适应矩形拼图方法，其特征在于：步骤s2中预处理具体为：对待处理图像进行标定、剪裁后，保留待处理图像上矩形对象，将剪裁后的待处理图像转化为灰度图像，并基于设定阈值创建二值图像。
3.根据权利要求1所述的一种基于多分类神经网络和方向性描述子算法的自适应矩形拼图方法，其特征在于：步骤s2中还包括，计算若干矩形对象的所述最小外接矩形面积和长宽比，用于确定并过滤矩形对象边缘出现的噪声。
4.根据权利要求1所述的一种基于多分类神经网络和方向性描述子算法的自适应矩形拼图方法，其特征在于：所述预训练的多分类神经网络模型具体为：
5.根据权利要求1所述的一种基于多分类神经网络和方向性描述子算法的自适应矩形...
【专利技术属性】
技术研发人员：陆思良，孙轶南，李昂龙，宋俊材，王骁贤，
申请(专利权)人：安徽大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。