【技术实现步骤摘要】
本申请涉及碎纸拼接复原，尤其涉及一种基于语义纠错及联想的碎纸拼接复原方法和系统。
技术介绍
1、碎纸拼接复原在军事情报获取、历史文献修复、文档安全保护、文本文件恢复、司法物证复原以及计算机图像处理等领域具有重要作用。由于碎纸上记载着文字和图像信息，可以使用人工复原方式类似拼图进行拼接复原，效率很低。
2、而随着数字图像处理技术的进步，人们为了提高碎纸复原的效率，开始运用计算机视觉技术来进行自动化地拼接复原碎纸。
3、数字图像处理技术的基本原理是，先将碎纸转成局部数字图像，通过局部数字图像上的特征点信息将多张局部数字图像拼接成一张完整的数字图像。
4、现有的碎纸拼接复原方法主要通过计算每张局部数字图像的边缘匹配度，然后根据边缘匹配度将多张局部数字图像拼接。
5、在现有技术中，碎纸拼接修复技术通常采用的计算机视觉检测方法中，具体原理是：通过检查每个碎纸图像的边缘轮廓特征，计算每个碎纸图像的边缘轮廓特征的匹配度。
6、现有的拼接修复方法存在缺陷。当碎纸图像的边缘轮廓特征很少时，例如碎裂的区域为空白区域；或者，当碎纸图像的边缘轮廓特征为撇、捺或点等部首偏旁时，现有的特征匹配公式出现匹配度计算错误，导致错误拼接的几率比较高。
7、为了提高空白或者笔划难以识别的碎纸边缘轮廓的拼接成功率，本申请提供一种基于语义纠错及联想的碎纸拼接复原方法。
技术实现思路
1、为克服相关技术中存在的问题，本申请第一方面提供一种基于语义纠错及联
2、s1、碎纸图像预处理；
3、s2、获取n个所述碎纸图像，对各所述碎纸图像的第i行的字符进行最大宽度填充；
4、s3、根据所述碎纸图像的第i行的行宽，对所述碎纸图像的第i行进行垂直居中对齐；
5、s4、根据所述碎纸图像之间第i行的边缘特征，将n个所述碎纸图像进行排序，获得第一复原图像；其中，所述n为大于等于2的整数，所述i为大于等于1的整数。
6、在一种实施方式中，在所述根据所述碎纸图像之间第i行的边缘特征，将n个所述碎纸图像进行排序，获得第一复原图像之后，还包括：
7、s5、根据语义分析模型判断所述第一复原图像是否完整，若是，则输出第二复原图像，若否，输出残缺图像。
8、在一种实施方式中，在所述输出残缺图像之后，还包括：
9、s6、根据语义填充模型填充所述残缺图像，得到所述第二复原图像。
10、在一种实施方式中，所述根据语义分析模型判断所述第一复原图像是否完整，具体包括：
11、s501、获取所述第一复原图像，并进行语义特征提取；
12、s502、根据循环神经网络和所述第一复原图像建立序列模型；
13、s503、将所述第一复原图像输入训练好的所述语义分析模型，得到字符序列；
14、s504、对所述第一复原图像的字符序列进行语义分割和纠错，若是，则输出第二复原图像；若否，输出残缺图像。
15、在一种实施方式中，所述根据语义填充模型填充所述残缺图像，具体包括：
16、s601、训练语义填充模型；
17、s602、获取并预处理所述残缺图像；
18、s603、将所述残缺图像输入到训练好的所述语义填充模型，得到第二修复图像。
19、在一种实施方式中，其特征在于，所述碎纸图像预处理，具体包括：
20、获取n个碎纸图像，将n个所述碎纸图像分别转换为灰度图像。
21、在一种实施方式中，所述获取n个所述碎纸图像，对各所述碎纸图像的第i行的字符进行最大宽度填充，具体包括：
22、s201、获取n个所述灰度图像，对所述灰度图像的图像像素矩阵进行二值化处理；
23、s202、根据宽度填充算法对所述灰度图像的第i行进行黑色覆盖填充；
24、所述根据所述碎纸图像之间第i行的边缘特征，将n个所述碎纸图像进行排序，获得第一复原图像，具体包括：
25、s301、获取需要进行匹配的第n个和第n+1个所述灰度图像
26、s302、根据第n个所述灰度图像与第n+1个所述灰度图像的行数进行对齐。
27、在一种实施方式中，所述根据宽度填充算法对所述灰度图像的第i行进行黑色覆盖填充，具体包括：
28、根据所述碎纸图像的字符类型确定所述宽度填充算法的公式；
29、若所述碎纸图像的字符类型为中文，则执行中文宽度填充算法；
30、若所述碎纸图像的字符类型为英文，则执行英文宽度填充算法。
31、在一种实施方式中，所述根据第n个所述灰度图像与第n+1个所述灰度图像的行数进行对齐之后，包括：
32、s303、若第n个所述灰度图像与第n+1个所述灰度图像的行数一致，则通过行数对齐公式进行对齐
33、s304、若第n个所述灰度图像与第n+1个所述灰度图像的行数不一致，则根据第i行的上边界所在的行数判断是否对齐。
34、本申请第二方面提供一种基于语义纠错及联想的碎纸拼接复原系统，用于运行本申请第一方面所述的方法，包括：图像预处理模块、图像对齐模块、图像边缘关联度匹配模块、语义分析模块以及语义填充模块；
35、所述图像预处理模块用于执行步骤s1，所述图像对齐模块用于执行步骤s2-s3，所述图像边缘关联度匹配模块用于执行步骤s4，所述语义分析模块用于执行步骤s5，所述语义填充模块用于执行步骤s6。
36、本申请提供的技术方案可以包括以下有益效果：
37、本申请提供一种基于语义纠错及联想的碎纸拼接复原方法，该方法通过对各个所述碎纸图像的字符行进行最大宽度填充，使得在所述碎纸图像中的字符行和空白行之间存在黑色和白色的颜色差别，也就因此，只要所述碎纸图像之间的黑色行相互一一对齐，就说明字符行已经对齐。最后，只要根据所述碎纸图像之间第i行的边缘特征，建立边缘关联度矩阵，将n个所述碎纸图像依边缘关联度由高到低进行排序，就能得到拼接完整，且匹配度高的修复图像。
38、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
本文档来自技高网...【技术保护点】
1.一种基于语义纠错及联想的碎纸拼接复原方法，其特征在于，包括：
2.根据权利要求1所述的一种基于语义纠错及联想的碎纸拼接复原方法，其特征在于，所述根据所述碎纸图像之间第i行的边缘特征，将N个所述碎纸图像进行排序，获得第一复原图像之后还包括：
3.根据权利要求2所述的一种基于语义纠错及联想的碎纸拼接复原方法，其特征在于，在所述输出残缺图像之后，还包括：
4.根据权利要求2所述的一种基于语义纠错及联想的碎纸拼接复原方法，其特征在于，所述根据语义分析模型判断所述第一复原图像是否完整，具体包括：
5.根据权利要求3所述的一种基于语义纠错及联想的碎纸拼接复原方法，其特征在于，所述根据语义填充模型填充所述残缺图像，具体包括：
6.根据权利要求1至5任一项所述的一种基于语义纠错及联想的碎纸拼接复原方法，其特征在于，所述碎纸图像预处理，具体包括：
7.根据权利要求1所述的一种基于语义纠错及联想的碎纸拼接复原方法，其特征在于，所述获取N个所述碎纸图像，对各所述碎纸图像的第i行的字符进行最大宽度填充，具体包括：
8
9.根据权利要求7所述的一种基于语义纠错及联想的碎纸拼接复原方法，其特征在于，所述根据第N个所述灰度图像与第N+1个所述灰度图像的行数进行对齐，之后包括：
10.一种基于语义纠错及联想的碎纸拼接复原系统，其特征在于，基于权利要求1至9任一项所述的方法，包括：图像预处理模块、图像对齐模块、图像边缘关联度匹配模块、语义分析模块以及语义填充模块；
...【技术特征摘要】
1.一种基于语义纠错及联想的碎纸拼接复原方法，其特征在于，包括：
2.根据权利要求1所述的一种基于语义纠错及联想的碎纸拼接复原方法，其特征在于，所述根据所述碎纸图像之间第i行的边缘特征，将n个所述碎纸图像进行排序，获得第一复原图像之后还包括：
3.根据权利要求2所述的一种基于语义纠错及联想的碎纸拼接复原方法，其特征在于，在所述输出残缺图像之后，还包括：
4.根据权利要求2所述的一种基于语义纠错及联想的碎纸拼接复原方法，其特征在于，所述根据语义分析模型判断所述第一复原图像是否完整，具体包括：
5.根据权利要求3所述的一种基于语义纠错及联想的碎纸拼接复原方法，其特征在于，所述根据语义填充模型填充所述残缺图像，具体包括：
6.根据权利要求1至5任一项所述的一种基于语义纠错及联想的碎纸拼接复原...
【专利技术属性】
技术研发人员：温嘉文，岑泳铷，朱冠全，吴博淳，林韦任，刘长红，
申请(专利权)人：广州大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。