本发明专利技术公开一种基于光度立体的包装盒压印信息识别方法及装置，涉及图像处理技术领域；本发明专利技术方法是多次从不同角度对待测包含压印信息的物体进行打光，同时在同一视角拍摄待测物体，能够得到相对深度图像；对比单次打光的方法，对压印物体单次打光，得到的压印信息对比度较低，而且当存在印刷信息与压印信息重叠的情况时，印刷信息会明显干扰对目标压印信息的干扰。
【技术实现步骤摘要】
本专利技术公开一种基于光度立体的包装盒压印信息识别方法及装置，涉及图像处理。
技术介绍
1、对包装盒日期批号信息采用压印形式压制的字符识别，可能存在的压印深浅不一、压印与药盒原有印刷信息重叠、药盒覆膜产生轻微反光和镭射底纹干扰等问题，在现有的解决方案中，一种是使用工业相机对包装盒压印字符进行单次打光，可将类似轮胎等背景较为单一的压印字符拍摄清楚，结合目标检测技术与文本识别算法，最终将压印信息识别出来。该方法的缺陷是，使用单次打光，在压印文本区域的背景存在如覆膜反光、底纹干扰或者平面图像文本时，精度将会受到影响，从而降低识别精度。
2、另外一种方法是多次投射光栅图像投影到待识别压印字符上，通过一系列解码与标定，对压印字符进行三维重建，从而获取深度图信息，再进行压印字符的检测与识别。该方法的缺陷是光栅图像投射到待测物体表面时容易受环境光干扰，影响成像质量和三维点云的准度。
技术实现思路
1、本专利技术针对现有技术的问题，提供一种基于光度立体的包装盒压印信息识别方法及装置，所采用的技术方案为：
2、第一方面，一种基于光度立体的包装盒压印信息识别方法，包括：
3、s1，根据光度立体技术，对压印图像的景深图像进行采集；
4、s2，根据所述景深图像，通过文本区域检测得到文本区域；其中，所述文本区域检测，通过分割的可微分阈值文本检测模型划分动态阈值，对所述文本区域与背景进行区分；
5、s3，根据所述文本区域，通过文本识别得到文本结果。</p>6、在一些实现方式中，s1具体包括：
7、s11，根据所述压印图像上任意点漫反射的光强，通过所述光强的法向量获取投影关系的深度图；
8、s12，根据所述深度图，获取待测物体的相对景深图像。
9、在一些实现方式中，s2中，所述可微分阈值文本检测模型，包括backbone网络、fpn网络和head网络：
10、s211，根据所述景深图像，通过所述backbone网络作为骨干网络提取图像特征；
11、s212，根据所述图像特征，通过所述fpn网络进行特征金字塔结构增强；
12、s213，根据增强的所述图像特征，通过所述head网络进行文本分割二值图，将所述文本区域与背景区进行区分。
13、在一些实现方式中，所述s213，具体包括：
14、s2131，根据增强的所述图像特征，通过所述head网络计算文本区域的概率图和阈值图；
15、s2132，根据所述概率图和阈值图，通过可微分二值化得到文本分割二值图；
16、s2133，根据所述文本分割二值图，对所述文本区域与背景区进行区分。
17、在一些实现方式中，s3中，所述文本识别通过卷积循环神经网络实现；所述卷积循环神经网络具体包括卷积层、递归层和转录层：
18、s31，将所述卷积层作为卷积的底层骨干网络，提取所述文本区域的特征序列；
19、s32，根据所述特征序列，通过所述递归层转换为序列特性，得到每个帧的标签分布预测；
20、s33，根据标签分布预测，通过所述转录层利用全连接网络和softmax激活函数，得到标签序列；
21、s34，根据所述标签序列，通过所述卷积循环神经网络的时序类分类得到对应的输出序列；
22、s35，将所述输出序列相同的标签序列进行合并，得到预测的文本结果。
23、第二方面，本专利技术实施例提供一种基于光度立体的包装盒压印信息识别装置，包括：
24、图像采集模块，用于根据光度立体技术，对压印图像的景深图像进行采集；
25、文本区域检测模块，用于根据所述景深图像，通过文本区域检测得到文本区域；其中，所述文本区域检测，通过分割的可微分阈值文本检测模型划分动态阈值，对所述文本区域与背景进行区分；
26、文本识别模块，用于根据所述文本区域，通过文本识别得到文本结果。
27、在一些实现方式中，所述图像采集模块具体包括：
28、投影单元，用于根据所述压印图像上任意点漫反射的光强，通过所述光强的法向量获取投影关系的深度图；
29、景深单元，用于根据所述深度图，获取待测物体的相对景深图像。
30、在一些实现方式中，所述可微分阈值文本检测模型，包括backbone网络、fpn网络和head网络；所述文本区域检测模块具体包括：
31、提取单元，用于根据所述景深图像，通过所述backbone网络作为骨干网络提取图像特征；
32、增强单元，用于根据所述图像特征，通过所述fpn网络进行特征金字塔结构增强；
33、区分单元，用于根据增强的所述图像特征，通过所述head网络进行文本分割二值图，将所述文本区域与背景区进行区分。
34、在一些实现方式中，所述区分单元，具体包括：
35、计算子单元，用于根据增强的所述图像特征，通过所述head网络计算文本区域的概率图和阈值图；
36、微分子单元，用于根据所述概率图和阈值图，通过可微分二值化得到文本分割二值图；
37、分割子单元，用于根据所述文本分割二值图，对所述文本区域与背景区进行区分。
38、在一些实现方式中，所述文本识别通过卷积循环神经网络实现；所述卷积循环神经网络具体包括卷积层、递归层和转录层；
39、所述文本识别模块具体包括：
40、提取单元，用于将所述卷积层作为卷积的底层骨干网络，提取所述文本区域的特征序列；
41、预测单元，用于根据所述特征序列，通过所述递归层转换为序列特性，得到每个帧的标签分布预测；
42、转录单元，用于根据标签分布预测，通过所述转录层利用全连接网络和softmax激活函数，得到标签序列；
43、输出单元，用于根据所述标签序列，通过所述卷积循环神经网络的时序类分类得到对应的输出序列；
44、合并单元，用于将所述输出序列相同的标签序列进行合并，得到预测的文本结果。
45、第三方面，本专利技术实施例提供一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时，实现如上述第一方面所述的方法。
46、第四方面，本专利技术实施例提供一种计算机存储介质，所述计算机可读取存储介质中存储有计算机程序，所述计算机程序被处理器执行时，用实现如第一方面所述的方法。
47、本专利技术的一个或多个实施例至少能够带来如下有益效果：
48、本专利技术方法通过分次从不同方向对待测物体进行打光，同时在固定的视角采集不同打光下的物体图像，进行光度立体的图像处理，得到凹凸对比度明显的相对深度图像，从而使得原本对比度较低的包装盒日期批号信息变得突出，对于包装盒印刷信息与压印信息重叠的内容，由于印刷信息不存在明显的凹凸，印刷信本文档来自技高网
...
【技术保护点】
1.一种基于光度立体的包装盒压印信息识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，S1具体包括：
3.根据权利要求2所述的方法，其特征在于，S2中，所述可微分阈值文本检测模型，包括Backbone网络、FPN网络和Head网络：
4.根据权利要求3所述的方法，其特征在于，所述S213，具体包括：
5.根据权利要求4所述的方法，其特征在于，S3中，所述文本识别通过卷积循环神经网络实现；所述卷积循环神经网络具体包括卷积层、递归层和转录层：
6.一种基于光度立体的包装盒压印信息识别装置，其特征在于，包括：
7.根据权利要求6所述的装置，其特征在于，所述可微分阈值文本检测模型，包括Backbone网络、FPN网络和Head网络；所述文本区域检测模块具体包括：
8.根据权利要求7所述的装置，其特征在于，所述区分单元，具体包括：
9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现如上述权利要求1-5中任意一项所述的方法 。
10.一种计算机可读存储介质，其特征在于，所述计算机可读取存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现如上述权利要求1-5中任意一项所述的方法。
...
【技术特征摘要】
1.一种基于光度立体的包装盒压印信息识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，s1具体包括：
3.根据权利要求2所述的方法，其特征在于，s2中，所述可微分阈值文本检测模型，包括backbone网络、fpn网络和head网络：
4.根据权利要求3所述的方法，其特征在于，所述s213，具体包括：
5.根据权利要求4所述的方法，其特征在于，s3中，所述文本识别通过卷积循环神经网络实现；所述卷积循环神经网络具体包括卷积层、递归层和转录层：
6.一种基于光度立体的包装盒压印信息识别装置，其特征在于，包括：
7....
【专利技术属性】
技术研发人员：巢建树，赖佳华，马小强，张定华，官敬超，
申请(专利权)人：泉州装备制造研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。