【技术实现步骤摘要】
票据照片关键信息提取系统及方法
本专利技术涉及的是一种图像处理领域的技术，具体是一种票据照片关键信息提取系统及方法。
技术介绍
现有的票据关键信息提取技术的主要特点是：通过文本识别检测技术获得整张票据上的文字内容。通过模板匹配或者正则表达式来提取关键信息。这类技术的主要缺陷和不足为：通过模板匹配的方式的方法只能从固定模板类型的票据上提取出关键信息。一旦票据图片的版式不符合系统中含有的模板，就无法正确提取出正确的关键信息。正则表达式匹配来提取关键信息的方法需要人为分析关键信息的格式，设计正则表达式。一旦出现超过正则表达式的关键信息，就无法正确提取出正确的关键信息。
技术实现思路
本专利技术针对现有技术存在的上述不足，提出一种票据照片关键信息提取系统及方法，通过深度神经网络，将文本内容和文本内容位置的结构化信息相结合以提升准确度，能够适应不同方式的文本内容位置信息结合以及多种词向量的转换方式。本专利技术是通过以下技术方案实现的：本专利技术涉及一种票据照片关键信息提取系统，包括：前端模块...
【技术保护点】
1.一种票据照片关键信息提取系统，其特征在于，包括：前端模块以及由通信单元、文本检测单元、识别单元、关键信息提取单元以及回馈单元组成的票据关键信息提取模块，其中：前端模块采集图片并通过通信单元发送至文本检测单元，文本检测单元进行文本检测神经网络推理并得到图片中文本内容块的坐标位置，并相应裁剪图片后通过通信单元发送至识别单元，识别单元从裁剪图片中识别出文本转录内容并通过通信单元发送至关键信息提取单元，关键信息提取单元根据文本内容块的坐标位置和文本转录内容通过关键信息提取网络进行推理并得到关键信息并通过通信单元发送至前端模块进行显示，回馈单元与通信单元相连并采集用户对关键信息的...
【技术特征摘要】
1.一种票据照片关键信息提取系统，其特征在于，包括：前端模块以及由通信单元、文本检测单元、识别单元、关键信息提取单元以及回馈单元组成的票据关键信息提取模块，其中：前端模块采集图片并通过通信单元发送至文本检测单元，文本检测单元进行文本检测神经网络推理并得到图片中文本内容块的坐标位置，并相应裁剪图片后通过通信单元发送至识别单元，识别单元从裁剪图片中识别出文本转录内容并通过通信单元发送至关键信息提取单元，关键信息提取单元根据文本内容块的坐标位置和文本转录内容通过关键信息提取网络进行推理并得到关键信息并通过通信单元发送至前端模块进行显示，回馈单元与通信单元相连并采集用户对关键信息的判断结果后更新数据库；
所述的关键信息是指：票据中的商店，地址，总价格和日期。
2.根据权利要求1所述的票据照片关键信息提取系统，其特征是，所述的前端模块，包括：拍摄单元、相册单元、上传单元、显示单元以及判断单元，其中：拍摄单元调取前端设备的摄像头进行拍摄，相册单元读取前端设备的存储内容，选择其中的图片，上传单元将拍摄单元拍摄的图片或者相册单元选择的图片上传到服务器，显示单元从服务器接收关键信息提取结果后显示在前端界面上，判断单元接收用户对关键信息的判断，上传单元与判断单元相连，将用户的判断结果上传至服务器；用户选择性地判断关键信息结果是否提取正确，选择的结果保存以进行错误分析。
3.根据权利要求1所述的票据照片关键信息提取系统，其特征是，所述的识别单元使用针对中文识别通用的CRNN的算法改进版，即特征提取部分为ResNet45，添加高斯模糊的同时增加随机mask来模拟打印效果较差的数据。
4.一种基于上述任一权利要求所述系统的关键信息提取方法，其特征在于，包括训练阶段和测试阶段，其中：
步骤1、训练阶段，包括训练数据的生成、模型的构建、损失函数的设计、模型训练，具体为：
步骤1.1、训练数据的生成：训练采用公开的SROIE数据集前处理生成本实施例训练模型需要使用到的标注格式；
步骤1.2、模型的构建：将文本内容的向量化和文本位置信息的向量化，其中：
所述的文本内容的向量化包括通过三层CNN网络实现的字符向量化和通过GloVe词向量的方式或通过BERT的方式实现的词语向量化；
所述的文本位置信息的向量化通过可学习的方式转换或正余弦的方式转换，将位置向量与文本内容融合后，通过一层CRF层预测最后的标注；
步骤1.3、设计交叉熵损失损失函数，具体为：其中：N为标签的个数，pk为正确标签向量，qk为神经网络输出的结果向量；
步骤1.4、模型训练：加载预训练好的文本内容向量化网络参数，其他的网络权重采用随机参数初始化，偏置采用全0初始化，针对步骤1.2向量转化进行...
【专利技术属性】
技术研发人员：陶越，徐树公，贾智伟，陈靖超，姜秀峰，穆世义，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。