基于终端用户输入的字符识别模型和递归训练的系统和方法技术方案

一种读取多字符代码的系统和过程的一个实施例可以包括响应于接收到所述多字符代码的图像，标识所述代码的各个字符所在的区域。可以将所标识的区域应用于神经网络以确定所标识的区域中的所述各个字符。可以以有序的序列显示所确定的字符以供用户可视地检查，以便确认所确定的每个字符都是正确的。

Character Recognition Model and Recursive Training System Based on End-user Input

【技术实现步骤摘要】
【国外来华专利技术】基于终端用户输入的字符识别模型和递归训练的系统和方法相关申请的交叉引用本申请要求2017年2月17日提交的美国临时专利申请序列号62/460,601的权益，所述临时专利申请的披露内容通过援引明确地并入本文。
技术介绍
品牌忠诚度对营销商尤其是消费品营销商非常重要。品牌忠诚度可以通过多种方式构建和维护。创建和维护品牌忠诚度的一种方式是通过奖励积分。消费者通常通过购买或使用产品或服务来收集奖励积分。对于食品和饮料公司，例如，产品可以单独标记有消费者可以输入网站的忠诚度代码(下文中称为“代码”)，并且接收与由营销商创建的代码相关联的积分或其他利益(例如，即时奖励)。作为特定示例，一个饮料产品营销商在瓶盖的下表面、多饮料纸盒的内表面、或者饮料瓶、纸盒、或其他产品包装上的其他地方印刷代码(通常具有14个字符)。随着技术的进步，尤其是移动设备和云网络通信，已经设想了更容易的收集代码的方法。在过去，消费者可以通过网站访问忠诚度账户，并且可以经由移动设备访问这些网站，用户可以在所述网站中输入代码。用于简化代码提交的一个过程已经设想使用智能电话的内置相机对代码进行成像。然而，对代码进行成像存在的问题在于：由于各种因素(包括字符的大小、相机的分辨率、覆盖部分代码的饮料污渍、代码字体、捕获代码时的照明和阴影、以及许多其他因素)，智能手机对代码进行的成像以及对成像代码进行的图像处理不可靠。由于对代码(特别是用pin码字符格式印刷的代码)进行成像和图像处理造成问题的各种因素，使用常规的光学字符识别(OCR)不能提供商业上可靠的结果。因此，营销商一直不愿意支持移动成像解决方案，以免对消费者忠诚度产生负面影响。
技术实现思路
为了提供对消费者使用以及对营销商支持品牌忠诚度计划足够准确的成像能力和对代码(包括以pin码字符格式印刷的代码)的图像处理，可以利用一种具有商业上可接受的字符识别率的图像捕获和图像处理过程。图像处理可以包括通过神经网络使用机器学习，并且使用支持忠诚度计划的生产模式使消费者参与主动学习。在实施例中，代码的字符可以用pin码字符格式印刷，如本领域所理解的，所述pin码字符格式包括提供低分辨率字符的点。已经发现，常规的光学字符识别(OCR)算法不能足够精确地处理pin码、低保真字符以满足商业用途。为了提供能够解析pin码字符的图像处理，实施例可以使用图像捕获、字符分割、以及神经网络字符识别建模和匹配过程。经过适当的训练后，所述过程可提供每个字符被准确标识的高置信度水平(例如，95％)，其中，训练可以通过许多消费者的参与进一步使用主动学习，从而加速提高字符识别的准确性。在实施例中，诸如基于浏览器的用户界面或移动app之类的用户界面可以提供可能具有低置信度分数(例如，低于95％、80％、或其他)的一个或多个单独字符的反馈，所述低置信度分数表示通过图像处理未被正确识别或以足够高的概率识别的字符。一种读取多字符代码的过程的一个实施例可以包括响应于接收到所述多字符代码的图像，标识所述代码的各个字符所在的区域。可以将所标识的区域应用于神经网络以确定所标识的区域中的所述各个字符。可以以有序的序列显示所确定的字符以供用户可视地检查，以便确认所确定的每个字符都是正确的。一种系统可以被配置用于支持所述过程。一种方法的一个实施例可以包括接收包括多字符代码的图像的至少一个图像以及代表表示所述多字符代码的各个图像字符的文本字符的数据。可以接收用户输入数据的至少一部分。(多个)图像和数据可以应用于用于训练神经网络并配置用来处理图像以标识所述图像内的字符的图像和数据集。可以基于从用户接收到的(多个)图像和相应数据来更新神经网络。附图说明以下参照附图详细地描述了本专利技术的说明性实施例，将附图通过引用结合在此，并且在附图中：图1是说明性场景(在本例中，具有包含饮料(诸如软饮料)的饮料瓶的场景)的图示；图2是一组说明性消费品包装部件的图示，所述消费品包装部件包括可以使用pin码字符格式分别印刷代码于其上的瓶盖和纸盒；图3是被配置用于支持利用如本文所描述的图像处理的消费者产品忠诚度计划的说明性网络环境的图示；图4A至图4D是可以使用户能够捕获代码的说明性用户界面的屏幕截图；图5A至图5D是示出用于训练神经网络以用于对代码的pin码字符进行图像处理的步骤的图示；图6A和图6B是可用于支持促销奖励系统并包括操作用于对代码进行成像和标识的字符识别模型的一组说明性步骤；图7是可以显示代码字符的说明性用户界面的屏幕截图；图8是说明性过程的流程图，所述说明性过程提供对瓶盖、纸盒、或其他地方上的代码进行成像并对成像代码进行图像处理的附加细节；并且图9是用于执行端到端pin码识别模型训练过程的说明性过程的流程图。具体实施方式关于图1，示出了说明性场景100(在本例中，具有包含饮料(诸如软饮料)的饮料瓶102的场景)的图示。饮料瓶102包括多字符代码106可以印刷于其上的盖子104。通常，多字符代码106可以使用低分辨率pin码字符格式印刷，并且可以定位在盖子104的内表面上，以便在用户购买后并打开时可供使用。代码106可以被提交给网站，并且与由产品(在这种情况下是饮料)的营销商创建的代码106相关联的值可以应用于用户的账户。如进一步示出的，可以使用移动设备108(诸如智能手机)来使用存在于电子设备108上的标准相机特征对代码进行成像。用户界面110可以提供显示代码106的图像112，并且可以显示通过对代码106的图像114进行图像处理而确定的字符集116。如本文进一步描述的，图像处理可以使用神经网络，以便以商业上可接受的商业上令人满意的速率提供pin码字符识别。如进一步示出的，在字符集116内，不能被神经网络(诸如卷积神经网络(CCN))解释或以低置信度或概率水平被神经网络解释或匹配的空白字符点(示出为下划线)可被显示，使得用户可以能够为以低概率匹配标识的那些字符手动添加和/或校正字符。在实施例中，可以在移动设备108上使用用户界面键盘或音频转录特征。用户界面110还可以使用户能够改变所有字符，但是通过图像处理不能解释的字符可以显示为空白字符(例如，下划线)或其他标记(例如，以其他格式(诸如以红色、以粗体、在方框内、或以其他方式)显示的字符)。关于图2，示出了一组说明性消费品包装部件200的图示，包括可以使用pin码字符格式分别印刷代码204a至204h于其上的瓶盖202a至202f和纸盒202g至202h。也可以利用其他印刷格式。如所示出的，瓶盖202a至202f各自具有不同的颜色，并且相应的代码204a至204f各自以不同的颜色印刷。瓶盖202a至202f的颜色可以在从浅色到深色的范围内，包括白色、灰色、绿色、红色、黑色、或任何其他颜色，所述瓶盖的颜色可以被认为是相对于印刷于其上或在盖子前面显示的代码的颜色的背景颜色。代码204可以以前景色印刷，所述前景色也可以例如在从白色到黑色的范围内。如本领域所理解的，可以在印刷的代码上设置可以是透明或半透明并且用于瓶子密封目的塑料或其他基底部件，并且塑料部件可以具有与代码的颜色(例如，黑色)不同的颜色(例如，浅蓝色)。可替代地，代码可以印刷在塑料部件上。当印刷的代码由用户成像时，如本文进一步描述的，塑料部件倾向于引入一定量本文档来自技高网...

【技术保护点】
1.一种读取多字符代码的方法，所述方法包括：响应于接收到所述多字符代码的图像，标识所述代码的各个字符所在的区域；将所标识的区域应用于神经网络以确定所标识区域中的所述各个字符；以及以有序的序列显示所确定的字符以供用户可视地检查，以便确认所确定的每个字符都是正确的。

【技术特征摘要】
【国外来华专利技术】2017.02.17 US 62/460,6011.一种读取多字符代码的方法，所述方法包括：响应于接收到所述多字符代码的图像，标识所述代码的各个字符所在的区域；将所标识的区域应用于神经网络以确定所标识区域中的所述各个字符；以及以有序的序列显示所确定的字符以供用户可视地检查，以便确认所确定的每个字符都是正确的。2.根据权利要求1所述的方法，其中，接收所述多字符代码的所述图像包括接收所述字符用PIN码字符印刷于其中的所述多字符代码的所述图像。3.根据权利要求2所述的方法，其中，接收所述图像包括接收由用户的移动设备捕获的图像，并且其中，所述多字符代码是从消费品包装中捕获的。4.根据权利要求1所述的方法，进一步包括：归一化包括用来调整所述图像的至少一部分的颜色的代码的所述图像的所述至少一部分；并且其中，将所标识的区域应用于所述神经网络包括应用已经归一化的所标识区域。5.根据权利要求1所述的方法，其中，显示所确定的字符包括显示具有如由所述神经网络确定的超过阈值概率水平的概率水平的所确定的字符；并且进一步包括以不同于被确定为具有超过所述阈值概率水平的概率水平的字符的格式显示被确定为具有低于所述阈值概率水平的概率水平的相应一个或多个字符的一个或多个字符，以便通知所述用户提供以不同格式显示的所述代码的一个或多个经校正字符。6.根据权利要求5所述的方法，进一步包括：使用户能够为不同格式的所述字符中的每一个输入所述一个或多个经校正字符。7.根据权利要求5所述的方法，进一步包括：响应于从所述用户接收到所述一个或多个经校正字符，将所述一个或多个经校正字符应用于训练字符集，以训练所述神经网络。8.根据权利要求1所述的方法，其中，使所述用户能够输入经校正字符包括使所述用户能够键入或口头输入所述一个或多个经校正字符。9.根据权利要求1所述的方法，进一步包括：确定所述代码印刷于其上的介质。10.根据权利要求1所述的方法，其中，确定所述代码印刷于其上的介质包括确定是否有圆圈围绕所述代码。11.根据权利要求1所述的方法，进一步包括：在视觉上高亮被确定为具有低于概率阈值水平的字符识别概率的字符中的一个或多个字符或字符位置。12.根据权利要求1所述的方法，其中，在视觉上高亮一个或多个字...

【专利技术属性】
技术研发人员：威廉·帕特里克·布兰特，
申请(专利权)人：可口可乐公司，
类型：发明
国别省市：美国,US