数字员工AI智能流程编排方法技术

本发明专利技术公开了数字员工AI智能流程编排方法，包括：采集带有流程信息的纸质文件的原始图像，对原始图像进行差异灰度化，得到若干差异灰度化图像；对差异灰度化图像进行预设角度的旋转，得到若干旋转灰度化图像；对旋转灰度化图像进行膨胀，利用霍夫变换检测膨胀后每行字符形成的字符直线，得到字符走向图；根据字符走向图对膨胀前的旋转灰度化图像进行透视变换，得到矫正图；提取矫正图中的箭头标识，以箭头标识作为辅助信息对矫正图进行仿射变换，旋转得到还原图，将还原图二值化后输入至字符识别模块进行识别，依次提取流程信息完成编排。本发明专利技术可以得到准确的文字走向，避免特殊角度等原因导致的识别错误，有利于提高处理速度和准确性。度和准确性。度和准确性。

【技术实现步骤摘要】
数字员工AI智能流程编排方法


[0001]本专利技术涉及数据处理
，特别涉及数字员工AI智能流程编排方法。

技术介绍

[0002]当前，纸质文件所记载的流程信息，如果采用人工输入至计算机，则效率较低，因此图像识别是一种常见的解决方案。其中，OCR（Optical Character Recognition，光学字符识别）是指电子设备检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机数据的过程。是针对印刷体字符，采用光学的方式将纸质文档中的文字转换成为黑白点阵的图像文件，并通过识别软件将图像中的文字转换成文本格式，供文字处理软件进一步编辑加工的技术。衡量一个OCR系统性能好坏的主要指标有：拒识率、误识率、识别速度、产品的稳定性、易用性等。RPA数字员工将传统字符识别与机器学习进行深度融合，可以从非标准文档中解析数据，有助于将手写文本字符转换为机器可读的格式。多数情况下，OCR主要用于简化纸质业务并将其转化成数字化业务，例如：PDF、扫描文件、纸质发票、传真和手写文档等。
[0003]但对于纸质文件的识别来说，由于文件摆放可能不整齐或角度不对正，可能实际拍摄到的字符方向会出现变化，同时个别文件包含表格或流程图，常规的字符方向判断无法使用，因此现有技术针对这一问题，特别是角度差距较大时，会出现难以准确识别的情况。

技术实现思路

[0004]针对现有技术在纸质文件识别过程中难以判断字符角度或方向的问题，本专利技术提供了数字员工AI智能流程编排方法，主要针对文字识别的前期处理，自动修正字符的角度和方向，避免因特殊的表格或流程图等原因导致识别错误或识别失败，有利于提高处理的速度和准确性，得到的结果准确清晰便于后续识别。
[0005]以下是本专利技术的技术方案。
[0006]数字员工AI智能流程编排方法，包括以下步骤：S1：采集带有流程信息的纸质文件的原始图像，对原始图像进行差异灰度化，得到若干差异灰度化图像；S2：对差异灰度化图像进行预设角度的旋转，得到若干旋转灰度化图像；S3：对旋转灰度化图像进行膨胀，利用霍夫变换检测膨胀后每行字符形成的字符直线，得到字符走向图；S4：根据字符走向图对膨胀前的旋转灰度化图像进行透视变换，得到矫正图；S5：提取矫正图中的箭头标识，以箭头标识作为辅助信息对矫正图进行仿射变换，旋转得到还原图，将还原图二值化后输入至字符识别模块进行识别，依次提取流程信息完成编排。
[0007]本专利技术通过差异灰度化可以防止单一灰度化可能出现的图像不清楚的问题，通过
预设角度的旋转，可以保证出现至少一张与摆正角度较小的图像，以减少后续变换过程出错的概率，最后通过一系列变换并借助箭头表示识别流程信息，可以避免因特殊的表格或流程图等原因导致识别错误或识别失败，有利于提高处理的速度和准确性。
[0008]作为优选，所述对原始图像进行差异灰度化，包括：对原始图像以RGB值的平均值作为灰度值进行平均值灰度化，得到平均值灰度化图像；对原始图像以RGB值中的最大值作为灰度值进行最大值灰度化，得到最大值灰度化图像；对原始图像以RGB值结合预设权重进行加权平均灰度化，得到加权平均灰度化图像。
[0009]作为优选，所述预设权重的获取过程，包括：计算原始图像中，R值大于临界值的像素与总像素之比，得到第一比值，计算G值大于临界值的像素与总像素之比，得到第二比值，计算B值大于临界值的像素与总像素之比，得到第三比值；根据第一比值、第二比值、第三比值的大小，等比例确定RGB每个值的预设权重。
[0010]本方案中，以R值大于临界值的像素与总像素之比为例，第一比值越大，表示图像整体上R值的色彩占比越大，对于图像的影响程度就越大，因此等比例确定RGB每个值的预设权重时，R值得到的权重就越大，反之比值越小则得到的权重就越小；该方式可以强化图像色彩特点所带来的差异，特别适用于文字识别类的图像处理任务，因为相比一般的图像，以文字为主的图像中，文字与背景的色彩参数之间通常有明显断档，通过这一方式可以放大参数断档所带来的差异。临界值一般设置为128左右，可以根据实际需要调整。
[0011]作为优选，所述对差异灰度化图像进行预设角度的旋转，得到若干旋转灰度化图像，包括：设置预设角度为
‑
90度、90度、180度，每幅差异灰度化图像依次选取一个预设角度，进行旋转得到若干旋转灰度化图像。一般来说，不确定角度的图像与期望的摆正角的夹角小于45度时识别起来最容易，但事实上图像可能存在平放、倒放的情况，会严重增加识别难度，因此通过上述旋转，必然可以得到至少一个与摆正角的夹角小于45度的图像，识别准确的概率增加，利于文字识别。
[0012]作为优选，所述根据字符走向图对膨胀前的旋转灰度化图像进行透视变换，得到矫正图，包括：以字符走向图中的任意一条字符直线为基准直线，局部拉伸或压缩膨胀前的旋转灰度化图像的像素，以使其余字符直线均与基准直线平行，得到矫正图。
[0013]作为优选，所述提取矫正图中的箭头标识，以箭头标识作为辅助信息对矫正图进行仿射变换，旋转得到还原图，包括：判断同一矫正图中箭头标识的方向，得到若干单位矢量，计算若干单位矢量的总矢量，判断总矢量的指向方向(x,y)；旋转矫正图，直至矫正图中字符直线处在水平位置，且总矢量的指向方向(x,y)中y小于等于0，得到候选图；根据候选图相对于原始图像的实际旋转角进行筛选，保留至少一张合格的候选图
作为还原图。
[0014]本方案对于带有箭头的流程图的识别进行了针对性优化，流程图一般整体从上到下的形式，但由于局部分叉箭头方向并不一致，因此这里根据总矢量的指向方向进行判断，当旋转之后y小于等于0，则表示总矢量具有向下的分量，不论其是往左偏还是往右偏，均符合条件。该步骤可以过滤掉旋转后倒置的图像。
[0015]作为优选，所述根据候选图相对于原始图像的实际旋转角进行筛选，保留至少一张合格的候选图作为还原图，包括：判断同一原始图像处理得到的不同候选图相对于原始图像的实际旋转角，计算每个实际旋转角的数值分布，保留数值差值在10%以内的实际旋转角，删除其余的实际旋转角所对应的候选图，剩下的候选图作为还原图。虽然字符直线处在水平位置，但不排除图像被处理成倒置的情况，在引入箭头判断的基础上可以减少这种可能发生，再通过进一步筛选可以基本上去除这一可能。
[0016]作为优选，所述实际旋转角的计算过程，包括：记录每幅旋转灰度化图像所旋转的预设角度p；记录矫正图旋转得到候选图时的旋转角度q；实际旋转角C=q+p，其中顺时针旋转记为正，逆时针旋转记为负。
[0017]本专利技术的实质性效果包括：利用数字员工对待识别图像进行AI文字识别，通过差异灰度化可以得到若干突出不同颜色特点的灰度图，便于得到特征最清晰的结果；通过预设角度的旋转可以至少得到一个与摆正角的夹角小于45度的图像，识别准确的概率增加；通过对箭头方向的整体判断，辅助矫正过程；通过上述各步骤的层层递进，相互之间共同作用，可以逐渐减少角度、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.数字员工AI智能流程编排方法，其特征在于，包括以下步骤：S1：采集带有流程信息的纸质文件的原始图像，对原始图像进行差异灰度化，得到若干差异灰度化图像；S2：对差异灰度化图像进行预设角度的旋转，得到若干旋转灰度化图像；S3：对旋转灰度化图像进行膨胀，利用霍夫变换检测膨胀后每行字符形成的字符直线，得到字符走向图；S4：根据字符走向图对膨胀前的旋转灰度化图像进行透视变换，得到矫正图；S5：提取矫正图中的箭头标识，以箭头标识作为辅助信息对矫正图进行仿射变换，旋转得到还原图，将还原图二值化后输入至字符识别模块进行识别，依次提取流程信息完成编排。2.根据权利要求1所述的数字员工AI智能流程编排方法，其特征在于，所述对原始图像进行差异灰度化，包括：对原始图像以RGB值的平均值作为灰度值进行平均值灰度化，得到平均值灰度化图像；对原始图像以RGB值中的最大值作为灰度值进行最大值灰度化，得到最大值灰度化图像；对原始图像以RGB值结合预设权重进行加权平均灰度化，得到加权平均灰度化图像。3.根据权利要求2所述的数字员工AI智能流程编排方法，其特征在于，所述预设权重的获取过程，包括：计算原始图像中，R值大于临界值的像素与总像素之比，得到第一比值，计算G值大于临界值的像素与总像素之比，得到第二比值，计算B值大于临界值的像素与总像素之比，得到第三比值；根据第一比值、第二比值、第三比值的大小，等比例确定RGB每个值的预设权重。4.根据权利要求1所述的数字员工AI智能流程编排方法，其特征在于，所述对差异灰度化图像进行预设角度的旋转，得到若干旋转灰度化图像，包括：设置预设角度为
‑
90度、90度、180度...

【专利技术属性】
技术研发人员：冯珺，彭梁英，王红凯，王艺丹，张辰，章九鼎，张楠，孙镇，
申请(专利权)人：国网浙江省电力有限公司，
类型：发明
国别省市：