本公开的实施例涉及用于提取图形界面中的数据信息区域的方法、设备和存储介质。根据该方法，获取关于图形界面的界面图像，该界面图像包括图形界面的待提取数据信息区域；经由经训练的深度网络学习模型提取界面图像的特征，以预测关于待提取数据信息区域的多个角点定位数据；基于该多个角点定位数据，从多个候选角点中确定待提取数据信息区域的目标角点；基于目标角点的位置，确定从界面图像到待提取数据信息区域的变换矩阵，以便从界面图像中提取待提取数据信息区域。由此，使得能够自动、准确并高效地提取数据信息区域提取数据信息区域。域。域。
【技术实现步骤摘要】
用于提取数据信息区域的方法、设备和存储介质
[0001]本公开的实施例总体涉及信息标识领域，具体涉及用于提取图形界面中的数据信息区域的方法、设备和存储介质。
技术介绍
[0002]诸如医院信息系统（Hospital Information System, HIS）之类的医疗业务系统可通过其图形界面上的病历区域来显示病人的诊疗信息。目前，通常通过人工方式或者通过传统的机器视觉方式来从这种图像界面上提取或裁切病例区域。然而，由于诸如HIS之类的医疗业务系统仅有医生才有访问权限，因此人工方式需要占用医生大量的时间与精力才有可能完成。另外，对于传统的机器视觉方式，虽然其可以实现自动提取或裁切，但是这种方式的鲁棒性较差，容易受到光照环境以及电脑屏幕摩尔纹的干扰，并且很容易出现裁切错误，从而丢失有用的病历文本区域。
[0003]因此有必要提供一种从医疗业务系统的图形界面上提取数据信息区域（尤其是病历区域）的方法，使得能够自动、准确并高效地提取这种数据信息区域，以有助于提高医生利用这些诊疗信息来有针对性进行病例研究的效率，进而可推动医疗技术的发展。
技术实现思路
[0004]针对上述问题，本公开提供了一种用于提取数据信息区域的方法和设备，使得能够自动、准确并高效地提取数据信息区域（尤其是诊疗信息区域）。
[0005]根据本公开的第一方面，提供了一种用于提取图形界面中的数据信息区域的方法，包括：获取关于图形界面的界面图像，所述界面图像包括所述图形界面的待提取数据信息区域；经由经训练的深度网络学习模型提取所述界面图像的特征，以预测关于待提取数据信息区域的多个角点定位数据，每一角点定位数据都包括与所述待提取数据信息区域的目标边界框相关联的第一数据、与所述待提取数据信息区域的参考角点相关联的第二数据以及与所述待提取数据信息区域的候选角点相关联的第三数据；基于所述多个角点定位数据，从多个候选角点中确定所述待提取数据信息区域的目标角点；基于所述目标角点的位置，确定从所述界面图像到所述待提取数据信息区域的变换矩阵，以便从所述界面图像中提取所述待提取数据信息区域。
[0006]根据本公开的第二方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开的第一方面所述的方法。
[0007]在本公开的第三方面中，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开的第一方面所述的方法。
[0008]在一些实施例中，所述第一数据包括所述目标边界框的中心点的预测位置、所述目标边界框的中心点的位置补偿值以及所述目标边界框的高度和宽度，所述第二数据包括
所述参考角点相对于所述目标边界框的中心点的位置偏移量，所述第三数据包括所述候选角点的预测位置以及所述候选角点的位置补偿值。
[0009]在一些实施例中，所述第一数据还包括所述目标边界框的中心点的置信度，并且所述方法还包括：对于每一角点定位数据，确定所述目标边界框的中心点的置信度是否超过预定阈值；响应于确定所述置信度小于或等于预定阈值，过滤掉所述角点定位数据。
[0010]在一些实施例中，从多个候选角点中确定所述待提取数据信息区域的目标角点包括：对于每一角点定位数据，确定与所述角点定位数据相关联的候选角点和参考角点之间的误差；比较所计算的误差，以便将与最小误差相关联的候选角点确定为所述目标角点。
[0011]在一些实施例中，对于每一角点定位数据，确定与所述角点定位数据相关联的候选角点和参考角点之间的误差包括：基于所述第一数据确定所述目标边界框的位置；基于所述第二数据确定所述参考角点的位置；基于所述第三数据确定所述候选角点的位置；确定所述候选角点是否位于所述目标边界框之上；以及响应于确定所述候选角点位于所述目标边界框之上，基于所述参考角点的位置和所述候选角点的位置确定所述候选角点和所述参考角点之间的误差。
[0012]在一些实施例中，基于所述目标角点的位置，确定从所述界面图像变换到所述待提取数据信息区域的变换矩阵包括：基于所述目标角点的位置，确定所述界面图像的高度和宽度；基于所述界面图像的高度和宽度，确定所述界面图像的界面角点的位置；以及基于所述目标角点的位置和所述界面角点的位置，确定从所述界面图像变换到所述待提取数据信息区域的变换矩阵。
[0013]在一些实施例中，基于所述目标角点的位置，确定所述界面图像的高度和宽度包括：基于左上目标角点的位置和右上目标角点的位置确定所述界面图像的顶部宽度；基于左下目标角点的位置和右下目标角点的位置确定所述界面图像的底部宽度；选取所述界面图像的顶部宽度和底部宽度之间的最大值或最小值作为所述界面图像的宽度；基于所述左上目标角点的位置和所述左下目标角点的位置确定所述界面图像的左侧高度；基于所述右上目标角点的位置和所述右下目标角点的位置确定所述界面图像的右侧高度；选取所述界面图像的左侧高度和右侧高度之间的最大值或最小值作为所述界面图像的高度。
[0014]在一些实施例中，所述方法还包括：基于多个样本界面图像训练深度网络学习模型，以获得所述经训练的深度网络学习模型，每一样本界面图像包括关于数据信息区域的角点位置的标注点，所述多个样本界面图像是通过对多个历史界面图像进行数据增广获得的。
[0015]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0016]结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素。
[0017]图1示出了用于实现根据本专利技术的实施例的用于提取数据信息区域的方法的系统100的示意图。
[0018]图2示出了根据本公开的实施例的用于提取数据信息区域的方法200的流程图。
[0019]图3示出了根据本公开的实施例的目标边界框和参考角点的示意图。
[0020]图4示出了根据本公开的实施例的深度网络学习模型400的示意图。
[0021]图5示出了根据本公开的实施例的用于确定与角点定位数据相关联的候选角点和参考角点之间的误差的方法500的流程图。
[0022]图6示出了根据本公开的实施例的用于确定从界面图像变换到待提取数据信息区域的变换矩阵的方法600的流程图。
[0023]图7示出了根据本公开的实施例的电子设备700的框图。
具体实施方式
[0024]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于提取图形界面中的数据信息区域的方法，包括：获取关于图形界面的界面图像，所述界面图像包括所述图形界面的待提取数据信息区域；经由经训练的深度网络学习模型提取所述界面图像的特征，以预测关于待提取数据信息区域的多个角点定位数据，每一角点定位数据都包括与所述待提取数据信息区域的目标边界框相关联的第一数据、与所述待提取数据信息区域的参考角点相关联的第二数据以及与所述待提取数据信息区域的候选角点相关联的第三数据；基于所述多个角点定位数据，从多个候选角点中确定所述待提取数据信息区域的目标角点；基于所述目标角点的位置，确定从所述界面图像到所述待提取数据信息区域的变换矩阵，以便从所述界面图像中提取所述待提取数据信息区域。2.根据权利要求1所述的方法，其中所述第一数据包括所述目标边界框的中心点的预测位置、所述目标边界框的中心点的位置补偿值以及所述目标边界框的高度和宽度，所述第二数据包括所述参考角点相对于所述目标边界框的中心点的位置偏移量，所述第三数据包括所述候选角点的预测位置以及所述候选角点的位置补偿值。3.根据权利要求2所述的方法，其中所述第一数据还包括所述目标边界框的中心点的置信度，并且所述方法还包括：对于每一角点定位数据，确定所述目标边界框的中心点的置信度是否超过预定阈值；响应于确定所述置信度小于或等于预定阈值，过滤掉所述角点定位数据。4.根据权利要求1或2所述的方法，其中从多个候选角点中确定所述待提取数据信息区域的目标角点包括：对于每一角点定位数据，确定与所述角点定位数据相关联的候选角点和参考角点之间的误差；比较所计算的误差，以便将与最小误差相关联的候选角点确定为所述目标角点。5.根据权利要求4所述的方法，其中对于每一角点定位数据，确定与所述角点定位数据相关联的候选角点和参考角点之间的误差包括：基于所述第一数据确定所述目标边界框的位置；基于所述第二数据确定所述参考角点的位置；基于所述第三数据确定所述候选角点的位置；确定所述候选角点是否位于所述目标边界框之上；以及响应于确定...
【专利技术属性】
技术研发人员：杜晓刚，
申请(专利权)人：北京欧应信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。