数据处理方法、装置、电子设备以及存储介质制造方法及图纸

本发明专利技术提供了一种数据处理方法、装置、电子设备以及存储介质。数据处理方法包括：基于数据库地址，从预设解析算法库中匹配解析算法；基于配置信息及解析算法，与数据库地址建立连接；基于同步算法对数据库地址对应的数据库中的数据进行同步处理，得到同步数据；若同步数据不符合数据标准，从预设解析算法库中重新匹配解析算法，直至同步数据符合数据标准；将符合数据标准的同步数据进行存储。本发明专利技术实施例的数据处理方法提高了粮情数据处理的可靠性。靠性。靠性。

【技术实现步骤摘要】
数据处理方法、装置、电子设备以及存储介质


[0001]本专利技术实施例涉及计算机
，尤其涉及一种数据处理方法、装置、电子设备以及存储介质。

技术介绍

[0002]随着粮食信息化的推广与应用，收集粮情时需要采集的粮食品种越来越多，各个粮食品种也都对应着不同的厂商，这就对粮情的统一化带来了困难，而统一化第一步就面临了各个厂商的数据提取。
[0003]现有技术中通过人工对各个厂商的数据进行提取，由于各个厂商的数据库地址、数据种类等都存在差异，所以需要选择不同的算法对各个厂商的数据地址进行解析，通常也是以人工的方式进行算法的选择，但是人工选择算法时容易出现算法不匹配的情况，同时人工对数据进行提取速度较慢，提取到的数据容易出现错误。因此，粮情数据处理方法的可靠性较差。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供一种数据处理方法及装置、电子设备以及存储介质，以解决上述问题。
[0005]根据本专利技术实施例的第一方面，提供一种数据处理方法，包括：基于数据库地址，从预设解析算法库中匹配解析算法；基于配置信息及解析算法，与数据库地址建立连接；基于同步算法对数据库地址对应的数据库中的数据进行同步处理，得到同步数据；若同步数据不符合数据标准，从预设解析算法库中重新匹配解析算法，直至同步数据符合数据标准；将符合数据标准的同步数据进行存储。
[0006]在本专利技术的另一实现方式中，基于配置信息及所述解析算法，与数据库地址建立连接，包括：通过解析算法对数据库地址进行解析，得到解析结果；根据配置信息配置连接接口；通过连接接口和解析结果，与数据库地址建立连接。
[0007]在本专利技术的另一实现方式中，通过连接接口和解析结果，与数据库地址建立连接，包括：判断是否与数据库地址连接成功；若与数据库地址连接失败，则从预设解析算法库中重新匹配解析算法对数据库地址进行解析，直至与数据库地址连接成功。
[0008]在本专利技术的另一实现方式中，数据处理方法还包括：同步数据不符合数据标准，或与解析数据库地址连接失败，则解析算法对数据库地址解析失败；若解析算法库中的解析算法均对数据库地址解析失败，则通过扩展插件扩展新的解析算法，通过新的解析算法对数据库地址进行解析处理，直至对数据库地址解析成功。
[0009]在本专利技术的另一实现方式中，判断同步数据是否符合数据标准，包括：对同步数据进行文本特征分析处理，生成分析结果；根据分析结果判断同步数据是否符合数据标准；若分析结果指示同步数据的文本特征存在异常，则同步数据不符合数据标准。
[0010]在本专利技术的另一实现方式中，将符合数据标准的同步数据进行存储，包括：根据数
据类型对同步数据建立类别标签；根据类别标签将同步数据存储至对应的标签数据库中。
[0011]在本专利技术的另一实现方式中，数据处理方法还包括：根据数据库地址，从预设配置信息库中匹配配置信息；通过配置信息对数据库地址及连接接口进行信息配置；若配置信息对数据库地址及连接接口配置失败，则重新匹配配置信息对数据库地址及连接接口进行信息配置，直至配置成功。
[0012]根据本专利技术实施例的第二方面，提供一种数据处理装置，包括：连接模块：用于基于数据库地址，从预设解析算法库中匹配解析算法；还用于基于配置信息及解析算法，与数据库地址建立连接；处理模块：用于基于同步算法对数据库地址对应的数据库中的数据进行同步处理，得到同步数据；还用于若同步数据不符合数据标准，从预设解析算法库中重新匹配解析算法，直至同步数据符合数据标准；存储模块：用于将符合数据标准的同步数据进行存储。
[0013]根据本专利技术实施例的第三方面，提供一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述任一项的数据处理方法的步骤。
[0014]根据本专利技术实施例的第四方面，提供一种计算机存储介质，其特征在于，计算机存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述任一项的数据处理方法中的步骤。
[0015]在本专利技术实施例的数据处理方法中，获取配置信息及从解析算法库中匹配的解析算法，与数据库地址建立连接，将数据库中的数据通过同步算法进行同步处理，得到同步数据，将符合数据标准的同步数据进行存储，通过自动从解析算法库中匹配解析算法，使得数据处理的效率更高，同时依据数据标准对同步数据的数据质量进行判断，使得同步数据更加准确，进一步提高了粮情数据处理的可靠性。
附图说明
[0016]为了更清楚的说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，通过阅读下文实施方式的详细描述，方案中的优点和益处对于本领域的技术人员变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。在附图中：
[0017]图1为本专利技术的一个实施例的数据处理方法的步骤流程图。
[0018]图2为本专利技术的另一实施例的数据处理装置的结构框图。
[0019]图3为本专利技术的另一实施例的电子设备的结构示意图。
具体实施方式
[0020]为了使本领域的人员更好地理解本专利技术实施例中的技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、详细地描述，显然，所描述的实施例仅是本专利技术实施例一部分实施例，而不是全部的实施例。基于本专利技术实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本专利技术实施例保护的范围。
[0021]图1为本专利技术实施例提供的一种数据处理方法的步骤流程图，如图1所示，本实施例主要包括以下步骤：
[0022]S101、基于数据库地址，从预设解析算法库中匹配解析算法。
[0023]示例性地，获取数据库地址，数据库地址由各个厂商自行提供，从预设解析算法库中匹配适配的解析算法，对数据库地址进行解析。获取的数据库地址可以直接进行解析处理，也可以将数据库地址存储至地址库中方便下次使用，对于是否将数据库地址进行存储根据用户需求可自行选择，本申请不作具体限制。
[0024]S102、基于配置信息及解析算法，与数据库地址建立连接。
[0025]示例性地，通过解析算法对数据库地址进行解析，得到解析结果，同时通过配置信息对数据库地址相关信息进行配置，通过解析结果及配置信息与数据库地址建立连接。配置信息包括接口配置信息、数据库配置信息等，其中，接口信息用于对连接接口进行配置，数据库配置信息用于获取数据库中的数据。
[0026]S103、基于同步算法对数据库地址对应的数据库中的数据进行同步处理，得到同步数据。
[0027]示例性地，预设同步算法库，根据用户需求匹配合适的同步算法对数据库中的数据进行同步处理，得到同步数据。例如可以选择同步部分数据或者同步全部数据等。
[0028]S104、若同步数据不符合数据标准，从预设解析算法库中重新匹配解析算法，直至同步数据符合数据标准。
[0029]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，包括：基于数据库地址，从预设解析算法库中匹配解析算法；基于配置信息及所述解析算法，与所述数据库地址建立连接；基于同步算法对所述数据库地址对应的数据库中的数据进行同步处理，得到同步数据；若所述同步数据不符合所述数据标准，从所述预设解析算法库中重新匹配解析算法，直至所述同步数据符合所述数据标准；将符合所述数据标准的同步数据进行存储。2.如权利要求1所述的方法，其特征在于，所述基于配置信息及所述解析算法，与所述数据库地址建立连接，包括：通过所述解析算法对所述数据库地址进行解析，得到解析结果；根据所述配置信息配置连接接口；通过所述连接接口和所述解析结果，与所述数据库地址建立连接。3.如权利要求2所述的方法，其特征在于，所述通过所述连接接口和所述解析结果，与所述数据库地址建立连接，包括：判断是否与所述数据库地址连接成功；若与所述数据库地址连接失败，则从所述预设解析算法库中重新匹配解析算法对所述数据库地址进行解析，直至与所述数据库地址连接成功。4.如权利要求1或3所述的方法，其特征在于，还包括：所述同步数据不符合所述数据标准，或与所述解析数据库地址连接失败，则所述解析算法对所述数据库地址解析失败；若所述解析算法库中的解析算法均对所述数据库地址解析失败，则通过扩展插件扩展新的解析算法，通过所述新的解析算法对所述数据库地址进行解析处理，直至对所述数据库地址解析成功。5.如权利要求1所述的方法，其特征在于，所述判断所述同步数据是否符合数据标准，包括：对所述同步数据进行文本特征分析处理，生成分析结果；根据所述分析结果判断所述同步数据是否...

【专利技术属性】
技术研发人员：张德龙，李超，颜桐，
申请(专利权)人：航天信息股份有限公司，
类型：发明
国别省市：