一种数据批量导入方法及其系统技术方案

本发明专利技术涉及数据发布技术领域，公开了一种数据批量导入方法及其系统，其中方法包括：在数据库中设定关键词模板；获取内含关键词的目标数据；根据关键词校验目标数据；校验成功则将目标数据导入到数据库；校验不成功，标记目标数据为待审核状态，并推送至人工管理后台；人工管理后台对目标数据进行人工审核，若审核成功，则将目标数据导入到数据库，若审核不成功，则删除目标数据；设置关键词模板提高获取目标数据的准确性，然后校验，若校验通过则可以导入数据库，若校验不通过则采用人工审核的方式来删除，自动校验能够自动的处理通过大量的目标数据，少部分的目标数据才需要人工审核，大大加快了导入目标数据的速度与有效率。

【技术实现步骤摘要】
一种数据批量导入方法及其系统
本专利技术涉及数据发布
，更具体地说，它涉及一种数据批量导入方法及其系统。
技术介绍
在互联网产品交易平台上，用户需要知道网络上该产品的价格波动，以及业内的行情，不同的供应商提供的产品价格与行情之间存在着差异，因此，互联网产品交易平台的后台会通过网络爬虫从而多个不同供应商的产品网站，抓取与该产品有关的产品价格与行情数据，然后再根据抓取的数据分析出该产品的参考产品价格与行情。但是随着互联网上数据的不断增加，网络爬虫抓取的数据数量也越来越大，在数据数量少时，使用人工手动向数据库中录入数据还能够而接受，而当数据数量增加到人工手动录入数据的速度赶不上数据更新的速度时，不能再采用人工手动录入数据的方法，而需要一种数据批量导入的方法。
技术实现思路
本专利技术技术方案所解决的技术问题为，数据数量增加到人工手动录入数据的速度赶不上数据更新的速度时，数据录入需要一种数据批量导入的方法。为实现上述目的，本专利技术技术方案提供了一种数据批量导入方法，包括如下步骤：在数据库中设定关键词模板；获取内含所述关键词的目标数据；根据所述目标数据中的所述关键词对所述目标数据进行校验，其中，校验规则为获取的所述目标数据与所述数据库中的所述目标数据的环比值低于设定环比，或者，校验规则为获取的所述目标数据与所述数据库中的所述目标数据的同比值低于设定同比，或者，校验规则为获取的所述目标数据与所述数据库中的所述目标数据的涨跌幅值未超出设定涨跌幅；若校验成功则将所述目标数据导入到数据库，并将所述目标数据中的所述关键词顺序与所述关键词模板中的所述关键词顺序一致排序；若校验不成功，则所述目标数据标记为待审核状态，并推送至人工管理后台；人工管理后台对标记为待审核状态的所述目标数据进行人工审核，若审核成功，则将所述目标数据导入到所述数据库，若审核不成功，则删除所述目标数据。通过上述技术方案，设置关键词模板提高获取目标数据的准确性，然后校验目标数据中的关键词，若校验通过则可以导入数据库，若校验不通过则采用人工审核的方式来删除，多条成批量处理的目标数据中能校验通过的目标数据数量占据了大部分，因此自动校验能够自动的处理通过大量的目标数据，少部分的目标数据才需要人工审核，大大加快了导入目标数据的速度与效率。进一步的，所述关键词包括数据名称、数据类型以及数据来源。通过上述技术方案，采用数据名称作为关键词能够对目标数据进行初次的识别，数据类型则能提高目标数据的校验准确率，数据来源则能方便人工审核目标数据的可靠性。进一步的，所述获取内含所述关键词的目标数据，还包括：选择导入的数据端口；从所述数据端口中确定导入的数据列表，所述数据列表中具有多条所述目标数据；显示所述数据列表中所述目标数据是否成功导入的结果。通过上述技术方案，选择导入的数据端口能够方便选择不同来源的批量数据，而显示结果则能方便员工观测到导入结果是否出错。进一步的，所述显示所述数据列表中所述目标数据是否成功导入的结果，还包括：建立导入失败日志；在所述导入失败日志中保存导入失败的所述目标数据；在所述导入失败日志中标记该所述目标数据所属的所述数据列表，以及所述数据列表中导入失败的所述目标数据的数量。通过上述技术方案，导入失败日志能让员工查询到之前导入失败的记录，从而方便员工对导入失败的目标数据来源进行判断。进一步的，若所述数据列表中导入失败的所述目标数据的数量占所述数据列表中所述目标数据总数量的百分比大于设定百分比值，则推送所述数据列表至人工管理后台。通过上述技术方案，将导入失败的目标数据多的数据列表推送至人工管理后台，让人工管理后台判断数据列表的准确性，利于提前更换数据列表，避免后面过多的判断准确性低的数据。为了解决上述技术问题，本专利技术技术方案还提供了一种数据批量导入系统，包括：数据库，用于存储数据并供外部设备读写；服务端，与所述数据库信号连接，用于读写所述数据库内的数据，并计算从所述数据库内读写的数据；输入端，与所述服务端信号连接，用于向所述服务端中输入数据；其中，服务端中还包括：设定模块，用于获取所述输入端向所述服务端输入的关键词模板，并将所述关键词模板写入所述数据库；获取模块，用于获取所述输入端向所述服务端输入的内含所述关键词的目标数据；校验模块，用于根据所述目标数据中的所述关键词对所述目标数据进行校验，其中，校验规则为获取的所述目标数据与所述数据库中的所述目标数据的环比值低于设定环比，或者，校验规则为获取的所述目标数据与所述数据库中的所述目标数据的同比值低于设定同比，或者，校验规则为获取的所述目标数据与所述数据库中的所述目标数据的涨跌幅值未超出设定涨跌幅；判定模块，用于在校验成功时，将所述目标数据导入到数据库，并将所述目标数据中的所述关键词顺序与所述关键词模板中的所述关键词顺序一致排序；而在校验不成功时，将所述目标数据标记为待审核状态，并推送至人工管理后台模块；人工后台模块，用于对标记为待审核状态的所述目标数据进行人工审核，若审核成功，则将所述目标数据导入到所述数据库，若审核不成功，则删除所述目标数据。通过上述技术方案，数据库用于存储数据，方便数据的管理工作，服务端从输入端接收数据，然后对数据进行校验判断，从而从大批量的数据中分辨出可以导入的数据，而对不可以导入的数据进行人工审核，自动校验能够自动的处理通过大量的目标数据，少部分的目标数据才需要人工审核，加快了目标数据导入的数据与效率。进一步的，所述关键词包括数据名称、数据类型以及数据来源。通过上述技术方案，数据名称能方便对目标数据进行初次识别，数据类型能降低目标数据的校验错误率，数据来源能方便人工审核目标数据的来源可靠性。进一步的，所述获取模块还包括：选择导入单元，用于在所述服务端中选择导入的数据端口；确定导入单元，用于从所述数据端口中确定导入的数据列表，所述数据列表中具有多条所述目标数据；显示结果单元，用于显示所述数据列表中所述目标数据是否成功导入的结果。通过上述技术方案，选择导入的数据端口能够方便员工选择不同来源的批量数据，让员工能够灵活地导入存储位置不同的数据，显示结果则能方便员工观测到导入结果是否出错。进一步的，所述显示结果单元还包括：建立子单元，用于在所述服务端中建立导入失败日志；保存子单元，用于在所述导入失败日志中保存导入失败的所述目标数据；标记子单元，用于在所述导入失败日志中标记该所述目标数据所属的所述数据列表，以及所述数据列表中导入失败的所述目标数据的数量。通过上述技术方案，建立子单元建立的导入失败日志能让员工查询到之前导入失败的记录，从而方便员工对导入失败的目标数据来源进行判断。进一步的，所述显示结果单元还包括：判断推送子单元，用于判断所述数据列表中导入失败的所述目标数据的数量占所述数据列表中所述目标数据总数量的百分比是否大于设定百分比值，若大于设定百分比值，则推送所述数据列表至人工管理后台。通过上述技术方案，判断推送子单元将导入失败的目标数据多的数据列表推送至人工管理后台，人工再次对数据列表的准确性进行判断，避免后面过多的判断准确性低的数据。本专利技术技术方案的有益效果至少包括：通过设置关键词模板，关键词模板中的关键词能够对目标数据的获取提供依据，提高获取目标数据的准确性，获取目标数据后再校验目标数本文档来自技高网...

【技术保护点】
1.一种数据批量导入方法，其特征在于，包括如下步骤：在数据库（100）中设定关键词模板；获取内含关键词的目标数据；根据所述目标数据中的所述关键词对所述目标数据进行校验，其中，校验规则为获取的所述目标数据与所述数据库（100）中的所述目标数据的环比值低于设定环比，或者，校验规则为获取的所述目标数据与所述数据库（100）中的所述目标数据的同比值低于设定同比，或者，校验规则为获取的所述目标数据与所述数据库（100）中的所述目标数据的涨跌幅值超出设定涨跌幅；若校验成功则将所述目标数据导入到数据库（100），并将所述目标数据中的所述关键词顺序与所述关键词模板中的所述关键词顺序一致排序；若校验不成功，则所述目标数据标记为待审核状态，并推送至人工管理后台；人工管理后台对标记为待审核状态的所述目标数据进行人工审核，若审核成功，则将所述目标数据导入到所述数据库（100），若审核不成功，则删除所述目标数据。

【技术特征摘要】
1.一种数据批量导入方法，其特征在于，包括如下步骤：在数据库（100）中设定关键词模板；获取内含关键词的目标数据；根据所述目标数据中的所述关键词对所述目标数据进行校验，其中，校验规则为获取的所述目标数据与所述数据库（100）中的所述目标数据的环比值低于设定环比，或者，校验规则为获取的所述目标数据与所述数据库（100）中的所述目标数据的同比值低于设定同比，或者，校验规则为获取的所述目标数据与所述数据库（100）中的所述目标数据的涨跌幅值超出设定涨跌幅；若校验成功则将所述目标数据导入到数据库（100），并将所述目标数据中的所述关键词顺序与所述关键词模板中的所述关键词顺序一致排序；若校验不成功，则所述目标数据标记为待审核状态，并推送至人工管理后台；人工管理后台对标记为待审核状态的所述目标数据进行人工审核，若审核成功，则将所述目标数据导入到所述数据库（100），若审核不成功，则删除所述目标数据。2.根据权利要求1所述的方法，其特征在于，所述关键词包括数据名称、数据类型以及数据来源。3.根据权利要求2所述的方法，其特征在于，所述获取内含所述关键词的目标数据，还包括：选择导入的数据端口；从所述数据端口中确定导入的数据列表，所述数据列表中具有多条所述目标数据；显示所述数据列表中所述目标数据是否成功导入的结果。4.根据权利要求3所述的方法，其特征在于，所述显示所述数据列表中所述目标数据是否成功导入的结果，还包括：建立导入失败日志；在所述导入失败日志中保存导入失败的所述目标数据；在所述导入失败日志中标记该所述目标数据所属的所述数据列表，以及所述数据列表中导入失败的所述目标数据的数量。5.根据权利要求4所述的方法，其特征在于，若所述数据列表中导入失败的所述目标数据的数量占所述数据列表中所述目标数据总数量的百分比大于设定百分比值，则推送所述数据列表至人工管理后台。6.一种数据批量导入系统，其特征在于，包括：数据库（100），用于存储数据并供外部设备读写；服务端（200），与所述数据库（100）信号连接，用于读写所述数据库（100）内的数据，并计算从所述数据库（100）内读写的数据；输入端（300），与所述服务端（200）信号连接，用于向所述服务端（200）中输入数据；其中，服务端（200）中还包括：设定模块（210），用于获取所述输入端（300）向所述服务端...

【专利技术属性】
技术研发人员：许士松，
申请(专利权)人：上海钢联电子商务股份有限公司，
类型：发明
国别省市：上海,31