数据采集方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术公开一种数据采集方法、装置、设备及计算机可读存储介质，所述方法包括：当接收到需求采集文档时，读取需求采集文档中的筛选范围信息和需求字段信息；调用预设自助报表，并将筛选范围信息以及各需求字段信息分别和各预设自助报表的报表范围信息以及报表字段信息对比，生成需求采集文档和各预设自助报表之间的匹配度；根据各匹配度，确定各预设自助报表中的多个目标自助报表，并将多个目标自助报表返回到所述需求采集文档对应的用户账户，以进行数据采集。本方案基于大数据处理技术生成的匹配度表征了各预设自助报表对需求采集文档所要采集数据的适用程度，从中确定适用程度高的多个目标自助报表进行数据采集，使得所采集的数据更为准确。

Data acquisition method, device, equipment and computer readable storage medium

The invention discloses a data collection method, device, device and computer readable storage medium, the method includes: when receiving a demand collection document, reading the filtering range information and demand field information in the demand collection document; calling a preset self-service report, and separately integrating the filtering range information and each demand field information with the report range information of each preset self-service report And report field information comparison to generate the matching degree between demand collection documents and preset self-service reports; according to each matching degree, determine multiple target self-service reports in each preset self-service report, and return multiple target self-service reports to the user account corresponding to the demand collection documents for data collection. Based on the matching degree generated by big data processing technology, this scheme shows the applicability of each preset self-service report to the data to be collected by the demand collection document, from which multiple target self-service reports with high applicability are determined for data collection, making the collected data more accurate.

【技术实现步骤摘要】
数据采集方法、装置、设备及计算机可读存储介质
本专利技术主要涉及数据处理
，具体地说，涉及一种数据采集方法、装置、设备及计算机可读存储介质。
技术介绍
目前，为了对各种类型的数据进行批量采集，通常设置有自助采集报表，在对某些数据有采集需求时，由人工判断该各个数据对应的各个字段是否均存在于某一张自助采集报表中，若均存在某一张自助采集报表中，则调用该自助采集报表进行采集。但是各个自助采集报表会随着时间更新，更新前后的自助采集报表所适用的数据采集类型发生变化，容易导致所调用的自助采集报表不适合对所需要采集的数据进行采集，进而使得所采集的数据不准确。
技术实现思路
本专利技术的主要目的是提供一种数据采集方法、装置、设备及计算机可读存储介质，旨在解决现有技术中对数据采集的不准确的问题。为实现上述目的，本专利技术提供一种数据采集方法，所述数据采集方法包括以下步骤：当接收到需求采集文档时，读取所述需求采集文档中的筛选范围信息和需求字段信息；调用预设自助报表，并将所述筛选范围信息以及各所述需求字段信息分别和各所述预设自助报表的报表范围信息以及报表字段信息对比，生成所述需求采集文档和各所述预设自助报表之间的匹配度；根据各所述匹配度，确定各所述预设自助报表中的多个目标自助报表，并将多个所述目标自助报表返回到所述需求采集文档对应的用户账户，以供所述用户账户基于多个所述目标自助报表进行数据采集。优选地，所述将所述筛选范围信息以及各所述需求字段信息分别和各所述预设自助报表的报表范围信息以及报表字段信息对比，生成所述需求采集文档和各所述预设自助报表之间的匹配度的步骤包括：将所述筛选范围信息分别和各所述预设自助报表的报表范围信息进行对比，确定与各所述预设自助报表对应的范围区间，并将各所述范围区间分别和所述筛选范围信息对应的筛选区间对比，确定范围匹配度；将各所述需求字段信息分别和各所述预设自助报表的报表字段信息进行对比，确定与各所述预设自助报表对应的字段数量，并将各所述字段数量分别和所述需求字段信息对应的需求数量对比，确定字段匹配度；根据各所述报表范围信息、各所述报表字段信息与各所述预设自助报表之间的对应关系，对各所述范围匹配度以及各所述字段匹配度整合，生成所述需求采集文档和各所述预设自助报表之间的匹配度。优选地，所述对各所述范围匹配度以及各所述字段匹配度整合，生成所述需求采集文档和各所述预设自助报表之间的匹配度的步骤包括：将各所述范围匹配度和预设第一阈值对比，确定各所述范围匹配度中大于所述预设第一阈值的目标范围匹配度；将各所述字段匹配度和预设第二阈值对比，确定各所述范围匹配度中大于所述预设第二阈值的目标字段匹配度；筛选各所述预设自助报表对应的所述目标范围匹配度和所述目标字段匹配度之间的较小值，并将各所述较小值生成为所述需求采集文档和各所述预设自助报表之间的匹配度。优选地，所述将多个所述目标自助报表返回到所述需求采集文档对应的用户账户，以供所述用户账户基于多个所述目标自助报表进行数据采集的步骤之后包括：接收所述用户账户发送的选择指令，并根据所述选择指令中的报表标识，从多个所述目标自助报表中确定选择自助报表；根据所述筛选范围信息和各所述需求字段信息，设定所述选择自助报表中的采集范围和采集字段，以将所述选择自助报表更新为采集报表进行数据采集。优选地，所述调用预设自助报表的步骤之前包括：读取所述需求采集文档中的业务方信息和需求用途信息，并根据所述业务方信息判断所述需求采集文档的有效性，生成判断结果；当所述判断结果为所述需求采集文档有效时，则根据所述需求用途信息设定所述需求采集文档的优先级，并根据所述优先级，在预设采集队列中对所述需求采集文档进行排列；记录所述需求采集文档在所述预设采集队列中的排列顺序，并检测所述预设采集队列的采集顺序，当所述采集顺序和所述排列顺序一致时，执行调用预设自助报表的步骤。优选地，所述根据所述需求用途信息设定所述需求采集文档的优先级的步骤之前包括：将各所述需求字段信息和预设敏感关键字对比，判断各所述需求字段信息中是否存在预设敏感关键字；若各所述需求字段信息中存在所述预设敏感关键字，则触发对所述预设敏感关键字进行采集的申请指令，并在所述申请指令对应的申请结果为申请成功后，执行根据所述需求用途信息设定所述需求采集文档的优先级的步骤。优选地，所述触发对所述预设敏感关键字进行采集的申请指令的步骤之后包括：当侦测到所述申请指令时，则调用与所述预设敏感关键字对应的用途规则，并判断所述需求用途信息是否和所述用途规则对应；读取所述业务方信息中的权限信息，并根据所述权限信息，判断所述用户账户是否具有采集所述预设敏感关键字的权限；当所述需求用途信息和所述用途规则对应，且所述用户账户具有采集所述预设敏感关键字的权限，则判定所述申请指令对应的申请结果为申请成功。此外，为实现上述目的，本专利技术还提出一种数据采集装置，所述数据采集装置包括：读取模块，用于当接收到需求采集文档时，读取所述需求采集文档中的筛选范围信息和需求字段信息；调用模块，用于调用预设自助报表，并将所述筛选范围信息以及各所述需求字段信息分别和各所述预设自助报表的报表范围信息以及报表字段信息对比，生成所述需求采集文档和各所述预设自助报表之间的匹配度；采集模块，用于根据各所述匹配度，确定各所述预设自助报表中的多个目标自助报表，并将多个所述目标自助报表返回到所述需求采集文档对应的用户账户，以供所述用户账户基于多个所述目标自助报表进行数据采集。此外，为实现上述目的，本专利技术还提出一种数据采集设备，所述数据采集设备包括：存储器、处理器、通信总线以及存储在所述存储器上的数据采集程序；所述通信总线用于实现处理器和存储器之间的连接通信；所述处理器用于执行所述数据采集程序，以实现以下步骤：当接收到需求采集文档时，读取所述需求采集文档中的筛选范围信息和需求字段信息；调用预设自助报表，并将所述筛选范围信息以及各所述需求字段信息分别和各所述预设自助报表的报表范围信息以及报表字段信息对比，生成所述需求采集文档和各所述预设自助报表之间的匹配度；根据各所述匹配度，确定各所述预设自助报表中的多个目标自助报表，并将多个所述目标自助报表返回到所述需求采集文档对应的用户账户，以供所述用户账户基于多个所述目标自助报表进行数据采集。此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序可被一个或者一个以上的处理器执行以用于：当接收到需求采集文档时，读取所述需求采集文档中的筛选范围信息和需求字段信息；调用预设自助报表，并将所述筛选范围信息以及各所述需求字段信息分别和各所述预设自助报表的报表范围信息以及报表字段信息对比，生成所述需求采集文档和各所述预设自助报表之间的匹配本文档来自技高网...

【技术保护点】
1.一种数据采集方法，其特征在于，所述数据采集方法包括以下步骤：/n当接收到需求采集文档时，读取所述需求采集文档中的筛选范围信息和需求字段信息；/n调用预设自助报表，并将所述筛选范围信息以及各所述需求字段信息分别和各所述预设自助报表的报表范围信息以及报表字段信息对比，生成所述需求采集文档和各所述预设自助报表之间的匹配度；/n根据各所述匹配度，确定各所述预设自助报表中的多个目标自助报表，并将多个所述目标自助报表返回到所述需求采集文档对应的用户账户，以供所述用户账户基于多个所述目标自助报表进行数据采集。/n

【技术特征摘要】
1.一种数据采集方法，其特征在于，所述数据采集方法包括以下步骤：
当接收到需求采集文档时，读取所述需求采集文档中的筛选范围信息和需求字段信息；
调用预设自助报表，并将所述筛选范围信息以及各所述需求字段信息分别和各所述预设自助报表的报表范围信息以及报表字段信息对比，生成所述需求采集文档和各所述预设自助报表之间的匹配度；
根据各所述匹配度，确定各所述预设自助报表中的多个目标自助报表，并将多个所述目标自助报表返回到所述需求采集文档对应的用户账户，以供所述用户账户基于多个所述目标自助报表进行数据采集。


2.如权利要求1所述的数据采集方法，其特征在于，所述将所述筛选范围信息以及各所述需求字段信息分别和各所述预设自助报表的报表范围信息以及报表字段信息对比，生成所述需求采集文档和各所述预设自助报表之间的匹配度的步骤包括：
将所述筛选范围信息分别和各所述预设自助报表的报表范围信息进行对比，确定与各所述预设自助报表对应的范围区间，并将各所述范围区间分别和所述筛选范围信息对应的筛选区间对比，确定范围匹配度；
将各所述需求字段信息分别和各所述预设自助报表的报表字段信息进行对比，确定与各所述预设自助报表对应的字段数量，并将各所述字段数量分别和所述需求字段信息对应的需求数量对比，确定字段匹配度；
根据各所述报表范围信息、各所述报表字段信息与各所述预设自助报表之间的对应关系，对各所述范围匹配度以及各所述字段匹配度整合，生成所述需求采集文档和各所述预设自助报表之间的匹配度。


3.如权利要求2所述的数据采集方法，其特征在于，所述对各所述范围匹配度以及各所述字段匹配度整合，生成所述需求采集文档和各所述预设自助报表之间的匹配度的步骤包括：
将各所述范围匹配度和预设第一阈值对比，确定各所述范围匹配度中大于所述预设第一阈值的目标范围匹配度；
将各所述字段匹配度和预设第二阈值对比，确定各所述范围匹配度中大于所述预设第二阈值的目标字段匹配度；
筛选各所述预设自助报表对应的所述目标范围匹配度和所述目标字段匹配度之间的较小值，并将各所述较小值生成为所述需求采集文档和各所述预设自助报表之间的匹配度。


4.如权利要求3所述的数据采集方法，其特征在于，所述将多个所述目标自助报表返回到所述需求采集文档对应的用户账户，以供所述用户账户基于多个所述目标自助报表进行数据采集的步骤之后包括：
接收所述用户账户发送的选择指令，并根据所述选择指令中的报表标识，从多个所述目标自助报表中确定选择自助报表；
根据所述筛选范围信息和各所述需求字段信息，设定所述选择自助报表中的采集范围和采集字段，以将所述选择自助报表更新为采集报表进行数据采集。


5.如权利要求1-4任一项所述的数据采集方法，其特征在于，所述调用预设自助报表的步骤之前包括：...

【专利技术属性】
技术研发人员：刘雪花，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：广东;44