数据采集方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术公开一种数据采集方法、装置、设备及计算机可读存储介质，所述方法包括：当接收到基于预设采集口径上传的自助报表时，读取自助报表的目标匹配字段以及预设采集口径的类型标识；判断目标匹配字段是否和类型标识对应，若和类型标识对应，则根据自助报表，生成待采集报表；当接收到包含待采集字段的指令时，则根据目标匹配字段在待采集报表中对应数据列的采集依据信息，采集与各待采集字段对应的字段数据，并将各字段数据返回到所述待采集报表的空白列。本方案将基于大数据处理技术所采集到的字段数据返回到待采集报表的空白列进行存储，使所采集得到的数据和待采集报表中的原有数据均存在于待采集报表中，简化了采集过程，提高了采集效率。

Data acquisition method, device, equipment and computer readable storage medium

The invention discloses a data acquisition method, device, device and computer readable storage medium. The method includes: when receiving the self-service report uploaded based on the preset acquisition caliber, reading the target matching field of the self-service report and the type identification of the preset acquisition caliber; judging whether the target matching field corresponds to the type identification, if it corresponds to the type identification, then according to the The auxiliary report generates the report to be collected; when receiving the instruction containing the field to be collected, the field data corresponding to each field to be collected will be collected according to the collection basis information of the corresponding data column of the target matching field in the report to be collected, and the data of each field will be returned to the blank column of the report to be collected. In this scheme, the field data collected based on big data processing technology is returned to the blank column of the report to be collected for storage, so that the collected data and the original data in the report to be collected exist in the report to be collected, which simplifies the collection process and improves the collection efficiency.

【技术实现步骤摘要】
数据采集方法、装置、设备及计算机可读存储介质
本专利技术主要涉及数据处理
，具体地说，涉及一种数据采集方法、装置、设备及计算机可读存储介质。
技术介绍
目前，在对大量数据进行采集时，通常将包含有采集依据的数据表作为采集报表，进而根据该采集报表中的采集依据进行所需要采集数据的采集；如对多个用户的年龄进行采集，则将包含有多个用户姓名的数据表作为采集报表，以对与各用户姓名对应的用户年龄进行采集。但是，在根据采集报表进行采集的过程中，仅保留其中的采集依据，而将其他的数据删除；如对于上述包含有多个姓名的数据表中，还包括有用户电话号码，在采集过程中，仅依据其中的用户姓名进行采集，而将其中的用户电话号码进行删除。如此一来，导致了采集报表中原有数据的丢失；而为了保留原有的数据，在采集之前先对采集报表中的各数据进行备份操作，采集之后再由人工将采集到的数据添加到备份的采集报表中，对两者进行合并；数据采集的过程繁琐，采集效率低。
技术实现思路
本专利技术的主要目的是提供一种数据采集方法、装置、设备及计算机可读存储介质，旨在解决现有技术中数据采集过程繁琐，采集效率低的问题。为实现上述目的，本专利技术提供一种数据采集方法，所述数据采集方法包括以下步骤：当接收到基于预设采集口径上传的自助报表时，读取所述自助报表的目标匹配字段以及所述预设采集口径的类型标识；判断所述目标匹配字段是否和所述类型标识对应，若和所述类型标识对应，则根据所述自助报表，生成待采集报表；当接收到包含待采集字段的指令时，则根据所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述待采集字段对应的字段数据，并将各所述字段数据返回到所述待采集报表的空白列。优选地，所述根据所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述待采集字段对应的字段数据的步骤包括：读取各所述待采集字段中的字段标识，并将各所述字段标识和各预设敏感标识对比，判断各所述待采集字段中是否具有敏感字段；若具有敏感字段，则根据所述自助报表对应用户账户的采集权限，以及所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述待采集字段对应的字段数据；若不具有敏感字段，则读取所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，并将各所述采集依据信息和预设数据库对比，采集与各所述待采集字段对应的字段数据。优选地，所述根据所述自助报表对应用户账户的采集权限，以及所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述待采集字段对应的字段数据的步骤包括：读取所述用户账户的账户标识，并根据所述账户标识确定所述用户账户是否具有对所述敏感字段进行采集的采集权限；当具有对所述敏感字段进行采集的采集权限时，则执行读取所述目标匹配字段在所述待采集报表中对应数据的采集依据信息的步骤；若不具有对所述敏感字段进行采集的采集权限时，则执行读取所述目标匹配字段在所述待采集报表中对应数据的采集依据信息的步骤，并在采集到与所述待采集字段对应的字段数据后，对各所述字段数据进行脱敏处理。优选地，所述在采集到与所述待采集字段对应的字段数据后，对各所述字段数据进行脱敏处理的步骤包括：读取各所述待采集字段中所具有敏感字段的脱敏规则，并根据所述脱敏规则，对各所述字段数据中与所述敏感字段对应的目标字段数据进行脱敏，其中所述脱敏规则用于对所述目标字段数据进行加密转换的处理；在各所述目标字段数据均脱敏完成后，用脱敏后的各所述目标字段数据对各所述字段数据进行更新，并将更新的各所述字段数据返回到所述待采集报表的空白列。优选地，所述将各所述字段数据返回到所述待采集报表的空白列的步骤之后包括：当接收到对所述待采集报表的上传请求时，输出再次选择待采集字段的提示信息；接收基于所述提示信息输入的再次待采集字段，并判断所述再次待采集字段和所述待采集字段之间是否存在相同字段，若存在所述相同字段，则输出重新选择的提示信息；若不存在所述相同字段，则根据所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述再次待采集字段对应的再筛选字段数据，并将各所述再筛选字段数据返回到所述待采集报表中的其他空白列。优选地，所述若不存在相同字段，则根据所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述再次待采集字段对应的再筛选字段数据的步骤包括：判断所述待采集报表中是否存在空白信息，若存在所述空白信息，则将所述空白信息所对应的目标采集依据信息进行删除，并对所述目标采集依据信息输出采集异常的提示信息；将删除所述目标采集依据信息后的采集依据信息更新为新的采集依据信息，并根据新的所述采集依据信息，采集与各所述再次待采集字段对应的再筛选字段数据。优选地，所述将各所述再筛选字段数据返回到所述待采集报表中的其他空白列的步骤之后包括：当接收到采集完成指令时，读取与所述待采集报表对应的存储地址信息以及命名信息；调用预设链接语句，并将所述存储地址信息和所述命名信息添加到所述预设链接语句中，生成下载连接；将所述下载链接输出到对所述自助报表进行上传的显示终端，以供所述显示终端的终端用户对所述待采集报表进行下载操作。此外，为实现上述目的，本专利技术还提出一种数据采集装置，所述数据采集装置包括：读取模块，用于当接收到基于预设采集口径上传的自助报表时，读取所述自助报表的目标匹配字段以及所述预设采集口径的类型标识；判断模块，用于判断所述目标匹配字段是否和所述类型标识对应，若和所述类型标识对应，则根据所述自助报表，生成待采集报表；采集模块，用于当接收到包含待采集字段的指令时，则根据所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述待采集字段对应的字段数据，并将各所述字段数据返回到所述待采集报表的空白列。此外，为实现上述目的，本专利技术还提出一种数据采集设备，所述数据采集设备包括：存储器、处理器、通信总线以及存储在所述存储器上的数据采集程序；所述通信总线用于实现处理器和存储器之间的连接通信；所述处理器用于执行所述数据采集程序，以实现以下步骤：当接收到基于预设采集口径上传的自助报表时，读取所述自助报表的目标匹配字段以及所述预设采集口径的类型标识；判断所述目标匹配字段是否和所述类型标识对应，若和所述类型标识对应，则根据所述自助报表，生成待采集报表；当接收到包含待采集字段的指令时，则根据所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述待采集字段对应的字段数据，并将各所述字段数据返回到所述待采集报表的空白列。此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序可被一个或者一个以上的处理器执行以用于：当接收到基于预设采集口径上传的自助本文档来自技高网...

【技术保护点】
1.一种数据采集方法，其特征在于，所述数据采集方法包括以下步骤：/n当接收到基于预设采集口径上传的自助报表时，读取所述自助报表的目标匹配字段以及所述预设采集口径的类型标识；/n判断所述目标匹配字段是否和所述类型标识对应，若和所述类型标识对应，则根据所述自助报表，生成待采集报表；/n当接收到包含待采集字段的指令时，则根据所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述待采集字段对应的字段数据，并将各所述字段数据返回到所述待采集报表的空白列。/n

【技术特征摘要】
1.一种数据采集方法，其特征在于，所述数据采集方法包括以下步骤：
当接收到基于预设采集口径上传的自助报表时，读取所述自助报表的目标匹配字段以及所述预设采集口径的类型标识；
判断所述目标匹配字段是否和所述类型标识对应，若和所述类型标识对应，则根据所述自助报表，生成待采集报表；
当接收到包含待采集字段的指令时，则根据所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述待采集字段对应的字段数据，并将各所述字段数据返回到所述待采集报表的空白列。


2.如权利要求1所述的数据采集方法，其特征在于，所述根据所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述待采集字段对应的字段数据的步骤包括：
读取各所述待采集字段中的字段标识，并将各所述字段标识和各预设敏感标识对比，判断各所述待采集字段中是否具有敏感字段；
若具有敏感字段，则根据所述自助报表对应用户账户的采集权限，以及所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述待采集字段对应的字段数据；
若不具有敏感字段，则读取所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，并将各所述采集依据信息和预设数据库对比，采集与各所述待采集字段对应的字段数据。


3.如权利要求2所述的数据采集方法，其特征在于，所述根据所述自助报表对应用户账户的采集权限，以及所述目标匹配字段在所述待采集报表中对应数据列的采集依据信息，采集与各所述待采集字段对应的字段数据的步骤包括：
读取所述用户账户的账户标识，并根据所述账户标识确定所述用户账户是否具有对所述敏感字段进行采集的采集权限；
当具有对所述敏感字段进行采集的采集权限时，则执行读取所述目标匹配字段在所述待采集报表中对应数据的采集依据信息的步骤；
若不具有对所述敏感字段进行采集的采集权限时，则执行读取所述目标匹配字段在所述待采集报表中对应数据的采集依据信息的步骤，并在采集到与所述待采集字段对应的字段数据后，对各所述字段数据进行脱敏处理。


4.如权利要求3所述的数据采集方法，其特征在于，所述在采集到与所述待采集字段对应的字段数据后，对各所述字段数据进行脱敏处理的步骤包括：
读取各所述待采集字段中所具有敏感字段的脱敏规则，并根据所述脱敏规则，对各所述字段数据中与所述敏感字段对应的目标字段数据进行脱敏，其中所述脱敏规则用于对所述目标字段数据进行加密转换的处理；
在各所述目标字段数据均脱敏完成后，用脱敏后的各所述目标字段数据对各所述字段数据进行更新，并将更新的各所述字段数据返回到所述待采集报表的空白列。


5.如权利要求1-4任一项所述的数据采集方法，其特征在于，所述将各所述字段数据返回到所述待采集报表的空白列的步骤之后包括：
...

【专利技术属性】
技术研发人员：刘雪花，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：广东;44