基于互联网异地实时采集数据的方法、设备、介质及系统技术方案

本发明专利技术提供基于互联网异地实时采集数据的方法，包括步骤：接收软件服务对象的需求，将软件服务对象的需求封装成任务对象，并对任务对象进行发布；对任务对象进行加密，生成加密调度指令，通过加密调度指令控制异地机器进行数据采集；接收异地机器反馈的加密数据，对加密数据进行解密，得到原采集数据；对原采集数据进行清洗，并存入本地数据库，反馈任务完成状态。本发明专利技术涉及电子设备与可读存储介质，用于执行上述方法。本发明专利技术涉及基于互联网异地实时采集数据的系统。本发明专利技术通过本地机器进行调度控制，异地机器实时响应本地机器的调度进行数据采集，实现异地采集数据，使得本地用户所看到的数据与异地用户所看到的数据一致，保证了数据的准确性。

The Method, Equipment, Media and System of Real-time Data Acquisition in Different Places Based on Internet

The invention provides a real-time data acquisition method based on Internet in different places, including steps: receiving the requirements of software service objects, encapsulating the requirements of software service objects into task objects, and publishing task objects; encrypting task objects, generating encrypted scheduling instructions, controlling remote machines for data acquisition through encrypted scheduling instructions; and receiving feedback from remote machines. Encrypted data, decrypt the encrypted data, get the original data, clean the original data, and store it in the local database, feedback the completion status of the task. The invention relates to an electronic device and a readable storage medium for performing the above method. The present invention relates to a real-time data acquisition system based on Internet. The method realizes data acquisition in different places through dispatching control by local machines, real-time response of remote machines to local machine dispatching, so that the data seen by local users are consistent with those seen by remote users, and the accuracy of data is guaranteed.

【技术实现步骤摘要】
基于互联网异地实时采集数据的方法、设备、介质及系统
本专利技术涉及大数据挖掘与数据分析
，尤其涉及基于互联网异地实时采集数据的方法、设备、介质及系统。
技术介绍
目前，基于互联网的数据采集主要是在本地进行。虽然互联网可以连通世界,但是许多互联网上的内容会针对不同地区进行区别展示，甚至是不对外地展示。如果在A地区想要获取B地区的数据，则有可能存在无法获取数据的情况，或者获取到的数据不是B地区本地所展示的数据，而是特意展示给A地区的数据，存在获取的数据不准确的情况。
技术实现思路
为了克服现有技术的不足，本专利技术的目的之一在于提供基于互联网异地实时采集数据的方法，解决了现有技术无法异地采集数据以及采集到的数据不准确的问题。本专利技术提供基于互联网异地实时采集数据的方法，包括以下步骤：生成任务对象，接收软件服务对象的需求，将所述软件服务对象的需求封装成任务对象，并对所述任务对象进行发布；调度任务对象，对所述任务对象进行加密，生成加密调度指令，通过所述加密调度指令控制异地机器进行数据采集；还原加密数据，接收所述异地机器反馈的加密数据，对所述加密数据进行解密，得到原采集数据；存储数据，对所本文档来自技高网...

【技术保护点】
1.基于互联网异地实时采集数据的方法，其特征在于包括以下步骤：生成任务对象，接收软件服务对象的需求，将所述软件服务对象的需求封装成任务对象，并对所述任务对象进行发布；调度任务对象，对所述任务对象进行加密，生成加密调度指令，通过所述加密调度指令控制异地机器进行数据采集；还原加密数据，接收所述异地机器反馈的加密数据，对所述加密数据进行解密，得到原采集数据；存储数据，对所述原采集数据进行清洗，并存入本地数据库，反馈任务完成状态。

【技术特征摘要】
1.基于互联网异地实时采集数据的方法，其特征在于包括以下步骤：生成任务对象，接收软件服务对象的需求，将所述软件服务对象的需求封装成任务对象，并对所述任务对象进行发布；调度任务对象，对所述任务对象进行加密，生成加密调度指令，通过所述加密调度指令控制异地机器进行数据采集；还原加密数据，接收所述异地机器反馈的加密数据，对所述加密数据进行解密，得到原采集数据；存储数据，对所述原采集数据进行清洗，并存入本地数据库，反馈任务完成状态。2.如权利要求1所述的基于互联网异地实时采集数据的方法，其特征在于：在所述存储数据步骤之后还包括展示结果步骤，接收所述任务完成状态，将结果发送并展示给所述软件服务对象。3.如权利要求1所述的基于互联网异地实时采集数据的方法，其特征在于：所述任务对象包括待采集数据对应的数据源网站、数据源网站所在地区、待采集数据的数据类型、任务产生的时间、任务所属的用户、响应时间；所述生成任务对象步骤还包括生成所述待采集数据对应的数据源网站、数据源网站所在地区、待采集数据的数据类型、任务产生的时间、任务所属的用户、响应时间对应的密钥，将所述待采集数据对应的数据源网站、数据源网站所在地区、待采集数据的数据类型、任务产生的时间、任务所属的用户、响应时间及对应的密钥封装成任务对象。4.如权利要求3所述的基于互联网异地实时采集数据的方法，其特征在于：所述调度任务对象步骤中，通过所述加密调度指令控制所述数据源网站所在地区的数据采集机器进行数据采集。5.基于互联网异地实时采集数据的方法，其特征在于包括以下步骤：接收调度指令，接收异地机器发送的加密调度指令，对所述加密调度指令进行解密，得到原任务对象；分布式调度机器，分析所述原任务对象，得到任务需求，根据所述任务需求发送调度指令至机器集群中的机器；分布式数据采集，根据所述调度指令对数据源进行数据采集，得到源数据；处理数据，提取所述源数据中的目标数据，对所述目标数据进行加密，得到加密数据，将所述加密数据返回至所述异地机器。6.如权利要求5所述的基于互联网异地实时采集数据的方法，其特征在于：所述分布式调度机器步骤中，根据机器性能、机器距离数据源网站的距离、机器的使用状态进行负载均衡。7.一种电子设备，其特征在于包括：处理器；存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处...

【专利技术属性】
技术研发人员：刘磊，陈欣群，梁有荣，
申请(专利权)人：广州宏数科技有限公司，
类型：发明
国别省市：广东,44