一种多源数据采集和数据可视化方法及系统技术方案

本发明专利技术实施例涉及数据处理技术领域，具体公开了一种多源数据采集和数据可视化方法及系统。本发明专利技术实施例通过基于RPA技术，布置多个采集机器人，按照多个访问采集策略进行分配；分别按照对应的访问采集策略，进行身份认证和数据采集，获得多个数据文件；将多个数据文件存储在数据仓库，进行数据ETL处理，生成整合数据；对整合数据进行可视化预处理，并接收客服的可视化需求，进行需求选择处理，进行数据可视化展示。能够打破企业数据烟囱隔离，使得离散在企业各个数字孤岛的数据能够实时同步到统一的数据仓库中，并通过数据可视化技术实现各类生产经营过程的实时看板，提升企业运营生产管理效率，实现对数据的有效合理利用。实现对数据的有效合理利用。实现对数据的有效合理利用。

【技术实现步骤摘要】
一种多源数据采集和数据可视化方法及系统


[0001]本专利技术属于数据处理
，尤其涉及一种多源数据采集和数据可视化方法及系统。

技术介绍

[0002]数据是对事实、概念或指令的一种表达形式，可由人工或自动化装置进行处理。数据处理，数据处理是系统工程和自动控制的基本环节。根据处理设备的结构方式、工作方式，以及数据的时间空间分布方式的不同，数据处理有不同的方式。不同的处理方式要求不同的硬件和软件支持。每种处理方式都有自己的特点，应当根据应用问题的实际环境选择合适的处理方式。
[0003]在生产经营过程中，企业实时监控的数据往往来自于不同的业务系统，又必须在统一的对比环比等联动分析下才能指导企业生产，完成绩效指标，提高劳动效率。然而电信运营商各大业务系统初期都以烟囱方式建设，各业务系统间的数据关联出现了各种各样的问题，数据源多种多样、数据标准不统一、数据质量也参差不齐，很难进行数据的有效合理利用。

技术实现思路

[0004]本专利技术实施例的目的在于提供一种多源数据采集和数据可视化方法及系统，旨在解决
技术介绍
中提出的问题。
[0005]为实现上述目的，本专利技术实施例提供如下技术方案：
[0006]一种多源数据采集和数据可视化方法，所述方法具体包括以下步骤：
[0007]基于RPA技术，生成多个访问采集策略，布置多个采集机器人，按照多个所述访问采集策略进行分配；
[0008]多个所述采集机器人，分别按照对应的访问采集策略，进行身份认证和数据采集，获得多个数据文件；
[0009]将多个所述数据文件存储在数据仓库，对多个所述数据文件进行数据ETL处理，生成整合数据；
[0010]对所述整合数据进行可视化预处理，并接收客服的可视化需求，进行需求选择处理，进行数据可视化展示。
[0011]作为本专利技术实施例技术方案进一步的限定，所述基于RPA技术，生成多个访问采集策略，布置多个采集机器人，按照多个所述访问采集策略进行分配具体包括以下步骤：
[0012]获取客服座席的工作记录数据；
[0013]基于RPA技术，对所述工作记录数据进行分析，生成多个访问采集策略；
[0014]确定多个所述访问采集策略对应的登入系统；
[0015]按照多个所述登入系统，布置多个采集机器人进行访问采集策略的分配，生成分配记录数据。
[0016]作为本专利技术实施例技术方案进一步的限定，所述多个所述采集机器人，分别按照对应的访问采集策略，进行身份认证和数据采集，获得多个数据文件具体包括以下步骤：
[0017]按照所述分配记录数据，多个所述采集机器人分别进行身份认证，生成身份认证数据；
[0018]对所述身份认证数据进行分析，判断是否身份认证成功；
[0019]在身份认证成功之后，按照多个所述访问采集策略，向多个所述采集机器人发送对应的数据采集脚本；
[0020]按照多个所述数据采集脚本，多个所述采集机器人分别进行数据采集，获得多个数据文件。
[0021]作为本专利技术实施例技术方案进一步的限定，所述将多个所述数据文件存储在数据仓库，对多个所述数据文件进行数据ETL处理，生成整合数据具体包括以下步骤：
[0022]将多个所述数据文件存储在数据仓库；
[0023]基于ETL技术，对多个所述数据文件进行明细数据、服务数据、数据集市和数据应用的分类整合处理，生成整合数据。
[0024]作为本专利技术实施例技术方案进一步的限定，所述对所述整合数据进行可视化预处理，并接收客服的可视化需求，进行需求选择处理，进行数据可视化展示具体包括以下步骤：
[0025]对所述整合数据进行可视化预处理，生成应用数据；
[0026]接收客服的可视化需求；
[0027]根据所述可视化需求，对所述应用数据进行可视化的需求选择处理，生成可视化需求选择数据；
[0028]获取展示地址，对所述可视化需求选择数据进行数据可视化展示。
[0029]一种多源数据采集和数据可视化系统，所述系统包括采集策略分配单元、数据采集处理单元、数据文件处理单元和可视化展示单元，其中：
[0030]采集策略分配单元，用于基于RPA技术，生成多个访问采集策略，布置多个采集机器人，按照多个所述访问采集策略进行分配；
[0031]数据采集处理单元，用于多个所述采集机器人，分别按照对应的访问采集策略，进行身份认证和数据采集，获得多个数据文件；
[0032]数据文件处理单元，用于将多个所述数据文件存储在数据仓库，对多个所述数据文件进行数据ETL处理，生成整合数据；
[0033]可视化展示单元，用于对所述整合数据进行可视化预处理，并接收客服的可视化需求，进行需求选择处理，进行数据可视化展示。
[0034]作为本专利技术实施例技术方案进一步的限定，所述采集策略分配单元具体包括：
[0035]数据获取模块，用于获取客服座席的工作记录数据；
[0036]策略生成模块，用于基于RPA技术，对所述工作记录数据进行分析，生成多个访问采集策略；
[0037]系统确定模块，用于确定多个所述访问采集策略对应的登入系统；
[0038]策略分配模块，用于按照多个所述登入系统，布置多个采集机器人进行访问采集策略的分配，生成分配记录数据。
[0039]作为本专利技术实施例技术方案进一步的限定，所述数据采集处理单元具体包括：
[0040]身份认证模块，用于按照所述分配记录数据，多个所述采集机器人分别进行身份认证，生成身份认证数据；
[0041]认证判断模块，用于对所述身份认证数据进行分析，判断是否身份认证成功；
[0042]脚本发送模块，用于在身份认证成功之后，按照多个所述访问采集策略，向多个所述采集机器人发送对应的数据采集脚本；
[0043]数据采集模块，用于按照多个所述数据采集脚本，多个所述采集机器人分别进行数据采集，获得多个数据文件。
[0044]作为本专利技术实施例技术方案进一步的限定，所述数据文件处理单元具体包括：
[0045]数据存储模块，用于将多个所述数据文件存储在数据仓库；
[0046]整合处理模块，用于基于ETL技术，对多个所述数据文件进行明细数据、服务数据、数据集市和数据应用的分类整合处理，生成整合数据。
[0047]作为本专利技术实施例技术方案进一步的限定，所述可视化展示单元具体包括：
[0048]预处理模块，用于对所述整合数据进行可视化预处理，生成应用数据；
[0049]需求接收模块，用于接收客服的可视化需求；
[0050]选择处理模块，用于根据所述可视化需求，对所述应用数据进行可视化的需求选择处理，生成可视化需求选择数据；
[0051]可视化展示模块，用于获取展示地址，对所述可视化需求选择数据进行数据可视化展示。
[0052]与现有技术相比，本专利技术的有益效果是：
[0053]本专利技术实施例通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多源数据采集和数据可视化方法，其特征在于，所述方法具体包括以下步骤：基于RPA技术，生成多个访问采集策略，布置多个采集机器人，按照多个所述访问采集策略进行分配；多个所述采集机器人，分别按照对应的访问采集策略，进行身份认证和数据采集，获得多个数据文件；将多个所述数据文件存储在数据仓库，对多个所述数据文件进行数据ETL处理，生成整合数据；对所述整合数据进行可视化预处理，并接收客服的可视化需求，进行需求选择处理，进行数据可视化展示。2.根据权利要求1所述的多源数据采集和数据可视化方法，其特征在于，所述基于RPA技术，生成多个访问采集策略，布置多个采集机器人，按照多个所述访问采集策略进行分配具体包括以下步骤：获取客服座席的工作记录数据；基于RPA技术，对所述工作记录数据进行分析，生成多个访问采集策略；确定多个所述访问采集策略对应的登入系统；按照多个所述登入系统，布置多个采集机器人进行访问采集策略的分配，生成分配记录数据。3.根据权利要求2所述的多源数据采集和数据可视化方法，其特征在于，所述多个所述采集机器人，分别按照对应的访问采集策略，进行身份认证和数据采集，获得多个数据文件具体包括以下步骤：按照所述分配记录数据，多个所述采集机器人分别进行身份认证，生成身份认证数据；对所述身份认证数据进行分析，判断是否身份认证成功；在身份认证成功之后，按照多个所述访问采集策略，向多个所述采集机器人发送对应的数据采集脚本；按照多个所述数据采集脚本，多个所述采集机器人分别进行数据采集，获得多个数据文件。4.根据权利要求1所述的多源数据采集和数据可视化方法，其特征在于，所述将多个所述数据文件存储在数据仓库，对多个所述数据文件进行数据ETL处理，生成整合数据具体包括以下步骤：将多个所述数据文件存储在数据仓库；基于ETL技术，对多个所述数据文件进行明细数据、服务数据、数据集市和数据应用的分类整合处理，生成整合数据。5.根据权利要求1所述的多源数据采集和数据可视化方法，其特征在于，所述对所述整合数据进行可视化预处理，并接收客服的可视化需求，进行需求选择处理，进行数据可视化展示具体包括以下步骤：对所述整合数据进行可视化预处理，生成应用数据；接收客服的可视化需求；根据所述可视化需求，对所述应用数据进行可视化的需求选择处理，生成可视化需求选择数据；
获取展示地址，对所述可视化需求选择数据进行数据可视化展示。6.一种多源数据采集和数据可视化系统，其特征在...

【专利技术属性】
技术研发人员：肖军，徐荣彬，周磊，
申请(专利权)人：中数通信息有限公司，
类型：发明
国别省市：