一种运营商数据采集系统及方法技术方案

一种运营商数据采集系统，包括：数据采集终端，所述数据采集终端包括：数据获取模块、数据标准化模块、边缘计算模块和传输模块，安全处理模块；所述数据获取模块用于实时接收由企业网站或APP运营所产生的运营商大数据；所述数据标准化模块用于对所述运营商大数据进行标准化处理，将标准化后的所述运营商大数据发送至所述边缘计算模块；所述边缘计算模块用于加载第一数据处理模型，所述第一数据处理模型用于对所述运营商大数据进行一级数据分析处理，得到按照业务类型分类的运营商分类数据。本方案通过设置于采集侧的数据采集终端对运营商大数据进行标准化处理，实现了对运营商大数据安全、低成本、高可用的有效采集。高可用的有效采集。高可用的有效采集。

【技术实现步骤摘要】
一种运营商数据采集系统及方法


[0001]本专利技术涉及数据采集
，尤其涉及一种基于电信运营商数据采集方法。

技术介绍

[0002]运营商是指提供网络服务的供应商，目前我国网络服务的供应商主要为移动、电信和联通三大运营商，其产生运营商大数据每天多达上万亿条，这些运营商大数据存在巨大的潜在商业价值，其能为各领域的企业的精准营销和精准获客提供重要数据支持，因此如何针对运营商大数据进行高效数据采集就成为了关键。
[0003]目前，现有企业的电信运营商数据采集方法缺乏行之有效的手段，现有各企业仅将自身的运营商大数据进行批量采集，之后进行大规模服务器存储，这导致数据采集自动化程度较低、采集效率不高，并加剧了服务器数据存储压力，进而使得企业不仅难以精准获取高价值的有用运营商大数据，而且还使得企业数据管理成本提高；此外由于企业之间存在利益竞争关系，现有一些企业会通过数据爬虫等技术手段去截取其他企业的运营商大数据；因此，如何安全、低成本、高可用的对运营商大数据进行有效采集并进行分类，以使其为企业业务进行高效数据服务就成为了当下企业待解决的问题。因此，亟需提出一种基于电信运营商数据采集方法以解决上述缺陷。

技术实现思路

[0004]本专利技术的目的是为了解决现有技术中存在的缺陷，而提出的一种运营商数据采集系统，包括：数据采集终端，所述数据采集终端包括：数据获取模块、数据标准化模块、边缘计算模块和传输模块，安全处理模块；所述数据获取模块用于实时接收由企业网站或APP运营所产生的运营商大数据；所述数据标准化模块用于对所述运营商大数据进行标准化处理，将标准化后的所述运营商大数据发送至所述边缘计算模块；所述边缘计算模块用于加载第一数据处理模型，所述第一数据处理模型用于对所述运营商大数据进行一级数据分析处理，得到按照业务类型分类的运营商分类数据；所述传输模块用于将所述运营商分类数据向外发送；服务器端，所述服务器端包括云计算模块、数据分发模块和云业务存储模块；所述云计算模块用于获取所述运营商分类数据，所述云计算模块还用于对所述运营商分类数据进行二级数据分析处理，得到按照数据来源和或用户类型分类的云端分类数据，所述数据分发模块用于根据所述云端分类数据的属性将所述云端分类数据分发至所述云业务存储模块中的对应业务存储单元；所述云业务存储模块还用于对外提供对应业务存储单元的查询接口。
[0005]在本申请的一些实施例中，所述数据采集终端还包括：安全处理模块，所述安全处理模块用于对所述运营商分类数据进行数据安全性处理，然后发送至所述传输模块。
[0006]在本申请的一些实施例中，所述云计算模块用于对数据安全性处理后的所述运营商分类数据进行逆向安全性处理；所述云计算模块还用于根据预设过滤规则库对逆向安全处理后无法识别的内容进行过滤。
[0007]在本申请的一些实施例中，所述预设过滤规则库包括密码校验、必要性检验和完整性检验。
[0008]在本申请的一些实施例中，所述安全处理模块用于对所述运营商分类数据进行数据安全性处理，包括：获取所述业务类型的运营商大数据，并基于预设第二数据处理模型对其进行敏感数据识别；并基于安全处理模块内置预设数据脱敏规则对所述业务类型的运营商大数据进行数据脱敏；同时基于安全处理模块内置国密加密芯片对数据脱敏后的所述业务类型的运营商大数据进行对称式加密。
[0009]在本申请的一些实施例中，所述第二数据处理模型具体为数据识别模型，其基于卷积神经网络模型对所述敏感数据的特征训练生成。
[0010]在本申请的一些实施例中，所述第一数据处理模型具体为相似度度量模型，其具体公式如下：
[0011][0012]式中：cosθ为余弦相似度，区间[0,1]；A为运营商大数据的特征性向量；B为企业业务类型的特征向量。
[0013]在本申请的一些实施例中，所述云计算模块还包括第三数据处理模型，所述第三数据处理模型具体为数据分类模型，其基于卷积神经网络模型对不同业务类型的运营商大数据的特征训练生成。
[0014]一种运营商数据采集方法，运行于运营商数据采集系统，系统包括：
[0015]数据采集终端及服务器端，所述数据采集终端包括：数据获取模块、数据标准化模块、边缘计算模块和传输模块，安全处理模块；所述服务器端包括云计算模块、数据分发模块和云业务存储模块；
[0016]所述运营商数据采集方法包括如下步骤，
[0017]数据获取模块实时接收由企业网站或APP运营所产生的运营商大数据；
[0018]所述数据标准化模块对所述运营商大数据进行标准化处理，并发送至所述边缘计算模块；
[0019]所述边缘计算模块加载第一数据处理模型并对所述运营商大数据进行一级数据分析处理，得到按照业务类型分类的运营商分类数据；所述传输模块将所述运营商分类数据向外发送；
[0020]所述云计算模块对所述运营商分类数据进行二级数据分析处理，得到按照数据来源和或用户类型分类的云端分类数据；
[0021]所述数据分发模块根据所述云端分类数据的属性将所述云端分类数据分发至所述云业务存储模块中的对应业务存储单元；
[0022]所述云业务存储模块对外提供查询接口。
[0023]在本申请的一些实施例中，所述数据采集终端还包括：安全处理模块；还包括步骤，所述安全处理模块对所述运营商分类数据进行数据安全性处理，然后发送至所述传输模块。
[0024]相比于现有技术，本专利技术的有益效果在于：
[0025](1)本申请提出的一种基于电信运营商数据采集系统及方法，其通过设置于采集侧的数据采集终端对运营商大数据进行标准化处理，并对其进行边缘端数据分析，以获取符合企业业务基础要求的业务类型的运营商大数据，还可以然后再基于数据分类模型对其进行数据分类，最后将分类后得到的多个业务类型的运营商大数据存储于云业务存储模块中的对应业务存储单元，进而实现了对运营商大数据安全、低成本、高可用的有效采集，本专利技术相较于现有企业运营商大数据采集方法，其自动化程度较高、采集速度快，且有利于降低企业服务器的数据存储压力；另外，本专利技术还可以在精准获取高价值的有用运营商大数据的基础上，大幅降低企业数据采集管理成本，具有一定社会效益和经济效益。
[0026]上述
技术实现思路
相关记载仅是本申请技术方案的概述，为了让本领域普通技术人员能够更清楚地了解本申请的技术方案，进而可以依据说明书的文字及附图记载的内容予以实施，并且为了让本申请的上述目的及其它目的、特征和优点能够更易于理解，以下结合本申请的具体实施方式及附图进行说明。
附图说明
[0027]附图仅用于示出本申请具体实施方式以及其他相关内容的原理、实现方式、应用、特点以及效果等，并不能认为是对本申请的限制。
[0028]在说明书附图中：
[0029]图1为具体实施方式所述的运营商数据采集系统示意图；
[0030]图2为具体实施方式所述的运营商数据采集系统模块图；
[0031]图3为具体实施方式所述的云计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种运营商数据采集系统，其特征在于，包括：数据采集终端，所述数据采集终端包括：数据获取模块、数据标准化模块、边缘计算模块和传输模块；所述数据获取模块用于实时接收由企业网站或APP运营所产生的运营商大数据；所述数据标准化模块用于对所述运营商大数据进行标准化处理，将标准化后的所述运营商大数据发送至所述边缘计算模块；所述边缘计算模块用于加载第一数据处理模型，所述第一数据处理模型用于对所述运营商大数据进行一级数据分析处理，得到按照业务类型分类的运营商分类数据；所述传输模块用于将所述运营商分类数据向外发送；服务器端，所述服务器端包括云计算模块、数据分发模块和云业务存储模块；所述云计算模块用于获取所述运营商分类数据，所述云计算模块还用于对所述运营商分类数据进行二级数据分析处理，得到按照数据来源和或用户类型分类的云端分类数据，所述数据分发模块用于根据所述云端分类数据的属性将所述云端分类数据分发至所述云业务存储模块中的对应业务存储单元；所述云业务存储模块还用于对外提供对应业务存储单元的查询接口。2.根据权利要求1所述的运营商数据采集系统，其特征在于，所述数据采集终端还包括：安全处理模块，所述安全处理模块用于对所述运营商分类数据进行数据安全性处理，然后发送至所述传输模块。3.根据权利要求2所述的运营商数据采集系统，其特征在于，所述云计算模块用于对数据安全性处理后的所述运营商分类数据进行逆向安全性处理；所述云计算模块还用于根据预设过滤规则库对逆向安全处理后无法识别的内容进行过滤。4.根据权利要求3所述的运营商数据采集系统，其特征在于，所述预设过滤规则库包括密码校验、必要性检验和完整性检验。5.根据权利要求2所述的运营商数据采集系统，其特征在于，所述安全处理模块用于对所述运营商分类数据进行数据安全性处理，包括：获取所述业务类型的运营商大数据，并基于预设第二数据处理模型对其进行敏感数据识别；并基于安全处理模块内置预设数据脱敏规则对所述业务类型的运营商大数据进行数据脱敏；同时基于安全...

【专利技术属性】
技术研发人员：黄国晖，赵诗琳，李晓，尹丽丽，
申请(专利权)人：福建省邮电规划设计院有限公司，
类型：发明
国别省市：