【技术实现步骤摘要】
基于人工智能决策的大数据采集及去噪方法及系统
[0001]本专利技术涉及数据处理
，尤其涉及一种基于人工智能决策的大数据采集及去噪方法及系统。
技术介绍
[0002]随着大数据技术的日渐成熟，大数据计算与分析、人工智能、深度学习等先进技术取得了实质性的进步，围绕大数据的应用也呈现出了多种多样的特点，使得大数据的流转更加错综复杂，从而导致大数据暴露出较大的受攻击面，同时，大数据在全生命周期过程中呈现出了类型动态化、等级多样化、权属复杂化、使用实时化等特点，导致大数据分散、不易集成，从而使得大数据采集的效率较低。
[0003]进一步地，随着科技的不断发展，监测仪器的精度和广度不断提升，大数据中不可避免的存在一定的噪声干扰，如果无法有效识别和去除噪声干扰，则会影响到后续的数据处理和损伤识别精度。在传统的大数据去噪方法中存在以下几个问题：一是大数据对应的有效信号损伤，导致大数据去噪效率较低；二是数据参数较为复杂，导致参数受限且不易于调整，从而使得大数据的去噪效率较低。综上所述，现存技术中存在大数据采集的效率及大数据去噪...
【技术保护点】
【技术特征摘要】
1.一种基于人工智能决策的大数据采集及去噪方法，其特征在于，所述方法包括：获取待处理数据，对所述待处理数据进行数据变换，得到变换数据，获取所述变换数据的采集时间及资源占用率，并根据所述采集时间及所述资源占用率设定判定规则；根据所述判定规则对所述变换数据进行筛选，得到采集数据，并根据所述采集时间及所述采集数据建立采集直方图；基于所述采集直方图计算所述采集数据的噪声波动系数，并根据所述噪声波动系数确定噪声阈值；根据所述噪声阈值对所述采集数据进行剔除处理，得到剩余数据，计算所述剩余数据的质量系数及误差系数，并根据所述质量系数及所述误差系数从所述剩余数据中选取标准数据。2.如权利要求1所述的基于人工智能决策的大数据采集及去噪方法，其特征在于，所述对所述待处理数据进行数据变换，得到变换数据，包括：对所述待处理数据进行降维处理，得到降维数据；计算所述降维数据的均值及标准差；利用下述公式计算所述降维数据的均值及标准差：利用下述公式计算所述降维数据的均值及标准差：其中，μ表示所述均值，σ表示所述标准差，x
a
表示第a个降维数据，A表示所述降维数据的总数；利用预设的均值标准化方法根据所述均值及所述标准差对所述降维数据进行标准化处理，得到变换数据；所述均值标准化方法表示为：其中，b
a
表示第a个降维数据对应的变换数据，x
a
表示第a个降维数据，μ表示所述均值，σ表示所述标准差。3.如权利要求1所述的基于人工智能决策的大数据采集及去噪方法，其特征在于，所述根据所述采集时间及所述采集数据建立采集直方图，包括：统计多个所述采集时间的时间总长度，对所述时间总长度进行划分，得到时间窗；根据所述时间窗对多个所述采集数据进行区间划分，得到数据区间；对所述数据区间中所述采集数据的数量进行统计，得到采集数量；将所述时间窗作为横轴参数并将所述采集数量作为纵轴参数建立采集直方图。4.如权利要求1所述的基于人工智能决策的大数据采集及去噪方法，其特征在于，所述基于所述采集直方图计算所述采集数据的噪声波动系数，包括：计算所述采集直方图中所述采集数量对应的采集数据的第一数据均值；
利用下述公式计算第一数据均值：其中，表示第e个第一数据均值，X
n
表示所述采集数量对应的第n个采集数据，N表示所述采集数量对应的采集数据的总数；对所有所述第一数据均值进行均值计算，得到第二数据均值；根据所述第一数据均值及所述第二数据均值计算数据方差；利用下述公式计算数据方差：其中，D表示所述数据方差，表示第e个第一数据均值，表示所述第二数据均值，E表示所述第一数据均值的总数；根据所述数据方差及所述采集直方图中的时间窗进行拟合，得到拟合函数，根据所述拟合函数确定所述采集数据的噪声波动系数；所述拟合函数表示为：lgD＝d
·
lgF+l其中，D表示所述数据方差，F表示所述时间窗的窗口数量，d表示预设的第一计算参数，l表示预设的第二计算参数。5.如权利要求1所述的基于人工智能决策的大数据采集及去噪方法，其特征在于，所述根据所述噪声波动系数确定噪声阈值，包括：判断所述噪声波动系数...
【专利技术属性】
技术研发人员：曹娜，夏海涛，王胜辉，
申请(专利权)人：陕西杰创聚云网络科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。