一种大数据传输处理算法制造技术

本发明专利技术提供了一种大数据传输处理算法，采用的数据处理方法效率高，安全性能高，而且在加密前进行数据分类，进一步提高了数据的安全性能；采用的数据分类方法能够提高数据的识别精确度，进而提高数据的分类精确度，避免出现分类误差；采用的加密方法大大提高数据加密的复杂度，使得数据破解难度加强，有效避免关键数据泄露，大大提高数据的安全性；本发明专利技术对数据的预处理方法增加了通过数据处理所获取的有用信息的准确性和稳定性。

A processing algorithm for large data transmission

The invention provides a large data transmission processing algorithm. The data processing method adopted has high efficiency and security performance, and data classification before encryption further improves the security performance of data. The data classification method adopted can improve the recognition accuracy of data, thereby improving the classification accuracy of data. To avoid classification errors, the encryption method adopted greatly improves the complexity of data encryption, makes data cracking more difficult, effectively avoids key data leakage, and greatly improves data security; the data preprocessing method of the present invention increases the accuracy and stability of useful information obtained through data processing.

【技术实现步骤摘要】
一种大数据传输处理算法
本专利技术涉及数据处理
，具体为一种大数据传输处理算法。
技术介绍
“大数据”是指以多元形式，自许多来源搜集而来的庞大数据组，往往具有实时性。在企业对企业销售的情况下，这些数据可能得自社交网络、电子商务网站、顾客来访纪录，还有许多其他来源。这些数据，并非公司顾客关系管理数据库的常态数据组。大数据是继云计算、物联网之后IT产业又一次颠覆性的技术变革。云计算主要为数据资产提供了保管、访问的场所和渠道，而数据才是真正有价值的资产。企业内部的经营交易信息、物联网世界中的商品物流信息，互联网世界中的人与人交互信息、位置信息等，其数量将远远超越现有企业IT架构和基础设施的承载能力，实时性要求也将大大超越现有的计算能力。大数据时代网民和消费者的界限正在消弭，企业的疆界变得模糊，数据成为核心的资产，并将深刻影响企业的业务模式，甚至重构其文化和组织。因此，大数据对国家治理模式、对企业的决策、组织和业务流程、对个人生活方式都将产生巨大的影响。随着网络技术和信息技术的发展，各种数据信息得到广泛的应用，但同时也带来了数据安全性的问题。数据信息根据重要程度、隐私性等方面可以分为一般数据和敏感数据，其中敏感数据中可能包含用户的隐私信息、账户信息或其他可能威胁用户数据安全的数据，所以对敏感数据的保护需要更加全面。
技术实现思路
专利技术目的：本专利技术的目的在于针对现有技术的不足，提供一种大数据传输处理算法。技术方案：本专利技术提供了一种大数据传输处理算法，包括以下步骤：（1）数据采集器采集数据并保存至本地存储器内；（2）对采集的数据进行分类，包括：（21）设定特征点，然后对设定的特征点进行分类，得出特征点分类结果，其中，特征点包括数据容量、数据种类、数据传输速度；（22）对数据进行预处理，判断滤杂去噪处理的数据含有的特征点；（23）根据特征点分类结果对预处理后的数据含有的设定的特征点的类别进行区分，然后根据区分结果对数据进行分类，得出数据分类结果；（3）对分类后的数据进行加密处理，包括：（31）待加密数据进行数据清洗操作；（32）对清洗后的数据进行HASH加密算法运算，得到加密后的密文数据；（33）将密文数据传输至证书授权中心服务器，在证书授权中心服务器对密文数据进行签名，得到签名数据；（34）对签名数据进行非对称ECC加密算法运算，对签名后的数据进行加密；（4）加密后的数据传输至后台服务器，解密后对数据进行提取。进一步，步骤（22）的预处理包括以下步骤：（221）对原始数据进行滤波处理，将原始数据分解为趋势性数据和波动数据，保留趋势性数据并去除波动数据；（222）对趋势性数据进行划分，以获取训练数据集；（223）利用训练数据集来训练多个机器学习模型，其中，多个机器学习模型中每一个机器学习模型分别用于预测信号的趋势，以及基于经训练的多个机器学习模型和训练数据集来确定组合预测模型。有益效果：1）本专利技术采用的数据处理方法效率高，安全性能高，而且在加密前进行数据分类，进一步提高了数据的安全性能；2）本专利技术采用的数据分类方法能够提高数据的识别精确度，进而提高数据的分类精确度，避免出现分类误差；3）本专利技术采用的加密方法大大提高数据加密的复杂度，使得数据破解难度加强，有效避免关键数据泄露，大大提高数据的安全性；4）本专利技术对数据的预处理方法增加了通过数据处理所获取的有用信息的准确性和稳定性。附图说明图1为本专利技术方法流程图。具体实施方式下面对本专利技术技术方案进行详细说明，但是本专利技术的保护范围不局限于所述实施例。如图1所示，一种大数据传输处理算法，包括以下步骤：（1）数据采集器采集数据并保存至本地存储器内。（2）对采集的数据进行分类，包括：（21）设定特征点，然后对设定的特征点进行分类，得出特征点分类结果，其中，特征点包括数据容量、数据种类、数据传输速度；（22）对数据进行预处理，判断滤杂去噪处理的数据含有的特征点；（23）根据特征点分类结果对预处理后的数据含有的设定的特征点的类别进行区分，然后根据区分结果对数据进行分类，得出数据分类结果。上述数据分类方法能够提高数据的识别精确度，进而提高数据的分类精确度，避免出现分类误差。（3）对分类后的数据进行加密处理，包括：（31）待加密数据进行数据清洗操作；（32）对清洗后的数据进行HASH加密算法运算，得到加密后的密文数据；（33）将密文数据传输至证书授权中心服务器，在证书授权中心服务器对密文数据进行签名，得到签名数据；（34）对签名数据进行非对称ECC加密算法运算，对签名后的数据进行加密。该加密方法采用多重加密，实现了数字签名和验证运算，提高了数据的安全性和保密性，大大提高数据加密的复杂度，使得数据破解难度加强，有效避免关键数据泄露，大大提高数据的安全性。（4）加密后的数据传输至后台服务器，解密后对数据进行提取。其中，步骤（22）的预处理包括以下步骤：（221）对原始数据进行滤波处理，以获得趋势性数据，趋势性数据表示原始数据的信号的趋势性，其中，对原始数据进行滤波处理包括将原始数据分解为趋势性数据和波动数据，从而保留趋势性数据并去除波动数据；（222）对趋势性数据进行划分，以获取训练数据集；（223）利用训练数据集来训练多个机器学习模型，其中，多个机器学习模型中每一个机器学习模型分别用于预测信号的趋势，以及基于经训练的多个机器学习模型和训练数据集来确定组合预测模型。多个机器学习模型可以根据原始数据的具体种类来确定。多个机器学习模型包括至少两种思维方式的模型，机器学习模型的思维方式是指机器学习模型对原始数据进行计算的计算方式。多个机器学习模型包括以下中的一个或多个：卷积神经网络模型、长短记忆神经网络模型、和随机森林支持向量机模型。关于卷积神经网络模型、长短记忆神经网络模型、和随机森林支持向量机模型的具体思维方式和优势：对于多个机器学习模型的每一个机器学习模型，利用调校数据集中的数据来调校模型的参数，并用检验数据集中的数据来检验参数调校的准确度，即，对原始数据的信号的预测的精度。由于检验数据集中的数据与调参数据集中的数据不同，因此，能够用检验数据集来检验通过调整数据集所调参的机器学习模型的效果。因此本专利技术对数据的预处理方法增加了通过数据处理所获取的有用信息的准确性和稳定性。对手机数据进行传输时，首先将待传输的数据保存至本地存储器，然后对待传输的数据进行分类，分类后形成具有多个特征的数据包，之后对每个数据包分别进行加密处理，提高数据保存的安全性，保存的数据进行传输时，先进行滤杂去噪处理，去除数据中的波动较大的数据，之后将处理后的数据传输至后台服务器，进行解密，即完成对手机数据的安全传输。综上所述，本专利技术采用的大数据传输处理方法效率高，安全性能高，而且在加密前进行数据分类，进一步提高了数据的安全性能。本文档来自技高网...

【技术保护点】
1.一种大数据传输处理算法，其特征在于：包括以下步骤：（1）数据采集器采集数据并保存至本地存储器内；（2）对采集的数据进行分类，包括：（21）设定特征点，然后对设定的特征点进行分类，得出特征点分类结果，其中，特征点包括数据容量、数据种类、数据传输速度；（22）对数据进行预处理，判断滤杂去噪处理的数据含有的特征点；（23）根据特征点分类结果对预处理后的数据含有的设定的特征点的类别进行区分，然后根据区分结果对数据进行分类，得出数据分类结果；（3）对分类后的数据进行加密处理，包括：（31）待加密数据进行数据清洗操作；（32）对清洗后的数据进行HASH加密算法运算，得到加密后的密文数据；（33）将密文数据传输至证书授权中心服务器，在证书授权中心服务器对密文数据进行签名，得到签名数据；（34）对签名数据进行非对称ECC加密算法运算，对签名后的数据进行加密；（4）加密后的数据传输至后台服务器，解密后对数据进行提取。

【技术特征摘要】
1.一种大数据传输处理算法，其特征在于：包括以下步骤：（1）数据采集器采集数据并保存至本地存储器内；（2）对采集的数据进行分类，包括：（21）设定特征点，然后对设定的特征点进行分类，得出特征点分类结果，其中，特征点包括数据容量、数据种类、数据传输速度；（22）对数据进行预处理，判断滤杂去噪处理的数据含有的特征点；（23）根据特征点分类结果对预处理后的数据含有的设定的特征点的类别进行区分，然后根据区分结果对数据进行分类，得出数据分类结果；（3）对分类后的数据进行加密处理，包括：（31）待加密数据进行数据清洗操作；（32）对清洗后的数据进行HASH加密算法运算，得到加密后的密文数据；（33）将密文数据传输至证书授...

【专利技术属性】
技术研发人员：董增川，倪效宽，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏,32