【技术实现步骤摘要】
本专利技术涉及数据分类，具体为基于深度学习的大模型数据管理系统及方法。
技术介绍
1、随着互联网的普及和数字化技术的快速发展，数据的数量呈现爆炸性增长。在人文活动中无时无刻不在产生大量的数据，网络化数据信息的杂乱度和价值度日益剧增，全球进入到了大数据时代，随着互联网的普及和数字化技术的快速发展，网络化数据信息的杂乱度和价值度日益剧增，全球进入到了大数据时代，大数据时代背景下，计算机对大规模数据集的处理逐渐困难，随后相继涌现了区块链、数据库等多种的大规模数据处理模式和mapreduce，spark等多种并行计算框架，可以实现对大规模数据进行快速处理；对大规模数据信息处理主要通过信息采集与预处理、信息分析技术对大规模的数据集合进行分析处理，许多基于大数据和智能化的数据处理系统纷涌而至，对于大规模数据的精准采集、实时共享、数据保密和存储等数据的处理变得更加重要；
2、大数据背景下数据处理技能可以从海量且杂乱的大规模数据中深度挖掘出数据隐藏的逻辑关系，对大规模数据的分类处理可以对社会提供各种决策，而由于互联网的发展，对于在庞大的大规模数据中读取自己想要的部分难度越来越大，在获取数据时，数据的类别各种各样、鱼目混珠，在进行数据的读取和对数据进行管理时，无法做到精准且有效地对特定的数据进行管理，因此对数据的分类显得至关重要，将数据进行分类，并根据分类进行分别存储，可以极大的加快数据读取的速度，并且更加方便对数据进行管理。
技术实现思路
1、本专利技术的目的在于提供基于深度学习的大模
2、为了解决上述技术问题，本专利技术提供如下技术方案：
3、基于深度学习的大模型数据管理方法，该方法包括以下步骤：
4、s1、通过数据库查询、传感器感知的方式获取各种实时数据信息，将所获取的数据信息进行汇总传输到系统进行处理；
5、s2、对历史数据进行分析，历史数据被分为文字、视频和音频三个类型；在三种数据类型下，对历史数据内的信息进行计算，得到每种历史数据的关键信息作为判断分类实时数据的标准；
6、对历史数据进行分类，将历史数据分为文字、视频和音频三个类型，将三种历史数据类型根据内容进行分类，具体方式为：
7、在文字数据方面,对历史数据进行调查，将历史数据根据内容进行分类，通过决策树分类算法将所有文字历史数据具体分为n种类别，通过对n类的历史数据进行调查，计算每一种类别的历史数据内每个词语出现的次数,得到每个词语占出现的总词语的比例，为每个词语出现的占比，每个词语出现的次数，为出现的所有词语数，占比计算公式为：
8、；
9、将每种历史数据出现占比最大的词语定为各个类别历史数据的关键词语，将关键词语作为实时文字数据分类的标准；
10、在音频数据方面，对历史数据进行调查，将历史数据根据内容进行分类，通过决策树分类算法将历史音频数据分为m种类别，再利用频谱仪对所有历史音频数据的进行观测，得到每种历史音频数据的频谱，观察计算m种类别的历史音频数据内的频谱内的幅度和频率，具体方式为：
11、搜集历史音频数据，对音频数据进行时域分析得到音频数据的时域波形，对音频数据的时域波形进行傅里叶变换得到音频数据在频域的图谱，公式为：
12、；
13、通过公式对历史音频数据进行傅里叶变换得到频谱，在对所有的历史音频数据均进行傅里叶变换后，得到m种个频谱，在傅里叶变换中，幅度为信号在频域中不同频率分量的强度或能量，通过傅里叶变换的结果来计算；
14、傅里叶变换的频谱表示为一个复数函数，由实部和虚部组成，计算幅度，需要计算每个频率分量的幅度谱，设频谱，幅度谱为，其中为实部，为虚部，f为频率，为角频率；计算所有频谱中的幅度和频率，公式为：
15、；
16、；
17、得到每一种类别下历史音频数据频谱的幅度和频率相同且出现次数最多的波形，将每一种类别得到的定为对应的历史音频数据的关键波形，将关键波形作为实时音频数据分类的标准，利用傅里叶变换清楚的计算出音频波形的幅度和频率，方便对数据进行分类。
18、在视频数据方面，对历史数据进行调查，将历史数据根据内容进行分类，通过决策树分类算法将所有的视频历史数据分为r种类别，对所有的视频历史数据进行分帧处理，并对每一帧图像进行分块处理，每一帧的图像下，3×3的分块矩阵内中心分块与周围8块的rgb色彩搭配构成矩阵色彩，将每一帧分为块色彩矩阵，代表一个有九个rgb值组成的色彩矩阵，每一块色彩矩阵由为3×3的rgb值构成，为色彩矩阵内中心的rgb值，为色彩矩阵内中心周围的rgb值，具体矩阵为：
19、；
20、通过计算一帧图像内每一种矩阵色彩的数量，之后计算每一帧图像内每一种矩阵色彩占所有矩阵色彩的比例，得到在一帧图像内占比最大的矩阵色彩q，将每种视频历史数据具体分为j帧，每一帧得到一个最大的矩阵色彩q，构成集合；对j个矩阵色彩进行比较计算，将相同的矩阵色彩定为同一种矩阵色彩，计算所有帧内每一种矩阵色彩的数量和占总色彩矩阵的比例，将占比最大的矩阵色彩定为视频数据的关键矩阵色彩，将关键矩阵色彩作为实时视频数据分类的标准。
21、s3、利用历史数据分类的信息标准，对采集的实时数据内的最显著信息与关键信息进行对比，实现对实时数据的自动分类；
22、利用所得到的文字、音频和视频数据的分类标准，对通过数据库查询、传感器感知的方式获取各种新的实时数据，并且对新获取的实时数据进行归类，使用得到的关键信息组成数据集，利用神经网络算法进行深度机器学习，实现对不同数据的分类，具体方法为：
23、对实时文字数据的判断，通过计算统计所获取实时文字数据中的每种词语的数量，将得到的数量最多的词语与每种类别历史数据的关键词语进行对比，若相同，则将文字数据归于与关键词语相对应的数据类别，若没有相同关键词语，则单独构成一个新的数据类别；
24、对实时音频数据的判断，对收集的实时音频数据利用频谱仪进行观测，得到实时音频数据的频谱，计算频谱内每种波形的出现次数，将出现次数最多的波形s与每种类别的历史音频数据关键波形进行对比，若相同，则将实时音频数据归为所代表的音频数据，若没有相同的关键波形，则将s波形所代表的数据定义为新的数据类别；
25、对实时视频数据的判断，将获取的视频数据进行分帧处理，通过对每帧画面进行分块后，将3×3的分块矩阵内中心分块与周围8块的rgb色彩搭配构成矩阵色彩，通过计算一帧图像内每一种矩阵色彩的数量，之后计算每一帧图像内每一种矩阵色彩占所有矩阵色彩的比例，得到在一帧图像内占比最大的矩阵色彩，将每种视频历史数据具体分为j帧，每一帧得到一个最大的矩阵色彩，构成集合；对j个矩阵色彩进行比较计算，将相同的矩阵色彩定为同一种矩阵色彩，计算所有帧内每一种矩阵色彩的数量和占总色彩矩阵的比例，得到占比最大、数量最多的矩阵色彩，将实时矩阵本文档来自技高网...
【技术保护点】
1.基于深度学习的大模型数据管理方法，其特征在于：该方法包括以下步骤：
2.根据权利要求1所述的基于深度学习的大模型数据管理方法，其特征在于：在S2中，对历史数据进行分类，将历史数据分为文字、视频和音频三个类型，将三种历史数据类型根据内容进行分类，具体方式为：
3.根据权利要求1所述的基于深度学习的大模型数据管理方法，其特征在于：在S3中，利用所得到的文字、音频和视频数据的分类标准，对通过数据库查询、传感器感知的方式获取各种新的实时数据，并且对新获取的实时数据进行归类，使用得到的关键信息组成数据集，利用神经网络算法进行深度机器学习，实现对不同数据的分类，具体方法为：
4.根据权利要求1所述的基于深度学习的大模型数据管理方法，其特征在于：在S4中，通过AES对称加密算法对所分类的数据进行加密，得到加密后的密文数据；在对密文数据进行存储之前，将系统内的存储空间进行区域分割处理，将整个系统存储空间分为文字存储器、音频存储器和视频存储器三个数据存储器，将文字存储器根据不同关键词语分为n块存储单元，将音频存储器根据不同关键波形分为m块存储单元，将视频存储
5.根据权利要求1所述的基于深度学习的大模型数据管理方法，其特征在于：在S5中，根据用户在系统内数据的浏览记录，预测用户浏览数据的喜好，根据数据类别进行精准的数据推送，具体为：
6.基于深度学习的大模型数据管理系统，其特征在于：所述数据管理系统包括数据获取模块、数据分类处理模块、数据存储模块和智能推送数据模块；
7.根据权利要求6所述的基于深度学习的大模型数据管理系统，其特征在于：所述数据获取模块通过数据库查询、传感器感知的方式获取各种实时数据信息，将所获取的实时数据信息进行汇总传输到数据处理模块。
8.根据权利要求6所述的基于深度学习的大模型数据管理系统，其特征在于：所述数据处理模块接收来自数据获取模块的实时数据信息，对所有实时数据进行分析，并且将历史数据分为文字、视频和音频三个类型；在三种历史数据类型下，对历史数据内的信息进行计算，得到每种历史数据的关键信息作为判断分类实时数据的标准；利用实时数据分类的信息标准，通过对所有实时数据内的信息与关键信息进行对比，实现对实时数据的自动分类。
9.根据权利要求6所述的基于深度学习的大模型数据管理系统，其特征在于：所述数据存储模块包括数据加密单元和分类存储单元；
10.根据权利要求6所述的基于深度学习的大模型数据管理系统，其特征在于：所述智能推送数据模块将用户使用系统时的浏览数据进行记录，提取所有的历史浏览数据，根据数据分类时提取关键信息的方法，对用户历史浏览数据进行关键信息的提取，将用户所有的历史浏览数据根据分类标准进行分类，计算每种类别的历史浏览数据数量，根据数量从大到小进行排序，根据历史浏览数据类别的排序，预测出用户对于每种数据的喜爱程度，根据用户喜好智能推送数据。
...【技术特征摘要】
1.基于深度学习的大模型数据管理方法，其特征在于：该方法包括以下步骤：
2.根据权利要求1所述的基于深度学习的大模型数据管理方法，其特征在于：在s2中，对历史数据进行分类，将历史数据分为文字、视频和音频三个类型，将三种历史数据类型根据内容进行分类，具体方式为：
3.根据权利要求1所述的基于深度学习的大模型数据管理方法，其特征在于：在s3中，利用所得到的文字、音频和视频数据的分类标准，对通过数据库查询、传感器感知的方式获取各种新的实时数据，并且对新获取的实时数据进行归类，使用得到的关键信息组成数据集，利用神经网络算法进行深度机器学习，实现对不同数据的分类，具体方法为：
4.根据权利要求1所述的基于深度学习的大模型数据管理方法，其特征在于：在s4中，通过aes对称加密算法对所分类的数据进行加密，得到加密后的密文数据；在对密文数据进行存储之前，将系统内的存储空间进行区域分割处理，将整个系统存储空间分为文字存储器、音频存储器和视频存储器三个数据存储器，将文字存储器根据不同关键词语分为n块存储单元，将音频存储器根据不同关键波形分为m块存储单元，将视频存储器根据不同的关键色彩画面分为r个存储单元，将不同的数据类型根据所对应的关键信息分别存储在不同的存储单元内；
5.根据权利要求1所述的基于深度学习的大模型数据管理方法，其特征在于：在s5中，根据用户在系统内数据的浏览记录，预测用户浏览数据的喜好，根据数据类别进行精准的数据推送，具体为：
6...
【专利技术属性】
技术研发人员：徐步海，
申请(专利权)人：江苏古卓科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。