基于改进RBF神经网络的数据分级存储算法制造技术

本发明专利技术提供基于改进RBF神经网络的数据分级存储算法：对首次存入的数据进行分级，根据一、二、三级存储设备的性能及容量特征得到存储级别，根据分级结果对数据进行数据存储。数据分级存储系统满足迁移条件时，计算数据迁移因素值，建立数据分级神经网络模型，得到数据迁移因素值与存储级别之间的映射关系。将数据迁移因素值作为数据分级神经网络模型的输入，根据触发条件选择迁移方式，根据差值P筛选迁移数据算法。本发明专利技术面向多源、异域、跨系统、多类型数据的分级存储策略及模型，实现数据不同级别之间的数据迁移，有效提高数据的访问效率及数据库的利用效率，提升数据管理决策效率，加快平台存储性能，降低平台存储成本。降低平台存储成本。降低平台存储成本。

【技术实现步骤摘要】
基于改进RBF神经网络的数据分级存储算法


[0001]本专利技术涉及一种分集存储算法，尤其涉及一种基于改进RBF神经网络的数据分级存储算法。

技术介绍

[0002]随着新建高铁快速发展，铁路数字化、智能化建设逐步深入，中国新建铁路在建设阶段就已经积累了海量结构化、半结构化、非结构化数据，包括勘察设计数据、工程进度数据、质量监督数据、自然灾害检测数据和视频监控数据等。铁路建设期数据具有数据量大、数据类型多、数据增长快、业务价值大的特点，传统的数据存储方式管理复杂、成本较高、访问速度较低。因此，为了能够满足铁路建设期数据存储量大、不同业务数据存储方式不同的需求，选择分级存储的方式能够有效降低存储成本，提高系统整体性能。
[0003]数据从产生到最后归档销毁的过程中，其被访问的频率是不断变化的，通常在应用中，把访问频率高的数据存储到在线存储设备中，而在存储设备中访问频率低的数据则存储到近线或离线存储设备中。
[0004]现有的迁移算法通常采用：基于数据访问频率的缓存(Cache)替换迁移算法：基于数据访问频度的Cache替换迁移算法的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进RBF神经网络的数据分级存储算法，其特征在于，所述算法包括：对首次存入的数据进行分级，得到分级结果；根据一级存储设备、二级存储设备、三级存储设备的性能以及容量特征得到存储级别，根据所述分级结果对所述数据进行数据存储；建立数据分级神经网络模型，包括，S1、计算数据迁移因素值；S2、确定聚类中心作为RBF隐含层神经元的径向基函数中心向量C
j
，获取RBF神经网络的扩展常数b；S3、获取惯性权重ω、收缩因子、粒子的速度、粒子的位置后，根据自适应粒子群算法确定权值矩阵，得到所述数据迁移因素值与存储级别之间的映射关系，则所述数据分级神经网络模型构建完毕；在实际数据迁移中，根据所述数据分级神经网络模型的输出值和标签值之差得到差值P，根据所述差值P筛选需迁移的数据；对于所述降级迁移算法：第一种情况判断空间占用率是否大于存储设备的高水位，若大于则计算数据差值P，判断所述差值是否小于数据迁移阈值，若小于则将待迁移数据加入迁移队列若所述迁移队列中的数据小于迁移队列容量，则将数据依次迁移并获取新的迁移阈值，若所述迁移队列中的数据大于迁移队列容量，则将所述迁移队列中最大差值的数据移出迁移队列后进行再次判断，根据判断结果将数据依次迁移并获取新的迁移阈值；第二种情况判断当前是否达到数据迁移周期，若达到迁移周期则计算数据迁移因素值作为训练完毕的所述数据分级神经网络模型的输入计算数据差值P，根据所述数据价值的计算结果优先执行数据降级迁移，将执行降级迁移数据判断所述差值是否小于数据迁移阈值，若小于则将待迁移数据加入迁移队列，若所述迁移队列中的数据小于迁移队列容量，则将数据依次迁移并获取新的迁移阈值，若所述迁移队列中的数据大于迁移队列容量，则将所述迁移队列中最大差值的数据移出迁移队列后进行再次判断，根据判断结果将数据依次迁移并获取新的迁移阈值；降级迁移后执行升级迁移算法，对于所述升级迁移算法：判断达到数据迁移周期执行完数据降级迁移后，获取数据迁移阈值，将执行升级迁移数据判断所述差值是否小于数据迁移阈值，若小于则加入升级迁移队列；判断迁移数据总量是否大于升级迁移队列的最大容量，若是则将迁移队列中差值最大的数据迁出迁移队列，若否则将迁移队列中的所有数据迁移到以及存储。2.根据权利要求1所述的算法，其特征在于，所述对首次存入的数据进行分级，得到分级结果包括：根据铁路建设期数据属性特征以及业务特征设置定量二级指标和定性二级指标；通过专家评价的方式根据三级指标内容对所述定性二级指标进行评价，对定...

【专利技术属性】
技术研发人员：廉小亲，刘钰，龚永罡，高超，吴叶兰，关文洋，陈彦铭，杨凯，吴艳华，程智博，冯云梅，刘哲倩，
申请(专利权)人：中国铁道科学研究院集团有限公司电子计算技术研究所，
类型：发明
国别省市：