一种高密度海量数据异地归档方法技术

本发明专利技术提供了一种高密度海量数据异地归档方法，包括：发送端利用纠删码处理数据并异步发送数据；接收端接收数据，校验数据并利用纠删码存储数据，将存储成功的反馈消息返回网络；发送端接收网络返回的反馈消息并更新文件发送状态，完成数据归档；判断数据发送是否超时，获得需要超时重传的文件记录并将其加入超时文件队列重新发送。使用本发明专利技术进行高密度海量数据的异地归档，不仅具有消息队列的高效性和纠删码的高存储率，同时保障了数据传输的可靠性。靠性。靠性。

【技术实现步骤摘要】
一种高密度海量数据异地归档方法


[0001]本专利技术涉及数据传输
，具体涉及一种高密度海量数据异地归档方法。

技术介绍

[0002]随着信息技术的发展和大型科学仪器灵敏度的提高，大型科学仪器产生的高密度海量数据都在呈指数增长，进而数据从数据采集站所在的数据中心传输到其它区域数据中心的异地归档系统面临着巨大挑战。目前的数据异地归档系统主要基于同步消息传输方法、异步消息传输方法以及副本方法。
[0003]但是同步消息传输方法虽然能够在数据发送方和接收方之间实现一个高可靠性的异地归档系统，但是由于数据发送方每发送一条数据都需要等待数据接收方发送一条反馈消息，这就在一定程度上增加了同步消息传输方法中各个处理功能之间的耦合性，进而丧失了持续的高速传输性能。同时，异步消息传输方法虽然能够实现数据的持续高速传输，但是其却无法保证数据接收方能够完全接收到发送方发送的所有数据，这就使异步消息传输方法在一定程度上丧失了高可靠性。副本方法虽然能够保证数据的高可用性，但是其却至少需要增加一倍的存储开销，这就在一定程度上降低了存储利用率。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高密度海量数据异地归档方法，其特征在于，包括：发送端利用纠删码处理数据并异步发送数据的步骤，具体包括：S11、轮询本地数据库一中所有文件，获取文件状态为未发送状态的文件，将未发送状态文件对应的文件记录依次加入未发送文件队列；S12、轮询未发送文件队列，获取未发送文件队列中的文件记录，并获取该文件记录对应的文件数据，利用纠删码算法对文件数据进行处理，将处理后的文件数据与对应的文件记录封装成数据消息依次加入数据消息队列；S13、轮询数据消息队列，获取数据消息队列中的数据消息，将数据消息异步发送到网络；接收端接收数据，校验数据并利用纠删码存储数据，将存储成功的反馈消息返回网络的步骤，具体包括：S21、接收端接收来自网络的数据消息，对数据消息进行校验；S22、将通过校验的数据消息利用纠删码进行重构处理，将重构处理后的数据消息插入异地数据库二，并将产生的反馈消息加入反馈消息队列；S23、获取反馈消息队列中反馈消息并将反馈消息返回网络；发送端接收网络返回的反馈消息并更新文件发送状态，完成数据归档的步骤，具体包括：S31、本地数据库接收网络返回的反馈消息并将反馈消息加入反馈消息接收队列；S32、获取反馈消息接收队列中的反馈消息并基于反馈消息更新本地数据库中相应文件的文件状态。2.根据权利要求1所述的高密度海量数据异地归档方法，其特征在于，还包括，超时重传的步骤：判断数据发送是否超时，获得需要超时重传的文件记录并将其加入超时文件队列重新发送。3.根据权利要求1所述的高密度海量数据异地归档方法，其特征在于，步骤S11具体包括：S11
‑
1、轮询本地数据库中所有文件的记录状态；S11
‑
2、获取状态为未发送状态的文件记录；S11
‑
3、将未发送状态的文件记录加入未发送文件队列，并将文件状态由未发送...

【专利技术属性】
技术研发人员：石聪明，黄永灿，吕菲亚，王波，卫守林，王富丽，吴雅楠，李姝仪，程雨璐，
申请(专利权)人：安阳师范学院，
类型：发明
国别省市：