【技术实现步骤摘要】
一种分布式系统中数据传输处理与存储方法、系统及介质
[0001]本专利技术涉及数据处理技术邻域，更具体的，涉及一种分布式系统中数据传输处理与存储方法、系统及介质。
技术介绍
[0002]随着工业企业的发展，生产规模扩大以及数据采集量的大大增加，企业在数据采集实时性及成本控制方面提出了更高的要求，而分布式系统具有高可靠性、高透明性和高并发能力,在信息时代有了更深层次的应用,尤其是实时通信方面,有效解决了单服务器通信系统的弊端，当前存在较为成熟的分布式系统，以及通过显卡（GPU），硬件加速卡进行数据处理的架构，但是在同时满足超低时延并能准实时对数据进行分析处理方面，仍然存在问题。
[0003]为了能够在处理大量实时的非结构化数据时，包括视频，音频，图片等，需要基于低时延硬件系统提供一套低时延，准实时，高可靠的数据处理及存储软件系统。该系统通过获取在当前硬件下数据传输，处理，存储的过程中的最短数据拷贝路径，最短数据存储路径，高效流式数据处理及存储，以解决当前存储和计算同步进行时数据多次拷贝的时延，效率和资源浪费问题。
【技术保护点】
【技术特征摘要】
1.一种分布式系统中数据传输处理与存储方法，其特征在于，包括以下步骤：当数据源产成数据后，生成远程过程调用发送至存储计算集群；存储计算集群收到调用后，选定任一存储计算节点作为源存储节点，通过远程内存访问读取数据源的内存并存储在集群的存储级内存中；所述源存储节点接收到第一份数据后给集群中分配的用于做数据冗余复制的第二个节点发送远程过程调用；冗余复制节点收到消息后，通过远程持久内存访问完成数据的远程复制，完成数据的高可用持久写入；所述存储计算集群具有存储功能，包括使用存储级内存作为一级持久缓存，使用基于NVMe协议的固态硬盘作为最终存储的二级存储，使用显卡、硬件加速卡作为数据计算加工单元的具有存储计算的集群系统。2.根据权利要求1所述的一种分布式系统中数据传输处理与存储方法，其特征在于，所述数据源及存储计算集群之间建立具备远程内存访问功能的网络，进行消息传送。3.根据权利要求1所述的一种分布式系统中数据传输处理与存储方法，其特征在于，在源存储节点完成存储级内存写入后，根据预先定义对数据的工作负荷进行计算，所述工作负荷由显卡及硬件加速卡完成；工作负荷根据预先定义进行流式多任务处理，在完成预定工作负荷后，将数据回写回本机内存；工作负荷既可根据需求只在源数据存储节点进行，又可根据负荷情况在源存储节点和冗余复制存储节点分别运行不同负荷。4.根据权利要求1所述的一种分布式系统中数据传输处理与存储方法，其特征在于，若数据传送目标中存在二级存储单元，则通过直接存储器访问，将数据存储到二级存储中；对于有数据冗余要求的场景，工作负荷调度单元通过远程过程调用方式通知冗余复制节点，冗余复制节点收到消息后启动远程内存访问，将数据写入本地内存，再通知本地存储启动直接存储器访问，完成数据的冗余。5.根据权利要求1所述的一种分布式系统中数据传输处理与存储方法，其特征在于，还包括：根据远程过程调用响应时间判断存储计算节点是否存在异常；获取存储计算集群的有向带权图，预设存储计算集群中存储计算节点间调用请求的响应时间区间；获取存储计算集...
【专利技术属性】
技术研发人员：齐泽青，
申请(专利权)人：深圳市泛联信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。