System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种数据传输存储和读写的方法与服务端技术_技高网

一种数据传输存储和读写的方法与服务端技术

技术编号:41404684 阅读:5 留言:0更新日期:2024-05-20 19:30
本发明专利技术涉及数据传输领域,特别涉及一种数据传输存储和读写的方法与服务端,接收不同设备的设备端数据,根据设备端数据的数据类型,以哈希key进行区分,将设备端数据以键值对的方式写入Redis内存数据库中,Redis内存数据库以键值对的非关系型数据库的方式进行数据存储;将数据变动以队列的方式异步消费至底层关系型数据库中;本发明专利技术在内存中建立非关系型的Redis内存数据库,通过哈希key对不同类型的设备端数据进行数据类型区分,取代传统关系型数据库,降低资源占用,减少资源浪费,以解决内存资源溢出的问题,同时由Redis内存数据库提供用户操作服务,并以队列的方式异步消费变更数据至底层关系型数据库中,以解决高并发数据带来的数据丢失问题。

【技术实现步骤摘要】

本专利技术涉及数据传输,特别涉及一种数据传输存储和读写的方法与服务端


技术介绍

1、随着项目的推进和数据的增多,线程和数据体量的倍增对服务器带来了巨大的负担。其中,数据的高并发性可能导致项目内存资源溢出和高频数据丢失等问题,这不仅对系统的稳定性造成严重威胁,还可能影响数据的完整性和准确性。高并发数据访问是指系统在同一时间段内收到大量并发请求或写入操作,这可能会给数据存储和处理带来以下问题:

2、内存资源溢出:高并发数据读取和写入可能导致内存资源不足,尤其是当数据量大且频繁访问时。如果系统无法及时释放已使用的内存或合理分配内存,就可能导致内存资源溢出。

3、高频数据丢失:由于高并发写入速度超过系统处理能力,系统可能无法及时处理所有的写入请求,从而导致部分数据丢失。这尤其在实时数据记录、日志记录等场景中更为突出。

4、因此,如何有效地处理高并发数据成为了
中一个亟待解决的难题。


技术实现思路

1、本专利技术所要解决的技术问题是:提供一种数据传输存储和读写的方法与服务端,解决内存资源溢出和高频数据丢失的问题。

2、为了解决上述技术问题,本专利技术采用的技术方案为:

3、一种数据传输存储和读写的方法,包括步骤:

4、s1、接收不同设备传输的设备端数据,根据所述设备端数据的数据类型,以哈希key进行区分,将所述设备端数据以键值对的方式写入redis内存数据库中,所述redis内存数据库以键值对的非关系型数据库的方式进行数据存储;

5、s2、接受操作请求,以所述redis内存数据库为用户提供读写操作服务;

6、s3、将步骤s1和步骤s2产生的数据变动以队列的方式异步消费至底层关系型数据库中。

7、为了解决上述技术问题,本专利技术采用的另一种技术方案为:

8、一种数据传输存储和读写的服务端,包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

9、s1、接收不同设备传输的设备端数据,根据所述设备端数据的数据类型,以哈希key进行区分,将所述设备端数据以键值对的方式写入redis内存数据库中,所述redis内存数据库以键值对的非关系型数据库的方式进行数据存储;

10、s2、接受操作请求,以所述redis内存数据库为用户提供读写操作服务;

11、s3、将步骤s1和步骤s2产生的数据变动以队列的方式异步消费至底层关系型数据库中。

12、本专利技术的有益效果在于:本专利技术的一种数据传输存储和读写的方法与服务端,在内存中建立非关系型的redis内存数据库,通过哈希key对不同类型的设备端数据进行数据类型区分,取代了传统关系型数据库中一种设备对应一张独立的表的情况,降低资源占用,减少资源浪费,以解决内存资源溢出的问题,同时由redis内存数据库提供用户操作服务,并以队列的方式异步消费变更数据至底层关系型数据库中,以解决高并发数据带来的数据丢失问题。

本文档来自技高网...

【技术保护点】

1.一种数据传输存储和读写的方法,其特征在于,包括步骤:

2.根据权利要求1所述的一种数据传输存储和读写的方法,其特征在于,所述设备端数据的数据类型基于所述设备端数据的来源设备的设备类型。

3.根据权利要求1所述的一种数据传输存储和读写的方法,其特征在于,步骤S2具体为:

4.根据权利要求1所述的一种数据传输存储和读写的方法,其特征在于,还包括步骤:

5.一种数据传输存储和读写的服务端,包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现以下步骤:

6.根据权利要求5所述的一种数据传输存储和读写的服务端,其特征在于,所述设备端数据的数据类型基于所述设备端数据的来源设备的设备类型。

7.根据权利要求5所述的一种数据传输存储和读写的服务端,其特征在于,步骤S2具体为:

8.根据权利要求5所述的一种数据传输存储和读写的服务端,其特征在于,还包括步骤:

【技术特征摘要】

1.一种数据传输存储和读写的方法,其特征在于,包括步骤:

2.根据权利要求1所述的一种数据传输存储和读写的方法,其特征在于,所述设备端数据的数据类型基于所述设备端数据的来源设备的设备类型。

3.根据权利要求1所述的一种数据传输存储和读写的方法,其特征在于,步骤s2具体为:

4.根据权利要求1所述的一种数据传输存储和读写的方法,其特征在于,还包括步骤:

5.一种数据传输存储和读写的服务端,包括处理器、存储...

【专利技术属性】
技术研发人员:张翔张锦辉郑其荣
申请(专利权)人:福建时代星云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1