【技术实现步骤摘要】
一种抗并发的数据写入方法和系统
本专利技术涉及信息
，尤其是一种抗并发的数据写入方法和系统。
技术介绍
网络服务端在高峰繁忙时期会受到大量的访问，需要向服务器写入大量的数据。服务器的硬件资源有限，在访问量过大时容易因数据处理能力不足而崩溃，因此需要配套良好的抗并发算法。但现有的抗并发算法过于复杂，尤其是主流的抗并发算法，其基本原理是将数据均衡分配到多个备用服务器，因此现有技术是以设置了多个服务器为基础的，硬件投入成本高，虽然使用多个服务器能够达到抗并发的目的，但是单个硬件设备的工作效率不高。
技术实现思路
为了解决上述技术问题，本专利技术的目在于提供一种抗并发的数据写入方法和系统。本专利技术所采取的第一技术方案是：一种抗并发的数据写入方法，包括以下步骤：在繁忙时段，根据紧急程度对接收到的数据进行分级；所述繁忙时段指负荷达到预设值的时段或预先设定的时段；根据分级结果，向数据分配优先权；根据数据分配到的优先权顺序以及数据的业务类型，将数据存放到对应的卡夫卡消息队列；所述卡夫卡消息队列具有对应的业务类型，所述卡夫卡消息队列用于接收相同业务类型的数据；当检测到不存在相同...
【技术保护点】
1.一种抗并发的数据写入方法，其特征在于，包括以下步骤：在繁忙时段，根据紧急程度对接收到的数据进行分级；所述繁忙时段指负荷达到预设值的时段或预先设定的时段；根据分级结果，向数据分配优先权；根据数据分配到的优先权顺序以及数据的业务类型，将数据存放到对应的卡夫卡消息队列；所述卡夫卡消息队列具有对应的业务类型，所述卡夫卡消息队列用于接收相同业务类型的数据；当检测到不存在相同业务类型的卡夫卡消息队列而导致数据存放失败时，拒绝接收未能存放到卡夫卡消息队列中的数据，并向相应的数据源进行反馈；在非繁忙时段，将卡夫卡消息队列中存放的数据读出并写入到数据库中。
【技术特征摘要】
1.一种抗并发的数据写入方法，其特征在于，包括以下步骤：在繁忙时段，根据紧急程度对接收到的数据进行分级；所述繁忙时段指负荷达到预设值的时段或预先设定的时段；根据分级结果，向数据分配优先权；根据数据分配到的优先权顺序以及数据的业务类型，将数据存放到对应的卡夫卡消息队列；所述卡夫卡消息队列具有对应的业务类型，所述卡夫卡消息队列用于接收相同业务类型的数据；当检测到不存在相同业务类型的卡夫卡消息队列而导致数据存放失败时，拒绝接收未能存放到卡夫卡消息队列中的数据，并向相应的数据源进行反馈；在非繁忙时段，将卡夫卡消息队列中存放的数据读出并写入到数据库中。2.根据权利要求1所述的一种抗并发的数据写入方法，其特征在于，所述方法还包括以下步骤：在非繁忙时段，向被拒绝接收的数据相应的数据源发出重新传送数据的请求；将接收到的数据写入到数据库中。3.根据权利要求1或2所述的一种抗并发的数据写入方法，其特征在于，所述卡夫卡消息队列的数量为多个，各卡夫卡消息队列对应不同的优先权，各卡夫卡消息队列分别被配置为可读可写模式、只读模式或只写模式。4.根据权利要求3所述的一种抗并发的数据写入方法，其特征在于，所述根据分配的优先权顺序，将数据存放到卡夫卡消息队列这一步骤，具体包括：对各卡夫卡消息队列进行扫描，从中查找出匹配队列并检测匹配队列的存储空间；所述匹配队列由各卡夫卡消息队列中的一个或多个组成，所述匹配队列与待存放数据具有相同优先权顺序；当判断所述匹配队列的存储空间足以完全存放待存放数据时，则将待存放数据拷贝到所述匹配队列中，反之，则将待存放数据分解成第一部分和第二部分，然后将第一部分拷贝到所述匹配队列中，将第二部分拷贝到优先权顺序次于匹配队列的卡夫卡消息队列中；其中，所述第一部分的占据空间与匹配队列的存储空间相等。5.根据权利要求4所述的一种抗并发的数据写入方法，其特征在于，所述将第二部分拷贝到优先权顺序次于匹配队列的卡夫卡消息队列中这一步骤，具体包括：对各卡夫卡消息队列进行扫描，从中查找出次级队列并检测次级队列的存储空间；所述次级队列由各卡夫卡消息队列中的一个或多个组成，所述次级队列的优先权顺序比匹配队列的优先权顺序次一级；当判断所述次级队列的存储空间足以完全存放所述第二部分时，则将第二部分拷贝到所述次级队列中，反之，则将第二部分分解成第一单元和第二单元，所述第一单元的占据空间与次级队列的存储空间相等，所述第二单元是第二部分除第一单元外的其余部分，然后将第一单元拷贝到所述匹配队列中，将第二单元拷贝到优先权顺序次于次级队列的卡夫卡消息队列中。6.一种抗并发的数据写入系统，其特征在于，包括：数据...
【专利技术属性】
技术研发人员：刘丰，
申请(专利权)人：无锡天脉聚源传媒科技有限公司，
类型：发明
国别省市：江苏,32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。