【技术实现步骤摘要】
本专利技术涉及数据存储，尤其涉及kafka的数据存储方法及装置。
技术介绍
1、本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
2、在kafka中，数据是以主题topic为单位进行划分的，不同topic的数据属于不同的逻辑单元，数据最终也会存储在不同的物理单元。其中，相同topic的数据为了提升并发能力，又会将topic划分为一系列的分区partation，kafka中的同一topic的数据会写入到不同的partation中。对于每一个topic的partation来说，通过一系列的文件来描述此文件的数据信息。
3、由于kafka是一个高速的存取数据的消息系统，所以尽可能的提升性能是其持续追求的目标，因此，在关键路径中的数据存储性能的提升必然会提升系统的整体性能。目前的这种存储方式，由于kafka高度依赖于本地文件系统来进行大块数据的持续读写，其读写性能受制于本地文件系统的存取效率，即文件系统本身的性能损耗降低了kafka数据的存储性能，具体来说，...
【技术保护点】
1.一种kafka的数据存储方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述属性信息包括待写入数据的数据量大小，所述partation对应的recordbatch的存储状态信息包括partation对应的recordbatch的剩余存储空间大小；
3.如权利要求2所述的方法，其特征在于，将待写入数据写入至第二磁盘分区中与所述合适partation对应的recordbatch中后，还包括：
4.如权利要求3所述的方法，其特征在于，所述描述信息还包括标记信息，标记信息用于表示partation对应的recordba...
【技术特征摘要】
1.一种kafka的数据存储方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述属性信息包括待写入数据的数据量大小，所述partation对应的recordbatch的存储状态信息包括partation对应的recordbatch的剩余存储空间大小；
3.如权利要求2所述的方法，其特征在于，将待写入数据写入至第二磁盘分区中与所述合适partation对应的recordbatch中后，还包括：
4.如权利要求3所述的方法，其特征在于，所述描述信息还包括标记信息，标记信息用于表示partation对应的recordbatch是否还能够存储数据；
5.如权利要求1所述的方法，其特征在于，所述描述信息还包括partation存储的数据的数据标识信息；
6.如权利要求5所述的方法，其特征在于，将待写入数据写入至第二磁盘分区中与所述合适partation对应的recordbatch中后，还包括：
7.如权利要求1所述的方法...
【专利技术属性】
技术研发人员：李博，赖鑫，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。