本申请实施例公开了一种基于块存储的切块方法和装置，该方法包括：获取待分配的多个存储块；根据预设顺序将多个存储块分别进行编号，根据编号为多个存储块建立分配索引；根据音视频存储通道的通道参数以及分配索引将多个存储块预分配给多个通道，并根据存储通道和/或存储盘的变化情况对通道所分配的存储块进行调整；通道参数包括：通道码率、通道容量、通道个数以及通道留存期；存储通道和/或存储盘的变化情况包括：删除通道、新增通道、通道离线、通道重新上线、删除存储盘和新增存储盘。通过该实施例方案，消除了选块消耗的时间，避免了录制的音视频丢失，提高了存储块的利用率，提高了监控存储系统的完整性和稳定性，提高了读写效率。读写效率。读写效率。
【技术实现步骤摘要】
一种基于块存储的切块方法和装置
[0001]本文涉及数据存储技术，尤指一种基于块存储的切块方法和装置。
技术介绍
[0002]当前监控系统通常会给每个接入的前端相机分配一定的内存空间作为缓冲区，用于将接收到的码流数据按一定格式组装，便于存储；并且监控系统的存储管理模块进行相应的存储资源管理，如整合系统所有接入的硬盘，再按照一定的方式进行组织，提供接口供监控系统的码流数据接收模块申请空闲的存储空间，以及将接收到的码流数据存储到硬盘。具体组织方式，通常可以是一种特定的文件系统。
[0003]当前的后端监控存储方案中整体文件的切换过程是串行的，即先关闭当前写完的文件，再申请新的文件，整个流程都是串行执行的，针对当前存储方案常见的优化方案包括以下几种：
[0004]1、增大收流模块的缓冲区，或者减少旧文件关闭以及新文件打开过程中的步骤，以增加对前端相机数据堆积的容忍性；
[0005]2、动态调整存储单元，通过比较待存储文件与存储单元剩余空间的大小，在待存储文件小于等于存储单元剩余空间时，保持存储单元尺寸不变进行存储，否则扩大或缩小存储单元尺寸以适应待存储文件大小；
[0006]3、通过对硬盘空间进行划分，设置管理块和多个存储块，通过管理块对硬盘和存储块进行区分管理，且存储块之间相互独立，互不影响。
[0007]4、目前块存储时，当某个通道中一个存储块存完数据要切块的时候，才进行找下一个存储块，用于后续进行存储。
[0008]当前的处理方案存在以下问题：
[0009]1、增加收流模块的缓冲区，会占用更多的设备内存，增加了设备的成本；而精简文件切换过程的流程，通常有较大难度，甚至牺牲数据的完整性。
[0010]2、动态调整存储单元，缺点是在磁盘满后进行覆盖时，不是很好进行管理和维护。例如，之前分了一个很大的存储块用于存储，覆盖时是直接覆盖该存储块还是把该存储块分割后进行分块，因此在磁盘满进行覆盖时会有很多要解决和待讨论的问题。
[0011]3、对硬盘空间进行划分，该方案虽然是提前对空间进行划分，但是无法动态调整各个通道留存期，这里会造成硬盘空间的浪费。
[0012]4、在当前存储块存储数据结束的时候才进行后续存储块的寻找或者选择存储块(选块)。一方面这时系统性能会有较大开销(当前存储块结束的关闭操作以及后续的选块操作、新块头部信息处理操作，这些操作的消耗加起来比较大)。另一方面，由于选块时需要一些数据和参数进行处理，如果多个通道都在处理，存在后续存储块没有及时选到，导致没有将数据及时刷到后续存储块上，则保存在缓冲区的数据极有可能被丢弃，产生录像丢失的风险。
[0013]5、前述方案均没有体现出切块时性能损耗如何解决，以及存储块未按照理想条件
下进行分配，无法提高磁头读写效率问题。
技术实现思路
[0014]本申请实施例提供了一种基于块存储的切块方法和装置，能够消除选块消耗的时间，避免所录制的音视频丢失，提高存储块的利用率，提高监控存储系统的完整性和稳定性，并提高读写效率。
[0015]本申请实施例提供了一种基于块存储的切块方法，所述方法可以包括：
[0016]获取待分配的多个存储块；
[0017]根据预设顺序将所述多个存储块分别进行编号，根据所述编号为所述多个存储块建立分配索引；
[0018]根据音视频存储通道的通道参数以及所述分配索引将所述多个存储块预分配给多个通道，并根据所述存储通道和/或存储盘的变化情况对通道所分配的存储块进行调整；
[0019]其中，所述通道参数包括以下任意一种或多种：通道码率、通道容量、通道个数以及通道留存期；所述存储通道和/或存储盘的变化情况包括以下任意一种或多种：删除通道、新增通道、通道离线、通道重新上线、删除存储盘和新增存储盘。
[0020]在本申请的示例性实施例中，当被分配的存储块为当前存在的存储盘划分出的新的存储块时，所述根据音视频存储通道的通道参数以及所述分配索引将所述多个存储块预分配给多个通道包括：
[0021]检测所述多个通道的通道码率是否相同；根据检测结果依据下述的分配策略对所述多个存储块进行分配：
[0022]当所述多个通道的通道码率相同时，根据所述多个存储块的编码顺序，按照每个通道每次分配一个存储块的方式，从红黑树RBTree中依次将存储块分配给所述多个通道，直至将全部存储块分配完；
[0023]当所述多个通道的通道码率不相同时，根据所述多个存储块的编码顺序，按照每个通道每次分配的存储块的数量与多个通道的通道码率的比例相匹配的方式，从所述红黑树RBTree中依次将存储块分配给所述多个通道，直至将全部存储块分配完。
[0024]在本申请的示例性实施例中，所述根据音视频存储通道的通道参数以及所述分配索引将所述多个存储块预分配给多个通道还可以包括：
[0025]在由当前存在的存储盘划分出的新的存储块已经分配完毕后，开始回收被删除的通道、离线时长超过预设的时长阈值的通道和/或达到通道留存期的通道内的存储块作为旧块，将所述旧块分配给需要预分配存储块的通道；或者，回收该需要预分配存储块的通道内最早分配的存储块作为复写块，并在将所述复写块重新分配给该通道。
[0026]在本申请的示例性实施例中，所述根据所述存储通道和/或存储盘的变化情况对通道所分配的存储块进行调整可以包括：
[0027]当增加新的存储盘时和/或当前存储盘的容量增加时，根据增加的新的存储盘和/或当前存储盘增加的容量划分出新的存储块，并根据所述分配策略向多个通道分配所述新的存储块，直至所述新的存储块分配完。
[0028]在本申请的示例性实施例中，所述根据所述存储通道和/或存储盘的变化情况对通道所分配的存储块进行调整还可以包括：
[0029]当所述多个通道中至少一个通道被删除时，根据所述分配策略，将回收被删除的通道中超过通道留存期的存储块，并分配给在线的通道，直至在线的每个通道的通道留存期均相同；和/或，
[0030]当所述多个通道中至少一个通道离线时，根据所述分配策略，将离线的通道中的超过通道留存期的最早的存储块直至次新的存储块之间的存储块依次分配给在线的通道，直至在线的每个通道的通道留存期均相同；
[0031]其中，当同时存在离线通道和被删除通道时，所述离线通道和被删除通道中的随时间流逝超过通道留存期的存储块依次回收存储到红黑树RBTree中，根据分配策略分配给在线的通道。
[0032]在本申请的示例性实施例中，所述根据所述存储通道和/或存储盘的变化情况对通道所分配的存储块进行调整还可以包括：
[0033]在由当前存在的存储盘划分出的新的存储块已经分配完毕后，当新增通道时，将从原有通道中回收的旧块或复写块分配给该新增通道，直至在线的每个通道的通道留存期均相同。
[0034]在本申请的示例性实施例中，所述旧块和所述复写块的回收策略可以包括以下一种或多种：
[0035]当存在新的存储块未分配本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于块存储的切块方法，其特征在于，所述方法包括：获取待分配的多个存储块；根据预设顺序将所述多个存储块分别进行编号，根据所述编号为所述多个存储块建立分配索引；根据音视频存储通道的通道参数以及所述分配索引将所述多个存储块预分配给多个通道，并根据所述存储通道和/或存储盘的变化情况对通道所分配的存储块进行调整；其中，所述通道参数包括以下任意一种或多种：通道码率、通道容量、通道个数以及通道留存期；所述存储通道和/或存储盘的变化情况包括以下任意一种或多种：删除通道、新增通道、通道离线、通道重新上线、删除存储盘和新增存储盘。2.根据权利要求1所述的基于块存储的切块方法，其特征在于，当被分配的存储块为当前存在的存储盘划分出的新的存储块时，所述根据音视频存储通道的通道参数以及所述分配索引将所述多个存储块预分配给多个通道包括：检测所述多个通道的通道码率是否相同；根据检测结果依据下述的分配策略对所述多个存储块进行分配：当所述多个通道的通道码率相同时，根据所述多个存储块的编码顺序，按照每个通道每次分配一个存储块的方式，从红黑树RBTree中依次将存储块分配给所述多个通道，直至将全部存储块分配完；当所述多个通道的通道码率不相同时，根据所述多个存储块的编码顺序，按照每个通道每次分配的存储块的数量与多个通道的通道码率的比例相匹配的方式，从所述红黑树RBTree中依次将存储块分配给所述多个通道，直至将全部存储块分配完。3.根据权利要求2所述的基于块存储的切块方法，其特征在于，所述根据音视频存储通道的通道参数以及所述分配索引将所述多个存储块预分配给多个通道还包括：在由当前存在的存储盘划分出的新的存储块已经分配完毕后，开始回收被删除的通道、离线时长超过预设的时长阈值的通道和/或达到通道留存期的通道内的存储块作为旧块，将所述旧块分配给需要预分配存储块的通道；或者，回收该需要预分配存储块的通道内最早分配的存储块作为复写块，并在将所述复写块重新分配给该通道。4.根据权利要求2所述的基于块存储的切块方法，其特征在于，所述根据所述存储通道和/或存储盘的变化情况对通道所分配的存储块进行调整包括：当增加新的存储盘时和/或当前存储盘的容量增加时，根据增加的新的存储盘和/或当前存储盘增加的容量划分出新的存储块，并根据所述分配策略向多个通道分配所述新的存储块，直至所述新的存储块分配完。5.根据权利要求2所述的基于块存储的切块方法，其特征在于，所述根据所述存储通道和/或存储盘的变化情况对通道所分配的存储块进行调整还包括：当所述多个通道中至少一个通道被删除时，根据所述分配策略，将回收被删除的通道中超过通道留存期的存储块，并分配给在线的通道，直至在线的每个通道的通道留存期均...
【专利技术属性】
技术研发人员：豆红雷，郭金朋，
申请(专利权)人：浙江宇视科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。