一种数据块存储方法、装置、电子设备和存储介质制造方法及图纸

本申请提供了一种数据块存储方法、装置、电子设备和存储介质，应用于云存储系统，方法包括：接收业务系统发送的待存储数据流；查询业务系统分组目录，确定业务系统所属的块存储列表；从块存储列表的存储地址获取块存储列表；其中，块存储列表用于记录业务系统产生的数据流的数据特征与业务系统产生的数据流的数据特征对应的块存储节点之间的映射关系；确定待存储数据流的数据特征；数据特征查询块存储列表，确定数据特征对应的块存储节点；将待存储数据流存储至存储节点。本申请避免了额外购买大容量存储设备，节约了成本；可快速查询到相应的数据；可实现垮领域、垮业务系统、以及垮部门的数据共享。

A data block storage method, device, electronic device and storage medium

【技术实现步骤摘要】
一种数据块存储方法、装置、电子设备和存储介质
本申请涉及云计算
，特别是涉及一种数据块存储方法、装置、电子设备和存储介质。
技术介绍
智慧城市是把新一代信息技术充分运用在城市中的各行各业，并基于知识社会的城市信息化高级形态，实现信息化、工业化，与城镇化深度融合，有助于提高城镇化质量，实现精细化和动态管理，并提升城市管理成效和改善市民生活质量。智慧城市需要覆盖一个城市中的所有领域，包括城市管理、社会民生、资源环境、产业经济、特色服务等各个领域，而每一个领域又包括了各类层级明显的多个业务系统。可见，一个智慧城市的数据量是庞大的。相关技术中，对跨领域、垮系统、跨部门的数据的存储方式是分散的、固定的，无法实现数据的融合，且存储效率也低。
技术实现思路
本申请提供一种数据块存储方法、装置、电子设备和存储介质，以解决上述的问题。本申请第一方面提供了一种数据块存储方法，应用于云存储系统，所述方法包括：接收业务系统发送的待存储数据流；查询业务系统分组目录，确定所述业务系统所属的块存储列表；其中，所述业务系统分组目录用于记录所述业务系统的身份信息与所述业务系统所属的块存储列表的映射关系，以及所述块存储列表的存储地址；从所述块存储列表的存储地址获取所述块存储列表；其中，所述块存储列表用于记录所述业务系统产生的数据流的数据特征与所述业务系统产生的数据流的数据特征对应的块存储节点之间的映射关系；确定所述待存储数据流的数据特征；数据特征查询所述块存储列表，确定所述数据特征对应的块存储节点；将所述待存储数据流存储至所述存储节点。进一步地，确定所述数据特征对应的块存储节点，具体包括：判断所述待存储数据流在预设时间内的使用频率是否超过预设阈值；如果所述待存储数据流在预设时间内的使用频率超过预设阈值，则查询所述块存储列表，确定所述数据特征对应的缓存级块存储节点，将所述缓存级块存储节点作为所述数据特征对应的块存储节点；如果所述待存储数据流在预设时间内的使用频率未超过预设阈值，则查询所述块存储列表，确定所述数据特征对应的磁盘块存储节点，将所述磁盘块存储节点作为所述数据特征对应的块存储节点。进一步地，在接收业务系统发送的待存储数据流之后，所述方法还包括：当根据业务系统分组目录，无法获取所述业务系统所述的块存储列表时，确定所述待存储数据流所需的存储空间，以及确定所述待存储数据流的数据特征；根据所述待存储数据流所需的存储空间以及所述待存储数据流的数据特征，为所述数据特征配置对应的块存储节点，并将所述待存储数据流存储在所述数据特征对应的块存储节点；根据所述待存储数据流的数据特征与所述待存储数据流的数据特征对应的块存储节点的映射关系，建立所述业务系统所属的块存储列表，并对所述块存储列表进行存储；将所述业务系统以及所述业务系统所属的块存储列表的映射关系、以及所述块存储列表的存储地址，更新至所述业务系统分组目录中。进一步地，在确定所述待存储数据流的数据特征之后，所述方法还包括：当根据所述待存储数据流的数据特征，无法在所述块存储列表中确定所述数据特征对应的块存储节点，根据所述待存储数据流所需的存储空间以及所述待存储数据流的数据特征，为所述数据特征配置对应的块存储节点，并将所述待存储数据流存储在所述数据特征对应的块存储节点；将所述待存储数据流的数据特征与所述待存储数据流的数据特征对应的块存储节点的映射关系，存储至所述业务系统所属的块存储列表。本申请第二方面提供了一种数据块存储装置，所述装置包括：接收模块，用于接收业务系统发送的待存储数据流；查询模块，用于查询业务系统分组目录，确定所述业务系统所属的块存储列表；其中，所述业务系统分组目录用于记录所述业务系统与所述业务系统所属的块存储列表的映射关系，以及所述块存储列表的存储地址；获取模块，用于从所述块存储列表的存储地址获取所述块存储列表；其中，所述块存储列表用于记录所述业务系统产生的数据流的数据特征与所述业务系统产生的数据流的数据特征对应的块存储节点之间的映射关系；第一确定模块，用于确定所述待存储数据流的数据特征；第二确定模块，用于根据所述待存储数据流的数据特征和所述块存储列表，确定所述数据特征对应的块存储节点；第一存储模块，用于将所述待存储数据流存储至所述存储节点。进一步地，所述第二确定模块包括：判断子模块，用于判断所述待存储数据流在预设时间内的使用频率是否超过预设阈值；第一确定子模块，用于当如果所述待存储数据流在预设时间内的使用频率超过预设阈值时，则查询所述块存储列表，确定所述数据特征对应的缓存级块存储节点，将所述缓存级块存储节点作为所述数据特征对应的块存储节点；第二确定子模块，用于当如果所述待存储数据流在预设时间内的使用频率未超过预设阈值时，则查询所述块存储列表，确定所述数据特征对应的磁盘块存储节点，将所述磁盘块存储节点作为所述数据特征对应的块存储节点。进一步地，所述装置还包括：第三确定模块，用于当根据业务系统分组目录，无法获取所述业务系统所述的块存储列表时，确定所述待存储数据流所需的存储空间，以及确定所述待存储数据流的数据特征；第二存储模块，用于根据所述待存储数据流所需的存储空间以及所述待存储数据流的数据特征，为所述数据特征配置对应的块存储节点，并将所述待存储数据流存储在所述数据特征对应的块存储节点；第一构建模块，用于根据所述待存储数据流的数据特征与所述待存储数据流的数据特征对应的块存储节点的映射关系，建立所述业务系统所属的块存储列表，并对所述块存储列表进行存储；第一更新模块，用于将所述业务系统以及所述业务系统所属的块存储列表的映射关系、以及所述块存储列表的存储地址，更新至所述业务系统分组目录中。进一步地，所述装置还包括：第四确定模块，用于当根据所述待存储数据流的数据特征，无法在所述块存储列表中确定所述数据特征对应的块存储节点，根据所述待存储数据流所需的存储空间以及所述待存储数据流的数据特征，为所述数据特征配置对应的块存储节点，并将所述待存储数据流存储在所述数据特征对应的块存储节点；第二更新模块，用于将所述待存储数据流的数据特征与所述待存储数据流的数据特征对应的块存储节点的映射关系，存储至所述业务系统所属的块存储列表。本申请第三方面提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行以实现所述的一种数据块存储方法。本申请第四方面提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行实现所述的一种数据块存储方法。与现有技术相比，本申请包括以下优点：本申请通过设置云存储系统，将现有的各个领域中各个业务系统原有的存储设备进行组合得到的存储节点集群，避免了额外购买大容量存储设备，节本文档来自技高网...

【技术保护点】
1.一种数据块存储方法，其特征在于，应用于云存储系统，所述方法包括：/n接收业务系统发送的待存储数据流；/n查询业务系统分组目录，确定所述业务系统所属的块存储列表；其中，所述业务系统分组目录用于记录所述业务系统的身份信息与所述业务系统所属的块存储列表的映射关系，以及所述块存储列表的存储地址；/n从所述块存储列表的存储地址获取所述块存储列表；其中，所述块存储列表用于记录所述业务系统产生的数据流的数据特征与所述业务系统产生的数据流的数据特征对应的块存储节点之间的映射关系；/n确定所述待存储数据流的数据特征；/n查询所述块存储列表，确定所述数据特征对应的块存储节点；/n将所述待存储数据流存储至所述存储节点。/n

【技术特征摘要】
1.一种数据块存储方法，其特征在于，应用于云存储系统，所述方法包括：
接收业务系统发送的待存储数据流；
查询业务系统分组目录，确定所述业务系统所属的块存储列表；其中，所述业务系统分组目录用于记录所述业务系统的身份信息与所述业务系统所属的块存储列表的映射关系，以及所述块存储列表的存储地址；
从所述块存储列表的存储地址获取所述块存储列表；其中，所述块存储列表用于记录所述业务系统产生的数据流的数据特征与所述业务系统产生的数据流的数据特征对应的块存储节点之间的映射关系；
确定所述待存储数据流的数据特征；
查询所述块存储列表，确定所述数据特征对应的块存储节点；
将所述待存储数据流存储至所述存储节点。


2.根据权利要求1所述的方法，其特征在于，确定所述数据特征对应的块存储节点，具体包括：
判断所述待存储数据流在预设时间内的使用频率是否超过预设阈值；
如果所述待存储数据流在预设时间内的使用频率超过预设阈值，则查询所述块存储列表，确定所述数据特征对应的缓存级块存储节点，将所述缓存级块存储节点作为所述数据特征对应的块存储节点；
如果所述待存储数据流在预设时间内的使用频率未超过预设阈值，则查询所述块存储列表，确定所述数据特征对应的磁盘块存储节点，将所述磁盘块存储节点作为所述数据特征对应的块存储节点。


3.根据权利要求1所述的方法，其特征在于，在接收业务系统发送的待存储数据流之后，所述方法还包括：
当根据业务系统分组目录，无法获取所述业务系统所述的块存储列表时，确定所述待存储数据流所需的存储空间，以及确定所述待存储数据流的数据特征；
根据所述待存储数据流所需的存储空间以及所述待存储数据流的数据特征，为所述数据特征配置对应的块存储节点，并将所述待存储数据流存储在所述数据特征对应的块存储节点；
根据所述待存储数据流的数据特征与所述待存储数据流的数据特征对应的块存储节点的映射关系，建立所述业务系统所属的块存储列表，并对所述块存储列表进行存储；
将所述业务系统以及所述业务系统所属的块存储列表的映射关系、以及所述块存储列表的存储地址，更新至所述业务系统分组目录中。


4.根据权利要求1所述的方法，其特征在于，在确定所述待存储数据流的数据特征之后，所述方法还包括：
当根据所述待存储数据流的数据特征，无法在所述块存储列表中确定所述数据特征对应的块存储节点，根据所述待存储数据流所需的存储空间以及所述待存储数据流的数据特征，为所述数据特征配置对应的块存储节点，并将所述待存储数据流存储在所述数据特征对应的块存储节点；
将所述待存储数据流的数据特征与所述待存储数据流的数据特征对应的块存储节点的映射关系，存储至所述业务系统所属的块存储列表。


5.一种数据块存储装置，其特征在于，所述装置包括：
接收模块，用于接收业务系统发送的待存储数据流；
查询模块，用于查询业务系统分组目录，确定所述业务系统所属的块存储列表；其中，所述业务系统分组目录用于记录所述业务系统与所述业务系统所属的块存储列表的映射关系，以...

【专利技术属性】
技术研发人员：邓练兵，薛剑，陈金鹿，
申请(专利权)人：珠海大横琴科技发展有限公司，
类型：发明
国别省市：广东;44