图片写入和读取方法、装置制造方法及图纸

本申请提供一种图片写入和读取方法、装置，其中图片读取方法包括：从元数据服务器获取各存储节点的配置信息，所述配置信息包括节点编码、存储节点IP、存储节点端口号以及该存储节点所管理的资源列表信息，所述资源列表信息包括资源ID；从卡口管理服务器获取待读取图片的URL；根据所述待读取图片所对应的节点编码、资源ID以及所述配置信息，获取相应的存储节点IP和存储节点端口号；根据所述相应的存储节点IP和存储节点端口号，以及所述待读取图片所对应的资源ID、slice数据块ID、偏移量和图片大小，利用iscsi协议读取图片。将图片存储位置与URL唯一对应，大大缩短图片访问路径的长度，提高图片读取性能。

Picture writing and reading method and device

This application provides a picture of the writing and reading method and device, the image reading method comprises: obtaining configuration information of each storage node from the metadata server, the configuration information includes the management node encoding and storage nodes and storage nodes of IP port and the storage node information resource list, the list of resources including information resources ID; access to be read from the bayonet pictures of the URL management server; according to the node encoding, read the image corresponding to the resources of ID and the configuration information, access to the storage node IP and port number corresponding to the storage node; according to the corresponding storage nodes and storage nodes of IP port, ID and slice resources block ID, offset and the size of the picture and the corresponding picture to be read, read the image using the iSCSI protocol. The picture storage location and URL unique correspondence, greatly shorten the length of the picture access path, improve the picture reading performance.

【技术实现步骤摘要】
图片写入和读取方法、装置
本申请涉及视频监控领域，尤其涉及图片写入和读取方法、装置。
技术介绍
随着道路监控在安防领域的广泛应用，卡口相机图片的存储量也越来越大，存储的方式也从原来的集中式存储转向时下流行的分布式存储(即云存储)。相对于集中式存储，分布式存储使用的分布式文件系统的后端组织结构相当复杂，文件读取路径会变长，导致文件读取性能大大降低。一般分布式文件系统为了提高文件频繁访问的性能，会在后端缓存该文件，避免读取同一文件多次访问磁盘。但在监控领域，多次访问同一张图片的可能性不大，因此缓存的方式并不能从根本上提高图片的读取性能。ceph为一种通用的分布式文件系统，包括元数据管理节点和存储节点，并提供cephfs文件系统来存储图片。通过ceph访问某一张图片文件时，根据文件名通过一定的算法确定该图片文件的存储节点，接着在存储节点上通过索引信息找到该图片文件的存储位置，从而读取该图片数据。读取图片文件时，需要通过ceph文件系统，利用文件名算出对应的存储节点，再向对应的存储节点上的文件系统发送读取请求，如此会加大了图片文件访问的路径长度，降低图片文件的读取性能。而大部分图片远小于视频文件的大小，因此在ceph的文件名称索引区中存储的映射关系远远超过视频，数量甚至达到亿级。需要在如此庞大的量级数据中查找对应的映射关系以确认图片的具体存储位置，进而读取到图片数据，对图片文件的读取性能也产生了极大的影响。另外，这种方式无法绕开文件系统本身，在性能上存在瓶颈。
技术实现思路
有鉴于此，本申请提供一种图片写入和读取方法、装置，以解决现有技术中图片读取性能较差的问题。具体地，本申请是通过如下技术方案实现的：根据本申请的第一方面，提供一种图片写入方法，应用于卡口客户端，所述图片写入方法包括：发送节点选择请求至元数据服务器；接收所述元数据服务器针对所述节点选择请求返回的节点编码；向所述节点编码所对应的存储节点请求可用的资源；通过动态iscsi技术挂载所述资源，并在挂载成功后将图片按预设存储格式写入所述资源；记录所述图片存储所在的节点编码、资源ID、slice数据块ID、偏移量和图片大小；根据所述图片存储所在的节点编码、资源ID、slice数据块ID、偏移量和图片大小生成该图片的URL。可选地，所述图片写入方法还包括：发送所述URL至卡口管理服务器。可选地，所述预设存储格式包括索引区和slice数据区，所述索引区包括索引描述区、slice位图区和目录索引区，所述slice数据区包括若干slice块。可选地，所述节点编码、资源ID、slice数据块ID、偏移量和图片大小依次排列形成相应图片的URL。根据本申请的第二方面，提供一种图片读取方法，应用于图片显示客户端，所述图片读取方法包括：从元数据服务器获取各存储节点的配置信息，所述配置信息包括节点编码、存储节点IP、存储节点端口号以及该存储节点所管理的资源列表信息，所述资源列表信息包括资源ID；从卡口管理服务器获取待读取图片的URL，所述URL至少包括节点编码、资源ID、slice数据块ID、偏移量和图片大小；根据所述待读取图片所对应的节点编码、资源ID以及所述配置信息，获取相应的存储节点IP和存储节点端口号；根据所述相应的存储节点IP和存储节点端口号，以及所述待读取图片所对应的资源ID、slice数据块ID、偏移量和图片大小，利用iscsi协议读取图片。根据本申请的第三方面，提供一种图片写入装置，应用于卡口客户端，所述图片写入装置包括：节点请求发送模块，发送节点选择请求至元数据服务器；信息接收模块，接收所述元数据服务器针对所述节点选择请求返回的节点编码；资源请求模块，向所述节点编码所对应的存储节点请求可用的资源；图片写入模块，通过动态iscsi技术挂载所述资源，并在挂载成功后将图片按预设存储格式写入所述资源；写入位置记录模块，记录所述图片存储所在的节点编码、资源ID、slice数据块ID、偏移量和图片大小；URL生成模块，根据所述图片存储所在的节点编码、资源ID、slice数据块ID、偏移量和图片大小生成该图片的URL。可选地，所述图片写入装置还包括：图片信息发送模块，发送所述URL至卡口管理服务器。可选地，所述预设存储格式包括索引区和slice数据区，所述索引区包括索引描述区、slice位图区和目录索引区，所述slice数据区包括若干slice块。可选地，所述节点编码、资源ID、slice数据块ID、偏移量和图片大小依次排列形成相应图片的URL。根据本申请的第四方面，提供一种图片读取装置，应用于图片显示客户端，所述图片读取装置包括：节点信息获取模块，从元数据服务器获取各存储节点的配置信息，所述配置信息包括节点编码、存储节点IP、存储节点端口号以及该存储节点所管理的资源列表信息，所述资源列表信息包括资源ID；URL读取模块，从卡口管理服务器获取待读取图片的URL，所述URL至少包括节点编码、资源ID、slice数据块ID、偏移量和图片大小；IP获取模块，根据所述待读取图片所对应的节点编码、资源ID以及所述配置信息，获取相应的存储节点IP和存储节点端口号；图片文件读取模块，根据所述相应的存储节点IP和存储节点端口号，以及所述待读取图片所对应的资源ID、slice数据块ID、偏移量和图片大小，利用iscsi协议读取图片。本申请的有益效果：将图片存储在相应存储节点中的具体位置与该图片的URL唯一对应，需要读取图片时，直接从URL中解析出具体存储节点的具体资源上的图片存储具体位置，即可直接读取该图片，无需通过元数据服务器和文件系统索引确定图片的存储位置，大大缩短了图片访问路径的长度，达到直接快速读取图片的目的，提高图片读取性能，进而提高后续智能分析等业务的处理性能。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。图1是本申请的图片云存储的组网结构示意图；图2是图1的局部结构示意图，其揭示了图片云存储写入的组网；图3是图1的另一局部结构示意图，其揭示了图片云存储读取的组网；图4是本申请提供的一种图片写入方法的流程图；图5是本申请提供的标准san资源上的数据存储格式示意图；图6是本申请提供的存储节点进行资源管理的结构示意图；图7是本申请提供的一种图片读取方法的流程图；图8是本申请提供的一种图片写入装置的结构示意图；图9是本申请提供的一种图片读取装置的结构示意图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。图1是本申请的监控图片云存储的组网示意图，图2是图1的局部结构示意图，其揭示了图片云存储写入的组网，图3是图1的另一局部结构示意图，其揭示了图片云存储读取的组网。如图1所示，该监控图片云存储组网设有云存储系统、若干部署有云存储客户端的卡口、卡口管理服务器、部署有云存储本文档来自技高网...

【技术保护点】
一种图片写入方法，应用于卡口客户端，其特征在于，所述图片写入方法包括：发送节点选择请求至元数据服务器；接收所述元数据服务器针对所述节点选择请求返回的节点编码；向所述节点编码所对应的存储节点请求可用的资源；通过动态iscsi技术挂载所述资源，并在挂载成功后将图片按预设存储格式写入所述资源；记录所述图片存储所在的节点编码、资源ID、slice数据块ID、偏移量和图片大小；根据所述图片存储所在的节点编码、资源ID、slice数据块ID、偏移量和图片大小生成该图片的URL。

【技术特征摘要】
1.一种图片写入方法，应用于卡口客户端，其特征在于，所述图片写入方法包括：发送节点选择请求至元数据服务器；接收所述元数据服务器针对所述节点选择请求返回的节点编码；向所述节点编码所对应的存储节点请求可用的资源；通过动态iscsi技术挂载所述资源，并在挂载成功后将图片按预设存储格式写入所述资源；记录所述图片存储所在的节点编码、资源ID、slice数据块ID、偏移量和图片大小；根据所述图片存储所在的节点编码、资源ID、slice数据块ID、偏移量和图片大小生成该图片的URL。2.如权利要求1所述的图片写入方法，其特征在于，所述图片写入方法还包括：发送所述URL至卡口管理服务器。3.如权利要求1所述的图片写入方法，其特征在于，所述预设存储格式包括索引区和slice数据区，所述索引区包括索引描述区、slice位图区和目录索引区，所述slice数据区包括若干slice块。4.如权利要求1所述的图片写入方法，其特征在于，所述节点编码、资源ID、slice数据块ID、偏移量和图片大小依次排列形成相应图片的URL。5.一种图片读取方法，应用于图片显示客户端，其特征在于，所述图片读取方法包括：从元数据服务器获取各存储节点的配置信息，所述配置信息包括节点编码、存储节点IP、存储节点端口号以及该存储节点所管理的资源列表信息，所述资源列表信息包括资源ID；从卡口管理服务器获取待读取图片的URL，所述URL至少包括节点编码、资源ID、slice数据块ID、偏移量和图片大小；根据所述待读取图片所对应的节点编码、资源ID以及所述配置信息，获取相应的存储节点IP和存储节点端口号；根据所述相应的存储节点IP和存储节点端口号，以及所述待读取图片所对应的资源ID、slice数据块ID、偏移量和图片大小，利用iscsi协议读取图片。6.一种图片写入装置，应用于卡口客户端，其特征在于，所述图片写入装置包括：节点请求发送模块(101)，发送节点选择请求至元数据服务器；信息接...

【专利技术属性】
技术研发人员：朱世峰，吕志明，
申请(专利权)人：浙江宇视科技有限公司，
类型：发明
国别省市：浙江,33