一种支持近数据处理的图像存储网关系统技术方案

本发明专利技术涉及一种支持近数据处理的图像存储网关系统，属于计算机信息存储技术领域。本发明专利技术的系统采用近数据处理理念，将图像分类相关的处理任务交由存储系统完成，并根据图像分类结果优化存储路径，减少了计算系统和存储系统之间的数据移动，从而加快了数据传输效率。该系统根据待存储的图像类别将图像存储至空间上离数据处理相近的存储池中，加速了图像访问速度，并减少了后期的数据迁移。并减少了后期的数据迁移。并减少了后期的数据迁移。

【技术实现步骤摘要】
一种支持近数据处理的图像存储网关系统


[0001]本专利技术属于计算机信息存储
，具体涉及一种支持近数据处理的图像存储网关系统。

技术介绍

[0002]随着互联网、云计算及大数据等信息技术的发展，越来越多的应用依赖于对海量数据的存储和处理，如智能监控、电子商务、地理信息等，这些应用都需要对海量图像的存储和检索。许多高性能计算需要在计算节点和存储节点之间进行大量的数据传输，而图像数据量的爆炸式增长使得数据移动带来的开销越来越大，降低系统性能。

技术实现思路

[0003](一)要解决的技术问题
[0004]本专利技术要解决的技术问题是：如何设计一种图像存储网关系统，以减少计算系统和存储系统之间的数据移动，从而加快数据传输效率。
[0005](二)技术方案
[0006]为了解决上述技术问题，本专利技术提供了一种支持近数据处理的图像存储网关系统，包括对象存储网关2、内容图谱模块3以及后端存储池4；
[0007]所述对象存储网关2用于图像数据的缓存、计算、转发，包括数据缓存池21、元数据计算队列22、元数据计算子模块23、数据下发队列24以及数据推送子模块25共5个子模块；
[0008]所述对象存储网关2提供AWS S3对象存储网关，图像数据由客户端首先传输至数据缓存池21；对象存储网关2接收图像存储请求，并将完整的图像缓存至数据缓存池21中；元数据计算队列22存储未计算元数据值的图像，其采用生产者/消费者模式，监听数据缓存池21中图像文件创建完成事件；当有图像文件创建完成后，元数据计算子模块23便将图像文件名及图像在数据缓存池21的缓存路径信息添加至元数据计算队列22中；元数据计算子模块23用于周期性地访问元数据计算队列22，计算元数据计算队列22中相关图像的元数据值，并将计算结果更新至元数据计算队列22；内容图谱模块3周期性地访问元数据计算队列22，并根据图像的元数据检索图像类别，添加至数据下发队列24中；数据推送子模块25用于使用近数据处理索引表根据所述图像类别确认图像在后端存储池4的存储路径，并将图像持久化至后端存储池4中。
[0009]优选地，所述数据缓存池21是一套对象存储系统，支持AWS S3协议，数据缓存池21使用高速存储介质，当数据缓存池21中的图像持久化后端存储池4后，会将图像删除以释放缓存空间。
[0010]优选地，所述元数据计算队列22是基于AMQP的消息队列，数据缓存池21会在图像存储完成后，将图像文件创建完成事件以SNS消息的形式添加至元数据计算队列22中。
[0011]优选地，所述元数据计算子模块23和元数据计算队列22采用生产者/消费者模式，当元数据计算队列22中存在待处理的消息时，元数据计算子模块23会拉取消息，并进行处
理；元数据计算子模块23采用CNN进行图像特征提取，并将其作为图像元数据，更新至元数据计算队列22中。
[0012]优选地，所述内容图谱模块3进行元数据组织管理，负责周期性读取元数据计算队列22中的消息，将消息中的图像元数据进行检索，计算其与内容图谱模块3中图像的汉明距离，判断出图像的类别，将结果添加到数据下发队列24中。
[0013]优选地，所述后端存储池4用于持久化图像数据，后端存储池4配置多副本，其中的主副本选择与近数据处理空间相近的节点。
[0014]优选地，所述内容图谱模块3在元数据关系组织上采用标签属性图结构管理方式，将元数据和数据在元数据上表征的关系表示成拆分成点集合和边集合进行结构管理。
[0015]本专利技术还提供了一种利用所述系统接收并处理图像的创建请求的方法，包括以下步骤：
[0016]①
客户端发送图像写请求，数据存储池21的对象存储网关处理客户端写请求，并将图像数据缓存至本地路径；
[0017]②
每张图像缓存完成后，将缓存完成消息添加到元数据计算队列22，消息体中包括图像文件名、图像缓存路径以及图像元数据；
[0018]③
元数据计算子模块23周期性地拉取元数据计算队列22中的消息，从数据缓存池21中读取图像数据并计算图像元数据，图像元数据是卷积神经网络CNN生成的哈希码；
[0019]④
内容图谱模块3周期性地拉取元数据计算队列22中的已更新图像元数据的消息，检索出图像类别；
[0020]⑤
内容图谱模块3将检索出的图像类别添加至数据下发队列24中，数据下发队列消息体中包括图像文件名、图像类别、图像后端存储池路径以及图像缓存路径；
[0021]⑥
数据推送子模块25拉取数据下发队列24中的消息，根据近数据处理索引表更新消息中的图像后端存储池4路径；所述近数据处理索引表存储所有图像类别的索引信息，每一条索引指向一个Bucket链表，链表上每一个节点存储Bucket的地址信息以及可用空间大小；
[0022]⑦
数据推送子模块25拉取数据下发队列24中的消息，根据图像缓存路径从数据缓存池21中读取图像数据并写至后端存储池4中。
[0023]本专利技术还提供了一种利用所述系统接收并处理图像的读取请求的方法，包括以下步骤：
[0024]①
客户端发送图像读请求至数据存储池21；
[0025]②
数据存储池21的对象存储网关将读请求转发至后端存储池4，后端存储池4将图像数据返回给数据缓存池21，并由数据缓存池21最终返回给客户端。
[0026]本专利技术还提供了一种利用所述系统接收并处理图像的删除请求的方法，包括以下步骤：
[0027]①
客户端发送图像删除请求至数据存储池21；
[0028]②
数据存储池21的对象存储网关将删除请求转发至后端存储池4，后端存储池4删除图像数据并将删除结果返回给数据缓存池21，并由数据缓存池21最终转发给客户端。
[0029](三)有益效果
[0030]本专利技术的系统采用近数据处理理念，将图像分类相关的处理任务交由存储系统完
成，并根据图像分类结果优化存储路径，减少了计算系统和存储系统之间的数据移动，从而加快了数据传输效率。该系统根据待存储的图像类别将图像存储至空间上离数据处理相近的存储池中，加速了图像访问速度，并减少了后期的数据迁移。
附图说明
[0031]图1为本专利技术的图像存储网关系统架构图；
[0032]图2为本专利技术的图像创建流程图；
[0033]图3为本专利技术的图像读取流程图；
[0034]图4为本专利技术的图像删除流程图；
[0035]图5为本专利技术的元数据计算队列数据结构图；
[0036]图6为本专利技术的数据下发队列数据结构图；
[0037]图7为本专利技术的近数据处理索引表数据结构图。
[0038]其中：
[0039]1 图像存储网关系统
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
2 对象存储网关
[0040]3 内容图谱模块
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种支持近数据处理的图像存储网关系统，其特征在于，包括对象存储网关(2)、内容图谱模块(3)以及后端存储池(4)；所述对象存储网关(2)用于图像数据的缓存、计算、转发，包括数据缓存池(21)、元数据计算队列(22)、元数据计算子模块(23)、数据下发队列(24)以及数据推送子模块(25)；所述对象存储网关(2)提供AWSS3对象存储网关，图像数据由客户端首先传输至数据缓存池(21)；对象存储网关(2)接收图像存储请求，并将完整的图像缓存至数据缓存池(21)中；元数据计算队列(22)存储未计算元数据值的图像，其采用生产者/消费者模式，监听数据缓存池(21)中图像文件创建完成事件；当有图像文件创建完成后，元数据计算子模块(23)便将图像文件名及图像在数据缓存池(21)的缓存路径信息添加至元数据计算队列(22)中；元数据计算子模块(23)用于周期性地访问元数据计算队列(22)，计算元数据计算队列(22)中相关图像的元数据值，并将计算结果更新至元数据计算队列(22)；内容图谱模块(3)周期性地访问元数据计算队列(22)，并根据图像的元数据检索图像类别，添加至数据下发队列(24)中；数据推送子模块(25)用于使用近数据处理索引表根据所述图像类别确认图像在后端存储池(4)的存储路径，并将图像持久化至后端存储池(4)中。2.如权利要求1所述的系统，其特征在于，所述数据缓存池(21)是一套对象存储系统，支持AWSS3协议，数据缓存池(21)使用高速存储介质，当数据缓存池(21)中的图像持久化后端存储池(4)后，会将图像删除以释放缓存空间。3.如权利要求1所述的系统，其特征在于，所述元数据计算队列(22)是基于AMQP的消息队列，数据缓存池(21)会在图像存储完成后，将图像文件创建完成事件以SNS消息的形式添加至元数据计算队列(22)中。4.如权利要求1所述的系统，其特征在于，所述元数据计算子模块(23)和元数据计算队列(22)采用生产者/消费者模式，当元数据计算队列(22)中存在待处理的消息时，元数据计算子模块(23)会拉取消息，并进行处理；元数据计算子模块(23)采用CNN进行图像特征提取，并将其作为图像元数据，更新至元数据计算队列(22)中。5.如权利要求1所述的系统，其特征在于，所述内容图谱模块(3)进行元数据组织管理，负责周期性读取元数据计算队列(22)中的消息，将消息中的图像元数据进行检索，计算其与内容图谱模块(3)中图像的汉明距离，判断出图像的类别，将结果添加到数据下发队列(24)中。6.如权利要求1所述的系统，其特征在于，所述后端存储池(4)用于持久化图像数据，后端存储池(4)配置多副本，其中的主副本选择与近数据处理空间相...

【专利技术属性】
技术研发人员：马连志，徐晗，喻崇仁，
申请(专利权)人：北京计算机技术及应用研究所，
类型：发明
国别省市：