【技术实现步骤摘要】
分布式数据处理方法及系统
本专利技术实施例涉及计算机
，尤其涉及一种分布式数据处理方法及系统。
技术介绍
随着计算机技术的发展，各类领域越发依赖于计算机技术。例如，智能安防领域，通常采用各种电子设备，以联网的方式组成安防系统。其中，摄像头为安防领域中不可缺少的一部分。为了方便后续采证，通常设定由安防系统中处理器级的电子设备存储摄像头采集的画面，并在用户所使用的客户端中存储对应的元数据，以便用户通过元数据进行检索。此时，存储的数据只能达到磁盘级别的容错，当客户端异常或损坏时，用户将无法检索保存的数据，这样会给用户造成无法弥补的损失。
技术实现思路
本专利技术提供了一种分布式数据处理方法及系统，以实现在客户端不存储元数据的情况下，进行快速检索。第一方面，本专利技术实施例提供了一种分布式数据处理方法，包括：元数据节点接收客户端发送的检索指令，所述元数据节点属于元数据集群；所述元数据节点根据检索指令将存储的全部元数据反馈至所述客户端，以使所述客户端根据所述元数据选择第一目标数据节点并向所述第一目标数据节点发送检索请求，一组元数据对应一个数据节点，多个数据节点组成一个数据...
【技术保护点】
1.一种分布式数据处理方法，其特征在于，包括：元数据节点接收客户端发送的检索指令，所述元数据节点属于元数据集群；所述元数据节点根据检索指令将存储的全部元数据反馈至所述客户端，以使所述客户端根据所述元数据选择第一目标数据节点并向所述第一目标数据节点发送检索请求，一组元数据对应一个数据节点，多个数据节点组成一个数据节点组，全部数据节点组组成特征索引服务器集群，每个数据节点组存在一个数据节点作为第一目标数据节点，所述数据节点组内数据同步；所述第一目标数据节点接收检索请求，并获取所述检索请求中的特征索引；所述第一目标数据节点根据所述特征索引确定检索数据，并将所述检索数据反馈至所述客...
【技术特征摘要】
1.一种分布式数据处理方法，其特征在于，包括：元数据节点接收客户端发送的检索指令，所述元数据节点属于元数据集群；所述元数据节点根据检索指令将存储的全部元数据反馈至所述客户端，以使所述客户端根据所述元数据选择第一目标数据节点并向所述第一目标数据节点发送检索请求，一组元数据对应一个数据节点，多个数据节点组成一个数据节点组，全部数据节点组组成特征索引服务器集群，每个数据节点组存在一个数据节点作为第一目标数据节点，所述数据节点组内数据同步；所述第一目标数据节点接收检索请求，并获取所述检索请求中的特征索引；所述第一目标数据节点根据所述特征索引确定检索数据，并将所述检索数据反馈至所述客户端，以使所述客户端根据检索数据确定检索结果。2.根据权利要求1所述的分布式数据处理方法，其特征在于，所述第一目标数据节点根据所述特征索引确定检索数据包括：所述第一目标数据节点确定自身缓存管理器中是否存在与所述特征索引对应的检索数据；若存在，则获取所述检索数据；若不存在，则在自身存储管理器中查找与所述特征索引对应的检索数据。3.根据权利要求1或2所述的分布式数据处理方法，其特征在于，所述特征索引包括特征数据，所述特征数据是对待检索数据进行深度学习得到的。4.根据权利要求1或2所述的分布式数据处理方法，其特征在于，所述检索数据包括数据唯一标识和/或数据位置信息。5.根据权利要求1所述的分布式数据处理方法，其特征在于，所述数据节点组包括主数据节点和多个从数据节点，所述主数据节点用于控制所述数据节点组的数据同步。6.根据权利要求5所述的分布式数据处理方法，其特征在于，还包括：所述元数据节点接收所述客户端发送的写入指令；所述元数据节点根据所述写入指令在全部数据节点内确定第二目标数据节点；所述元数据节点将所述第二目标数据节点的元数据反馈至所述客户端，以使所述客户端根据所述元数据向所述第二目标数据节点发送写入请求；所述第二目标数据节点接收所述写入请求；所述第二目标数据节点根据所述写入请求进行写入响应。7....
【专利技术属性】
技术研发人员：郑轩，贾志忠，曲家朋，段和枫，
申请(专利权)人：佳都新太科技股份有限公司，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。