全量数据的存储方法、装置以及计算机可读存储介质制造方法及图纸

技术编号:27740432 阅读:30 留言:0更新日期:2021-03-19 13:33
本发明专利技术公开了一种全量数据的存储方法、装置以及计算机可读存储介质,所述方法包括:获取多个全量数据,提取每个所述全量数据中的关键词以及所述关键词对应的特征值;根据所述关键词以及所述特征值生成所述全量数据对应的字段,并根据各个所述字段生成数据文档;将所述数据文档存储在第一存储空间。本发明专利技术节省了全量数据的存储空间。

【技术实现步骤摘要】
全量数据的存储方法、装置以及计算机可读存储介质
本专利技术涉及计算机
,尤其涉及一种全量数据的存储方法、装置以及计算机可读存储介质。
技术介绍
在智慧城市/社区项目建设中,连接平台需要面对海量数据的接入问题,这些数据来自众多不同类型的感知设备,这里称之为全量数据,全量数据包括人脸抓拍机、车辆道闸、卡口抓拍机、门禁、烟感等数据。分析这些全量数据可以发现,全量数据中即包含结构化的信息,比如设备编号、名称、上报时间等,也可能包含一些非结构化的信息,比如图片、视频等。由于全量数据的数据量巨大,并且来自不同设备的全量数据的信息内容多样,全量数据的存储会出现存储空间占据较大的问题。
技术实现思路
本专利技术的主要目的在于提供一种全量数据的存储方法、装置以及计算机可读存储介质,旨在解决全量数据的存储出现存储空间占据较大的问题。为实现上述目的,本专利技术提供的一种全量数据的存储方法,所述全量数据的存储方法包括以下步骤:获取多个全量数据,提取每个所述全量数据中的关键词以及所述关键词对应的特征值;根据所述关本文档来自技高网...

【技术保护点】
1.一种全量数据的存储方法,其特征在于,所述全量数据的存储方法包括:/n获取多个全量数据,提取每个所述全量数据中的关键词以及所述关键词对应的特征值;/n根据所述关键词以及所述特征值生成所述全量数据对应的字段,并根据各个所述字段生成数据文档;/n将所述数据文档存储在第一存储空间。/n

【技术特征摘要】
1.一种全量数据的存储方法,其特征在于,所述全量数据的存储方法包括:
获取多个全量数据,提取每个所述全量数据中的关键词以及所述关键词对应的特征值;
根据所述关键词以及所述特征值生成所述全量数据对应的字段,并根据各个所述字段生成数据文档;
将所述数据文档存储在第一存储空间。


2.如权利要求1所述的全量数据的存储方法,其特征在于,所述全量数据包括文字信息以及图片信息,所述根据所述关键词以及所述特征值生成所述全量数据对应的字段的步骤包括:
获取所述图片信息对应的存储路径;
根据所述关键词、所述特征值以及所述存储路径生成所述全量数据对应的字段,其中,所述关键词以及所述特征值根据所述文字信息确定。


3.如权利要求2所述的全量数据的存储方法,其特征在于,所述获取所述图像信息对应的存储路径的步骤包括:
提取所述全量数据中的所述图片信息,将所述图片信息转换为数据文件;
将所述数据文件发送至服务器,所述服务器将所述数据文件进行存储,并生成所述数据文件对应的存储路径;
接收所述服务器反馈的所述图片信息对应的存储路径。


4.如权利要求1所述的全量数据的存储方法,其特征在于,所述将所述数据文档存储在预设的第一存储空间的步骤之后,还包括:
创建所述数据文档对应的索引,并建立所述索引与所述数据文档的映射关系,所述索引包括所述索引的创建时间。


5.如权利要求4所述的全量数据的存储方法,其特征在于,所述创建所述数据文档对应的索引的步骤包括:
确定所述数据文档的分片参数以及副本参数;
根据所述分片参数、所述副本参数以及当前时间创建所述索引,其中,所述...

【专利技术属性】
技术研发人员:王晓红唐积益黄旭辉侯腾蛟
申请(专利权)人:南京中兴力维软件有限公司深圳力维智联技术有限公司
类型:发明
国别省市:江苏;32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1