标签生成方法、装置、服务器和计算机可读存储介质制造方法及图纸

技术编号:20272285 阅读:30 留言:0更新日期:2019-02-02 03:34
本发明专利技术提供了一种标签生成方法、装置、服务器和计算机可读存储介质,其中,标签生成方法包括:响应于检索请求信息,检索请求信息包括第一标签的检索条件信息,将检索条件信息转换为自定义表达式,并确定自定义表达式的时间戳信息;根据自定义表达式检索与时间戳信息对应的目标数据;响应于检索到的目标数据,为目标数据创建第二标签,其中,第二标签与自定义表达式相对应。通过本发明专利技术的技术方案,在利用软标签更准确地检索到目标数据的同时,解决了软标签不能进行目标数据进行持久化分析的问题,降低了快照导致的数据压力,提升了用户的使用体验。

【技术实现步骤摘要】
标签生成方法、装置、服务器和计算机可读存储介质
本专利技术涉及数据分析
,具体而言,涉及一种标签生成方法、一种标签生成装置、一种服务器和一种计算机可读存储介质。
技术介绍
相关技术中,标签系统是基于规则和人工的方式建立包括软标签和硬标签,其中,硬标签为人工上传的固定标签,需要耗费大量人力成本,另外,软标签也存在诸多技术缺陷:(1)软标签给出了一些灵活的规则信息,作为目标数据的标签,但是,由于目标数据的属性是随时间变化的,因此,软标签无法对目标数据进行持久化地抓取分析;(2)如果软标签时刻都在发生动态变化,因此,软标签需要对目标数据进行实时的快照采集,因此导致了大量的数据压力。
技术实现思路
本专利技术旨在至少解决现有技术或相关技术中存在的技术问题之一。为此,本专利技术的一个目的在于提供一种标签生成方法。本专利技术的另一个目的在于提供一种标签生成装置。本专利技术的另一个目的在于提供一种服务器。本专利技术的另一个目的在于提供一种计算机可读存储介质。为了实现上述目的,本专利技术的第一方面的技术方案,提供了一种标签生成方法包括:响应于检索请求信息,检索请求信息包括第一标签的检索条件信息,将检索条件信息转换为自定义表达式,并确定自定义表达式的时间戳信息;根据自定义表达式检索与时间戳信息对应的目标数据;响应于检索到的目标数据,为目标数据创建第二标签,其中,第二标签与自定义表达式相对应。在该技术方案中,响应于检索请求信息时将检索条件信息转换为自定义表达式,可以通过Json语言实现上述转换操作,进一步地,确定自定义表达式的时间戳信息,根据自定义表达式检索与时间戳信息对应的目标数据,响应于检索到的目标数据,为目标数据创建第二标签,在利用软标签更准确地检索到目标数据的同时,解决了软标签不能进行目标数据进行持久化分析的问题,降低了快照导致的数据压力,提升了用户的使用体验。具体地,即根据第一标签包含的检索条件信息将第一标签转换成自定义表达式,自定义表达式是指ElasticSearch支持的DSL(domain-specificlanguage,自定义语言)表达式,常见的DSL语言包括HTML(HypertextMarkupLanguage,超文本标记语言)语言,Shell语言,make语言,ant语言,maven语言,rpm语言,dpkg语言,awk语言,正则表达式语言,dc计算机语言等,有些DSL语言又被称为微型语言,也即利用ElasticSearch快速检索能力,快速导出满足检索条件信息的目标数据。其中,ElasticSearch为基于Lucene的搜索服务器,分布式存储文件为Hadoop分布式文件系统(HDFS,HadoopDistributedFilesSystem),提供高吞吐量的数据访问,具有高度容错性,具体地,如在HDFS中创建一个新的文件用于存储目标数据,则文件的名字节点将会在EditLog中插入一条记录来记录这个改变,而HDFS可以将目标数据导出至第三方服务器或第三方终端进行数据分析。值得特别指出的是,为了缓解频繁生成快照导致的数据压力,可以设置仅仅在响应于检索请求信息时开始执行上述步骤,本申请的第一标签可以理解为现有技术中的软标签,第二标签可以理解为现有技术中的硬标签。在上述技术方案中,优选地,将检索条件信息转换为自定义表达式,并确定自定义表达式的时间戳信息,具体还包括:在将检索条件信息转换为自定义表达式后,解析自定义表达式对应的索引信息;创建导出快照任务,导出快照任务的检索导出条件包括索引信息、时间戳信息和自定义表达式。在该技术方案中,通过创建导出快照任务,导出快照任务的检索导出条件包括索引信息、时间戳信息和自定义表达式,时间戳信息能唯一地表示自定义表达式对应的时间节点,索引信息用于将目标数据上传至分布式文件系统,自定义表达式对应于规则信息。在上述任一项技术方案中,优选地,根据自定义表达式检索与时间戳信息对应的目标数据,具体包括:加载导出快照任务至存储有目标数据的数据库;触发数据库的异步线程执行导出快照任务,以确定与检索导出条件对应的目标数据。在该技术方案中,通过加载导出快照任务至存储有目标数据的数据库,触发数据库的异步线程执行导出快照任务,其实质是在数据库中持久化上述导出快照任务,另外,通过异步线程执行导出快照任务,节省了运行时间和空间。在上述任一项技术方案中,优选地,响应于检索到的目标数据,并为目标数据创建第二标签,具体包括:响应于检索到的目标数据,对目标数据所属的导出文件写入命名信息,命名信息包括索引信息与时间戳信息;将具有命名信息的导出文件按照索引信息上传存储至分布式存储系统;为存储于分布式存储系统的导出文件的目标数据创建第二标签。在该技术方案中,通过响应于检索到的目标数据,对目标数据所属的导出文件写入命名信息(即上述名字节点),通过将具有命名信息的导出文件按照索引信息上传存储至分布式存储系统,为存储于分布式存储系统的导出文件的目标数据创建第二标签,通过名字节点检测目标数据是否发生变化,在检测到存储的目标数据发生变化后,触发执行导出快照任务对目标数据的更新信息进行跟踪分析。在上述任一项技术方案中,优选地,标签生成方法还包括:写入第二标签的标签属性信息为固定的只读标签。在该技术方案中,通过写入第二标签的标签属性信息为固定的只读标签,将灵活可变的第一标签已转换成固定只读第二标签,即将通过软标签检索的目标数据的标签定义为硬标签,再交由第三方(如:Apollo执行系统)服务器来做数据分析,同时提供了用户订阅数据分析结果的功能。本专利技术的第二方面的技术方案,还提出了一种标签生成装置,标签生成装置包括:响应单元,用于响应于检索请求信息,检索请求信息包括第一标签的检索条件信息,将检索条件信息转换为自定义表达式,并确定自定义表达式的时间戳信息;检索单元,用于根据自定义表达式检索与时间戳信息对应的目标数据;创建单元,用于响应于检索到的目标数据,为目标数据创建第二标签,其中,第二标签与自定义表达式相对应。在该技术方案中,通过响应于检索请求信息时将检索条件信息转换为自定义表达式,并确定自定义表达式的时间戳信息,根据自定义表达式检索与时间戳信息对应的目标数据,响应于检索到的目标数据,为目标数据创建第二标签,在利用软标签更准确地检索到目标数据的同时,解决了软标签不能进行目标数据进行持久化分析的问题,降低了快照导致的数据压力,提升了用户的使用体验。具体地,即根据第一标签包含的检索条件信息将第一标签转换成自定义表达式,自定义表达式是指ElasticSearch支持的DSL(domain-specificlanguage,自定义语言)表达式,常见的DSL语言包括HTML(HypertextMarkupLanguage,超文本标记语言)语言,Shell语言,make语言,ant语言,maven语言,rpm语言,dpkg语言,awk语言,正则表达式语言,dc计算机语言等,有些DSL语言又被称为微型语言,也即利用ElasticSearch快速检索能力,快速导出满足检索条件信息的目标数据。其中,ElasticSearch为基于Lucene的搜索服务器,分布式存储文件为Hadoop分布式文件系统(HDFS,HadoopDistributedFiles本文档来自技高网...

【技术保护点】
1.一种标签生成方法,其特征在于,所述标签生成方法包括:响应于检索请求信息,所述检索请求信息包括第一标签的检索条件信息,将所述检索条件信息转换为自定义表达式,并确定所述自定义表达式的时间戳信息;根据所述自定义表达式检索与所述时间戳信息对应的目标数据;响应于检索到的所述目标数据,为所述目标数据创建第二标签,其中,所述第二标签与所述自定义表达式相对应。

【技术特征摘要】
1.一种标签生成方法,其特征在于,所述标签生成方法包括:响应于检索请求信息,所述检索请求信息包括第一标签的检索条件信息,将所述检索条件信息转换为自定义表达式,并确定所述自定义表达式的时间戳信息;根据所述自定义表达式检索与所述时间戳信息对应的目标数据;响应于检索到的所述目标数据,为所述目标数据创建第二标签,其中,所述第二标签与所述自定义表达式相对应。2.根据权利要求1所述的标签生成方法,其特征在于,所述将所述检索条件信息转换为自定义表达式,并确定所述自定义表达式的时间戳信息,具体还包括:在将所述检索条件信息转换为自定义表达式后,解析所述自定义表达式对应的索引信息;创建导出快照任务,所述导出快照任务的检索导出条件包括所述索引信息、所述时间戳信息和所述自定义表达式。3.根据权利要求2所述的标签生成方法,其特征在于,所述根据所述自定义表达式检索与所述时间戳信息对应的目标数据,具体包括:加载所述导出快照任务至存储有所述目标数据的数据库;触发所述数据库的异步线程执行所述导出快照任务,以确定与所述检索导出条件对应的目标数据。4.根据权利要求1至3中任一项所述的标签生成方法,其特征在于,所述响应于检索到的所述目标数据,并为所述目标数据创建第二标签,具体包括:响应于检索到的所述目标数据,对所述目标数据所属的导出文件写入命名信息,所述命名信息包括所述自定义表达式对应的索引信息与所述时间戳信息;将所述具有所述命名信息的导出文件按照所述索引信息上传存储至分布式存储系统;为存储于所述分布式存储系统的导出文件的目标数据创建所述第二标签。5.根据权利要求4所述的标签生成方法,其特征在于,还包括:写入所述第二标签的标签属性信息为固定的只读标签。6.一种标签生成装置,其特征在于,所述标签生成装置包括:响应单元,用于响应于检索请求信息,所述检索请求信息包括第一标签的检索条件信息,将所述检索...

【专利技术属性】
技术研发人员:凌宏博李奘曹利锋杨文君常智华杨帆
申请(专利权)人:北京嘀嘀无限科技发展有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1