数据处理的方法及装置制造方法及图纸

技术编号:23933073 阅读:40 留言:0更新日期:2020-04-25 02:09
本发明专利技术公开了一种数据处理的方法及装置,涉及数据处理技术领域,主要目的在于解决现有的爬取到的数据存在可读性较差的问题。本发明专利技术的方法包括:确定待处理数据中是否存在目标信息;若是,则根据预设规则对所述目标信息进行处理,得到目标数。本发明专利技术适用于数据的处理的过程中。

Data processing method and device

【技术实现步骤摘要】
数据处理的方法及装置
本专利技术涉及数据处理
,尤其涉及一种数据处理的方法及装置。
技术介绍
随着网络技术的不断发展,爬虫的使用也逐步增多。通常,当爬虫爬取到数据后,由于爬虫对于被爬取的数据并不会进行解析和识别,因此,用户在读取此类被爬取到的数据时,并不能直接识别,而是需要使用相关的解析工具,将被爬取到的数据解析成用户能够直接识别和分析的数据。目前,在爬取数据时,仅从目标网站或页面中对其中的数据内容进行爬取,然而,在实际应用中,由于爬虫作为生产端,其爬取的数据对于消费端的用户而言,需要选取额外的数据解析工具对被爬取的数据进行解析,然后才能对解析后的数据进行后续的分析和识别,因此,现有的爬取的数据对于用户而言,存在可读性较差的问题。
技术实现思路
鉴于上述问题,本专利技术提供一种数据处理的方法及装置,主要目的在于解决现有的爬取到的数据存在可读性较差的问题。为解决上述技术问题,第一方面,本专利技术提供了一种数据处理的方法,该方法包括:确定待处理数据中是否存在目标信息;若是,则根据预设规则对所本文档来自技高网...

【技术保护点】
1.一种数据处理的方法,其特征在于,包括:/n确定待处理数据中是否存在目标信息;/n若是,则根据预设规则对所述目标信息进行处理,得到目标数据。/n

【技术特征摘要】
1.一种数据处理的方法,其特征在于,包括:
确定待处理数据中是否存在目标信息;
若是,则根据预设规则对所述目标信息进行处理,得到目标数据。


2.根据权利要求1所述的方法,其特征在于,所述目标信息包括时间信息,所述根据预设规则对所述目标信息进行处理,得到目标数据,包括:
确定所述时间信息中是否包含完整的日期信息,所述日期信息包括:年信息、月信息和日信息;
若包含,则将所述完整的日期信息中的年信息、月信息和日信息,按照预设顺序排列,生成所述目标数据;或者,
若不包含,则确定所述时间信息中缺失的信息内容;
若所述时间信息中缺失年信息,则获取系统时间的年信息,并根据所述时间信息中的月信息、日信息以及所述系统时间的年信息得到补充完整的日期信息,并根据补充完整的日期信息生成所述目标数据;或者,
若所述时间信息中缺失月信息,则获取第一预设占位符作为月信息,并根据所述日期信息中的年信息、日信息及所述第一预设占位符得到补充完整的日期信息,并根据补充完整的日期信息生成所述目标数据;或者,
若所述时间信息缺失日信息,则获取第二预设占位符作为日信息,并根据所述日期信息中的年信息、月信息及所述第二预设占位符得到补充完整的日期信息,并根据补充完整的日期信息生成所述目标数据;或者,
若所述时间信息缺失月信息及日信息,则获取第三预设占位符作为月信息及日信息,并根据所述日期信息中的年信息及所述第三预设占位符得到补充完整的日期信息,并根据补充完整的日期信息生成所述目标数据。


3.根据权利要求2所述的方法,其特征在于,所述时间信息还包括时刻信息,在生成所述目标数据前,所述方法还包括:
获取所述完整的日期信息或补充完整的日期信息;
获取时刻信息;
将所述时刻信息与所述完整的日期信息进行拼接,或,将所述时刻信息与所述补全完整的日期信息进行拼接,生成所述目标数据。


4.根据权利要求2所述的方法,其特征在于,所述时间信息...

【专利技术属性】
技术研发人员:何熠皓
申请(专利权)人:北京国双科技有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1