一种自动解析非标准日期时间格式数据的方法技术

技术编号:42596479 阅读:31 留言:0更新日期:2024-09-03 18:09
本发明专利技术公开了一种自动解析非标准日期时间格式数据的方法,包括以下步骤:S1.输入源数据;S2.对源数据进行识别,并提取日期时间类型数据;S3.对日期时间类型数据进行解析替换;S4.输出解析替换后的时间类型数据。本发明专利技术中用户无需具备专业的Seatunnel的脚本编写知识,降低了技术门槛,使更多的人能够方便地使用Seatunnel采集同步非标准日期时间格式的数据,降低了技术门槛。用户可以更快速地实现对时间字符串数据的采集同步,提高了用户的交互体验。

【技术实现步骤摘要】

本专利技术涉及计算机,具体为一种自动解析非标准日期时间格式数据的方法


技术介绍

1、使用seatunnel采集同步日期时间类型数据时,需要将数据解析为seatunnel 内部的时间类型数据,并输出到目的端。seatunnel现有常见的对时间类型数据处理的方法有两种:①直接使用seatunnel 内部的时间类型去读取数据,解析后输出到目的端。②使用seatunnel的字符串类型去读取数据,再通过seatunnel的sql语句使用时间类型的相关函数去做对应的格式转换,将数据的类型由字符串转换为seatunnel 内部的时间类型。

2、使用上述方法①时,seatunnel在遇见时间字符串时,只能解析符合iso 8601标准格式的日期时间字符串,通用形式为‘yyyy-mm-ddthh:mm:ss’,不支持对非标准格式字符串的解析。使用上述方法②,seatunnel能成功读取解析非标准日期时间格式的时间字符串数据,且成功输出数据到目的端,但是需要使用者自己编写对应的数据类型转换sql,这里有三个缺点:一是效率问题,每次遇见非标准格式的时间字符串时,都需本文档来自技高网...

【技术保护点】

1.一种自动解析非标准日期时间格式数据的方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的自动解析非标准日期时间格式数据的方法,其特征在于,所述源数据具体包括:数据库数据、API相应数据、Kafka消息数据。

3.根据权利要求1所述的自动解析非标准日期时间格式数据的方法,其特征在于,还包括定义步骤:S0.定义非标准日期时间格式类型及解析规则。

4.根据权利要求1所述的自动解析非标准日期时间格式数据的方法,其特征在于,所述S2步骤具体包括以下子步骤:

5.根据权利要求4所述的自动解析非标准日期时间格式数据的方法,其特征在于,所述S23...

【技术特征摘要】

1.一种自动解析非标准日期时间格式数据的方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的自动解析非标准日期时间格式数据的方法,其特征在于,所述源数据具体包括:数据库数据、api相应数据、kafka消息数据。

3.根据权利要求1所述的自动解析非标准日期时间格式数据的方法,其特征在于,还包括定义步骤:s0.定义非标准日期时间格式类型及解析规则。

4.根据权利要求1所述的自动解析非标准日期时间格式数据的方法,其特征在于,所述s2步骤具体包括以下子步骤:

5.根据权利要求4所述的自动解析非标准日期时间格式数据的方法,其特征在于,所述s23步骤具体包括:

...

【专利技术属性】
技术研发人员:苏德财刘德军吴生勇李文彬邓隆黄志勤
申请(专利权)人:成都虚谷伟业科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1