【技术实现步骤摘要】
本专利技术涉及计算机,具体为一种自动解析非标准日期时间格式数据的方法。
技术介绍
1、使用seatunnel采集同步日期时间类型数据时,需要将数据解析为seatunnel 内部的时间类型数据,并输出到目的端。seatunnel现有常见的对时间类型数据处理的方法有两种:①直接使用seatunnel 内部的时间类型去读取数据,解析后输出到目的端。②使用seatunnel的字符串类型去读取数据,再通过seatunnel的sql语句使用时间类型的相关函数去做对应的格式转换,将数据的类型由字符串转换为seatunnel 内部的时间类型。
2、使用上述方法①时,seatunnel在遇见时间字符串时,只能解析符合iso 8601标准格式的日期时间字符串,通用形式为‘yyyy-mm-ddthh:mm:ss’,不支持对非标准格式字符串的解析。使用上述方法②,seatunnel能成功读取解析非标准日期时间格式的时间字符串数据,且成功输出数据到目的端,但是需要使用者自己编写对应的数据类型转换sql,这里有三个缺点:一是效率问题,每次遇见非标准格式
...【技术保护点】
1.一种自动解析非标准日期时间格式数据的方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的自动解析非标准日期时间格式数据的方法,其特征在于,所述源数据具体包括:数据库数据、API相应数据、Kafka消息数据。
3.根据权利要求1所述的自动解析非标准日期时间格式数据的方法,其特征在于,还包括定义步骤:S0.定义非标准日期时间格式类型及解析规则。
4.根据权利要求1所述的自动解析非标准日期时间格式数据的方法,其特征在于,所述S2步骤具体包括以下子步骤:
5.根据权利要求4所述的自动解析非标准日期时间格式数据的方法,其
...【技术特征摘要】
1.一种自动解析非标准日期时间格式数据的方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的自动解析非标准日期时间格式数据的方法,其特征在于,所述源数据具体包括:数据库数据、api相应数据、kafka消息数据。
3.根据权利要求1所述的自动解析非标准日期时间格式数据的方法,其特征在于,还包括定义步骤:s0.定义非标准日期时间格式类型及解析规则。
4.根据权利要求1所述的自动解析非标准日期时间格式数据的方法,其特征在于,所述s2步骤具体包括以下子步骤:
5.根据权利要求4所述的自动解析非标准日期时间格式数据的方法,其特征在于,所述s23步骤具体包括:
...
【专利技术属性】
技术研发人员:苏德财,刘德军,吴生勇,李文彬,邓隆,黄志勤,
申请(专利权)人:成都虚谷伟业科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。