文件数据处理方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:23084917 阅读:44 留言:0更新日期:2020-01-11 01:05
本申请提供了一种文件数据处理方法、装置、计算机设备和存储介质。所述方法包括:获取目标文件所对应的当前顺序字节数据;识别所述当前顺序字节数据是否为分隔符;若否,则将所述当前顺序字节数据写入到缓存;若是,则对缓存的字节数据进行对象处理;当获取到下一顺序字节数据时,将所述下一顺序字节数据作为当前顺序字节数据,返回所述识别所述当前顺序字节数据是否为分隔符的步骤,直至所述当前顺序字节数据为结束字节。采用本方法能够提高文件数据的处理效率。

File data processing methods, devices, computer equipment and storage media

【技术实现步骤摘要】
文件数据处理方法、装置、计算机设备和存储介质
本申请涉及计算机
,特别是涉及一种文件数据处理方法、装置、计算机设备和存储介质。
技术介绍
为了对终端或应用服务器生成的大文件数据进行数据提取、数据分析等处理,常需要将生成的大文件数据传输至目标服务器,通过目标服务器的业务处理接口对大文件数据进行处理。通常,终端或应用服务器将生成的大文件数据传输至目标服务器后,由目标服务器对接收到的所有数据进行解析,进一步,目标服务器调用业务处理接口对解析后的数据进行分析处理。该方法需要服务端一次性解析完所有数据,需要占用服务端大量内存和处理器资源,容易引起内存溢出和线程堵塞的问题,进而造成大文件数据处理的效率低。
技术实现思路
基于此,有必要针对上述技术问题,提供一种能够提高处理效率的文件数据处理方法、装置、计算机设备和存储介质。一种文件数据处理方法,所述方法包括:获取目标文件所对应的当前顺序字节数据;识别所述当前顺序字节数据是否为分隔符;若否,则将所述当前顺序字节数据写入到缓存;若是,则对本文档来自技高网...

【技术保护点】
1.一种文件数据处理方法,所述方法包括:/n获取目标文件所对应的当前顺序字节数据;/n识别所述当前顺序字节数据是否为分隔符;/n若否,则将所述当前顺序字节数据写入到缓存;/n若是,则对缓存的字节数据进行对象处理;/n当获取到下一顺序字节数据时,将所述下一顺序字节数据作为当前顺序字节数据,返回所述识别所述当前顺序字节数据是否为分隔符的步骤,直至所述当前顺序字节数据为结束字节。/n

【技术特征摘要】
1.一种文件数据处理方法,所述方法包括:
获取目标文件所对应的当前顺序字节数据;
识别所述当前顺序字节数据是否为分隔符;
若否,则将所述当前顺序字节数据写入到缓存;
若是,则对缓存的字节数据进行对象处理;
当获取到下一顺序字节数据时,将所述下一顺序字节数据作为当前顺序字节数据,返回所述识别所述当前顺序字节数据是否为分隔符的步骤,直至所述当前顺序字节数据为结束字节。


2.根据权利要求1所述的方法,其特征在于,所述若是,则对缓存的字节数据进行对象处理包括:
当识别到所述当前顺序字节数据为分隔符,加载对象转换脚本;
通过所述对象转换脚本将所述缓存的字节数据转换为相应的类对象,并删除所述缓存中的字节数据;
调用相应数量的线程对转换得到的一组或多组类对象进行并行处理。


3.根据权利要求2所述的方法,其特征在于,所述分隔符包含多个按序排列的字节数据,所述当识别到所述当前顺序字节数据为分隔符,加载对象转换脚本包括:
将所述分隔符中的第一顺序字节数据记为当前顺序分隔字节;
判断所述当前顺序字节数据与所述当前分隔字节是否匹配;
若是,则获取下一顺序字节数据作为当前顺序字节数据;
将分隔符中的下一顺序字节数据作为当前顺序分隔字节,返回到判断所述当前顺序字节数据与所述当前顺序分隔字节是否匹配的步骤,直至所述分隔符所对应的多个字节数据全部匹配成功后,加载对象转换脚本。


4.根据权利要求2所述的方法,其特征在于,所述通过所述对象转换脚本将所述缓存的字节数据转换为相应的类对象包括:
将所述缓存的字节数据与格式符进行匹配;
若匹配到相应的格式符,则删除与所述格式符匹配的字节数据,得到非格式符字节数据;
加载对象转换脚本将所述非格式符字节数据转换为相应的类对象。


5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当接收到所述目标文件的流转指令时,展示流转界面;
...

【专利技术属性】
技术研发人员:毛伟文
申请(专利权)人:金蝶汽车网络科技有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1