一种大文本数据处理方法技术
【技术实现步骤摘要】
一种大文本数据处理方法
本专利技术涉及一种处理方法，尤其涉及一种大文本数据处理方法。
技术介绍
随着公司业务量的增加，公司内部每日需要处理的数据量也在不断剧增，因此在数据存档的时候存储的文件也会大大增加，有的文件大小甚至超过了4G。而众所周知，电脑硬盘分区文件系统格式FAT32并不支持大于4G的文件，而且在将大文件直接读到内存时，需要加载很大的内存，容易导致电脑或者服务器空闲的内存一下子耗尽或者直接造成内存溢出的现象。即使在电脑内存足够大的情况下，从内存中筛选出需要数据的效率也是十分缓慢的。因此，开发一种高效率的大文本数据处理方式具有重要的现实意义。
技术实现思路
为了解决上述技术所存在的不足之处，本专利技术提供了一种大文本数据处理方法。为了解决以上技术问题，本专利技术采用的技术方案是：一种大文本数据处理方法，其整体步骤为：步骤一、将大文本解析成流；步骤二、在文件流中建立游标机制；步骤三、读取文件数据存储到数据库。步骤一中，采用边读边解析的方式将大文本解析成流。步骤三中，在读取文件时通过步骤二建立的游标机制来分段读取文件数据并保存到数据库中。大文本数据包括以txt、excel、svg、xml格式存储的数据文件。本专利技术可以解决大文件难加载，以及解析时占用大量内存从而导致内存溢出的问题；边读取边解析的处理方式，严格控制了内存的加载量，使其在占用小内存的同时高效解析文件；通过游标机制分段提取文件中的数据，具有十分高效的处理效率。附图说明图1为本专利技术的整体流程示意图。具体实施方式下面结合附图和具体实施方式对本专利技术作进一步详细的说明。图1所示的一种大文本数据...
【技术保护点】
一种大文本数据处理方法，其特征在于：所述方法的整体步骤为：步骤一、将大文本解析成流；步骤二、在文件流中建立游标机制；步骤三、读取文件数据存储到数据库。
【技术特征摘要】
1.一种大文本数据处理方法，其特征在于：所述方法的整体步骤为：步骤一、将大文本解析成流；步骤二、在文件流中建立游标机制；步骤三、读取文件数据存储到数据库。2.根据权利要求1所述的大文本数据处理方法，其特征在于：所述步骤一中，采用边读边解析的方式将大文本解析成流。3.根...
【专利技术属性】
技术研发人员：江山，吴志勇，王宇，
申请(专利权)人：广州迈安信息科技有限公司，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。