大数据实时处理方法、系统、计算机设备及存储介质技术方案

本申请涉及一种大数据实时处理方法、系统、计算机和存储介质，其中，该方法包括：将本地文件上传至监听目录，采用文件监听方式获取文件数据；将所述文件数据按照预设定的内容分隔符进行分割处理，转换成规范数据流；将所述规范数据流采用线程池策略进行多线程批量处理，得到批量处理数据；根据应用场景，将所述批量处理数据分别存入相对应的数据库。通过本申请，可定制分割符处理特定的文件内容，且可根据服务器CPU合理设置线程数，降低时间复杂度，提高数据处理效率，有效解决目前相关技术中的大数据实时处理方法存在处理过程烦琐，资源占用率高、以及处理效率低下等技术问题。以及处理效率低下等技术问题。以及处理效率低下等技术问题。

【技术实现步骤摘要】
大数据实时处理方法、系统、计算机设备及存储介质


[0001]本申请涉及数据处理的
，特别是涉及一种大数据实时处理方法、系统、计算机设备和存储介质。

技术介绍

[0002]随着信息技术的飞速发展，数据成为了最重要的生产资料和业务升级依据，对数据的分析与处理成为目前研究的重点,数据挖掘技术更是成为了重中之重，大数据技术是能够将大规模数据中隐藏的信息和知识挖掘出来，为人类社会经济活动提供依据，提高各个领域的运行效率，甚至整个社会经济的集约化程度，大数据时代的到来使得企业业务数据化水平得到了极大的提升，在这个由物联网、社交媒体、边缘计算以及越来越多的计算能力(如量子计算)支持的数字时代，数据是众多企业最有价值的资产之一，正确或不正确的数据管理将对企业的成功产生巨大影响，在企业运行过程中，特别是互联网企业运行过程中常常需要处理各种数据。
[0003]在目前大数据行业的背景下，如何高效地处理海量数据成了企业占领市场的关键因素。众所周知，大数据处理流程可以概括为四步：分别是采集、导入及预处理、统计及分析和挖掘，导入及预处理这一步需要解决大量数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据实时处理方法，其特征在于，包括：将本地文件上传至监听目录，采用文件监听方式获取文件数据；将所述文件数据按照预设定的内容分隔符进行分割处理，转换成规范数据流；将所述规范数据流采用线程池策略进行多线程批量处理，得到批量处理数据；根据应用场景，将所述批量处理数据分别存入相对应的数据库。2.根据权利要求1所述的大数据实时处理方法，其特征在于，所述将本地文件上传至监听目录，采用文件监听方式获取文件数据的步骤进一步包括：通过文件监听器对所述监听目录下的本地文件进行监听，动态监听所述本地文件的事件类型变化；当监听到所述本地文件的事件类型发生变化时，通过事件监听器根据事件类型变化执行相应处理，得到所述文件数据。3.根据权利要求1所述的大数据实时处理方法，其特征在于，所述将所述规范数据流采用线程池策略进行多线程批量处理，得到批量处理数据的步骤进一步包括：将所述规范数据流以新任务形式发送至已初始化设置核心线程数、最大线程数以及线程空闲时间的线程池；判断所述线程池中工作队列的任务以及线程的数量是否达到上限状态；若否，则允许所述新任务进入所述工作队列中缓存；当接收到所述线程池调度指令时，将所述新任务从所述工作队列中调出进行处理，得到批量处理数据。4.根据权利要求3所述的大数据实时处理方法，其特征在于，所述判断所述线程池中工作队列的任务以及线程的数量是否达到上限状态的步骤之后，所述方法还包括：若判断所述线程池中工作队列的任务以及线程的数量已达到上限状态，则执行拒绝策略，拒绝所述新任务进入所述工作队列中；所述拒绝策略包括直接执行被拒绝任务的运行方法，直接丢弃所述新任务并抛出异常指示，直接丢弃所述新任务或抛弃进...

【专利技术属性】
技术研发人员：周华雄，范渊，刘博，
申请(专利权)人：杭州安恒信息技术股份有限公司，
类型：发明
国别省市：