数据处理的方法及系统技术方案

本申请公开了一种数据处理的方法及其系统。该方法包括以下步骤：按照拆分规则，拆分待处理文件形成若干子文件；启动预设数量的线程，根据线程加载规则，调度第一线程加载并处理第一子文件；判断第一线程的当前状态是否为就绪或阻塞状态；如果第一线程的当前状态是就绪或阻塞状态，调度第一线程释放第一子文件，调度第一线程加载并处理第二子文件。在该方法及其对应的系统中，如果第一线程的当前状态是就绪或阻塞状态，调度第一线程释放第一子文件，调度第一线程加载并处理第二子文件，从而减少了第一线程的闲置，提高了线程的利用率，进而提高了数据处理效率。

【技术实现步骤摘要】

本申请涉及计算机
，尤其涉及一种数据处理的方法及系统。
技术介绍
线程(Thread)，有时被称为轻量级进程(LightweightProcess，LWP)，是程序执行流的最小单元。线程是进程中的一个实体，是被系统独立调度和分派的基本单位，线程自己不拥有系统资源，与同属一个进程的其它线程共享进程所拥有的全部系统资源(例如，CPU和内存)。一个线程可以创建和撤消另一个线程，同一进程中的多个线程之间可以并发执行。在一个程序中，可以定义多个线程并发，每个线程可以执行不同的任务。例如，某一程序有两个线程并发执行。线程1要执行{y＝1；x＝y；

【技术保护点】
一种数据处理的方法，其特征在于，包括以下步骤：按照拆分规则，拆分待处理文件形成若干子文件；启动预设数量的线程，根据线程加载规则，调度第一线程加载并处理第一子文件；判断第一线程的当前状态是否为就绪或阻塞状态；如果第一线程的当前状态是就绪或阻塞状态，调度第一线程释放第一子文件，调度第一线程加载并处理第二子文件。

【技术特征摘要】
1.一种数据处理的方法，其特征在于，包括以下步骤：按照拆分规则，拆分待处理文件形成若干子文件；启动预设数量的线程，根据线程加载规则，调度第一线程加载并处理第一子文件；判断第一线程的当前状态是否为就绪或阻塞状态；如果第一线程的当前状态是就绪或阻塞状态，调度第一线程释放第一子文件，调度第一线程加载并处理第二子文件。2.如权利要求1所述的方法，其特征在于，按照拆分规则，拆分待处理文件形成若干子文件，具体包括：将待处理文件根据文件自身的结构拆分为若干子文件。3.如权利要求1所述的方法，其特征在于，按照拆分规则，拆分待处理文件形成若干子文件，具体包括：将待处理文件依照预设字符长度拆分为若干子文件。4.如权利要求1所述的方法，其特征在于，按照拆分规则，拆分待处理文件形成若干子文件，具体包括：将待处理文件依照预设字符长度拆分为若干中间文件；校验中间文件的首末位，当首位不是适格的首位时，向前延伸一定数量的字符，从中找到适格的首位；当末位不是适格的末位时，向后延伸一定数量的字符，从中找到适格的末位；设定中间文件适格的首末位为子文件的首末位形成子文件。5.如权利要求1所述的方法，其特征在于，按照拆分规则，拆分待处理文件形成若干子文件，具体包括：拆分待处理文件形成若干子文件，每一个子文件有记录其起点位置和终点位置的字段。6.如权利要求5所述的方法，其特征在于，调度第一线程加载并处理第一子文件，具体包括：调度第一线程使用RandomAccessFile的seek函数直接定位到子文件的起点位置加载并处理子文件。7.一种数据处理的方法，其特征在于，包括以下步骤：启动预设数量的线程，根据线程加载规则，调度第一线程加载并处理第一子文件；判断第一线程的当前状态是否为就绪或阻塞状态；如果第一线程的当前状态是就绪或阻塞状态，调度第一线程释放第一子文件，调度第一线程加载并处理第二子文件。8.一种数据处理的系统，其特征在于，包括：拆分模块，用于按照拆分规...

【专利技术属性】
技术研发人员：王玲玉，李雪，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY