一种移动通信后台数据文件导入方法技术

本发明专利技术公开一种移动通信后台数据文件导入方法，其包括以下步骤：创建数据源并将其写入第一缓冲区；创建若干个数据处理线程，使用创建的数据处理线程处理写入第一缓冲区的数据源，同时实时显示处理速度；将经过数据处理线程处理的数据源写入第二缓冲区；创建数据存储线程，并使用创建的数据存储线程存储第二缓冲区的数据源至数据库同时实时显示存储进度。该发明专利技术通过HTML5选择若干个文件、第一缓冲区、第二缓冲区以及多个数据处理线程的设置革新了传统逐个文件处理的方法，同时，还通过HTML5Server-Sent Events进行进度百分比的实时显示，使得导入进度实时呈现。

【技术实现步骤摘要】

本专利技术涉及一种数据处理方法，特别涉及。
技术介绍
移动通信网络优化是通过采集网络数据进行分析，确定影响网络通信质量的原 因，在不改变现有的网络设备、资源和容量基础上，通过调整工程参数、硬件维护优化、清除 干扰等优化手段最大限度地提高网络服务质量。 目前，网络优化的数据大多数都是直接从移动通信网络后台导出的，该类数据文 件具有种类多、文件小、文件量大的特点。传统网络优化方法是将这些数据文件逐个选择、 逐个上传，上传后逐个读取数据流，保存到数据库中，这种数据处理方法效率比较低，同时， 其一般采用使用AJAX轮询方式，导致数据导入进度难以实时呈现。
技术实现思路
为了克服现有技术移动通信后台数据文件导入效率低下以及导入进度无法实时 显示的不足，本专利技术的目的在于提供一种既可以高效导入后台数据文件又可以实现显示导 入进度的移动通信后台数据文件导入方法。 为解决上述问题，本专利技术所采用的技术方案如下：提供一种移动通信后台数据文 件导入方法，包括以下步骤： S101:创建数据源并将其写入第一缓冲区； S102:创建若干个数据处理线程，使用创建的数据处理线程处理写入第一缓冲区 的数据源，同时实时显示处理速度； S103:将经过数据处理线程处理的数据源写入第二缓冲区； S104:创建数据存储线程，并使用创建的数据存储线程存储第二缓冲区的数据源 至数据库同时实时显示存储进度。 优选地，所述数据处理线程个数由下述函数确定：其中，Int(x):指向上取整;Numcpu:指创建数据处理线程的中央处理器的内核数； 指的是单个文件的写入第一缓冲区的时间;！?!:指单个数据文件的数据处理线程处理 时间，包括解码、格式化、过滤、校验四个过程处理时间过程;:指的是数据处理线程对单 个文件的解码时间；t梅?化:指数据处理线程处理解码后的格式化时间；t逾指数据处理线程 处理过滤出对优化分析有利用价值的数据的时间；_:数据处理线程处理校验数据完整或 重复的时间；γ :是修正参数。 优选地，步骤S101具体包括以下步骤： 通过HTML5选择若干个文件； 根据选择的若干个文件创建数据源； 将上述创建的数据源以线程安全队列写入第一缓冲区。 优选地，步骤S102具体包括以下步骤： Ρ101:根据写入第一缓冲区的数据源创建若干个数据处理线程； Ρ102:使用创建的数据处理线程对写入第一缓冲区的数据源进行解码、格式化、过 滤以及校验处理； Ρ103:通过HTML5Server_Sent Events实时显示数据处理线程的处理速度。优选地，步骤P103具体包括以下步骤：获取单个文件需要处理的总条目， 获取数据处理线程已处理的处理条目；根据单个文件需要处理的总条目和数据处理线程已处理的处理条目获得单个文 件条数的处理速度。 优选地，步骤S104具体包括以下步骤：创建单个数据存储线程；使用创建的单个数据存储线程存储数据源至数据库同时实时显示存储进度。 优选地，步骤S104具体包括以下步骤：创建至少一个数据存储线程； 使用创建的至少一个数据存储线程存储数据源至数据库同时实时显示存储进度。 优选地，所述γ值为1。 相比现有技术，本专利技术的有益效果在于：本专利技术通过HTML5选择若干个文件、第一缓 冲区、第二缓冲区以及多个数据处理线程的设置革新了传统逐个文件处理的方法，提高了 数据处理方法效率，同时，还通过HTML5Server-Sent Events进行进度百分比的实时显示， 使得导入进度实时呈现，便于用户操作使用。【附图说明】 图1是本专利技术的流程示意图； 图2是本专利技术的包括多个数据存储线程的处 理流程示意图；图3是本专利技术的步骤S102的流程示意图。【具体实施方式】 下面结合附图和【具体实施方式】对本专利技术作进一步详细说明。 请参阅图1-图3,本专利技术10,包括以下步骤： S101:创建数据源并将其写入第一缓冲区； 具体地，步骤S101包括以下步骤： 通过HTML5选择若干个文件； 根据选择的若干个文件创建数据源； 将上述创建的数据源以线程安全队列写入第一缓冲区。 S102:创建若干个数据处理线程，使用创建的数据处理线程处理写入第一缓冲区 的数据源，同时实时显示处理速度； 具体地，步骤S102包括以下步骤： P101:根据写入第一缓冲区的数据源创建若干个数据处理线程； P102:使用创建的数据处理线程对写入第一缓冲区的数据源进行解码、格式化、过 滤以及校验处理； P103:通过HTML5Server_Sent Events实时显示数据处理线程的处理速度。其中，数据处理线程的个数优选等于中央处理器的内核数。 在实际中，考虑到还有诸如写入第一缓冲区的速度与数据处理线程处理的速度不 等等因素，实际创建的数据处理线程个数往往使用下述函数确定：其中，Int(x):指向上取整;Numcpu:指创建数据处理线程的中央处理器的内核数； 指的是单个文件的写入第一缓冲区的时间;！?!:指单个数据文件的数据处理线程处理 时间，包括解码、格式化、过滤、校验四个过程处理时间；切稱:指的是数据处理线程对单个文 件的解码时间；tg:指数据处理线程处理解码后的格式化时间；taai:指数据处理线程处理 过滤出对优化分析有利用价值的数据的时间:数据处当前第1页1 2 本文档来自技高网...

【技术保护点】
一种移动通信后台数据文件导入方法，其特征在于，包括以下步骤：S101：创建数据源并将其写入第一缓冲区；S102：创建若干个数据处理线程，使用创建的数据处理线程处理写入第一缓冲区的数据源，同时实时显示处理速度；S103：将经过数据处理线程处理的数据源写入第二缓冲区；S104：创建数据存储线程，并使用创建的数据存储线程存储第二缓冲区的数据源至数据库同时实时显示存储进度。

【技术特征摘要】

【专利技术属性】
技术研发人员：高建涛，张斌，陈远鹏，白雪岩，江锦慧，
申请(专利权)人：广东南方通信建设有限公司，
类型：发明
国别省市：广东;44