网站数据动态定时页面数据采集方法技术

本发明专利技术涉及一种网站数据动态定时页面数据采集方法。在一个采集周期内，每隔10‑15分钟的时间间隔，智能识别并采网站产生的最新性能原始数据，该最新性能原始数据包括图片或框架，运用追加原则，保存至本地数据库，然后自动处理，按日常KPI指标公式进行计算得到性能指标，按日常性能告警门限集，全自动产生最新性能告警。本发明专利技术将原本一次采集的数据量，分成多次采集，减少服务器负荷，每个时间片，采集的数据量很少，下载时间快，获取最新数据快；同时优化的数据库数据保存机制，使得下载的数据只做插入和更新操作，不再执行删除，提高数据底层存储的连续性。

Data Acquisition Method for Dynamic Timing Page of Website Data

The invention relates to a data acquisition method for dynamic timing pages of website data. In a collection cycle, every 10 to 15 minutes interval, intelligent identification and adoption of the latest performance raw data generated by the website, the latest performance raw data including pictures or frames, the use of additional principles, save to the local database, and then automatically process, according to the daily KPI index formula to calculate performance indicators, according to the daily performance alarm threshold set, automatic generation. Latest performance alert. The method divides the original data collected at one time into multiple collections, reduces the server load, and each time slice collects very little data, downloads quickly, and acquires the latest data quickly; at the same time, the optimized database data storage mechanism makes the downloaded data only insert and update operations, no longer perform deletion, and improves the continuity of the underlying data storage.

【技术实现步骤摘要】
网站数据动态定时页面数据采集方法
本专利技术涉及一种数据采集方法，尤其是一种网站数据动态定时页面数据采集方法。
技术介绍
现有采集方案的网站数据采集方式中，下载解析和保存入库这两个步骤比较缓慢，因为是每小时定点时刻采集一次数据，设置的时刻一般是所有OMC的所有数据都齐全的安全时刻去采，这样势必导致采集数据延时，数据及时性不高，虽然保证了数据的完整性，但性能告警不及时，不利于及时发现网站问题处理问题。
技术实现思路
针对现有技术中存在的问题，本专利技术的目的在于提供一种间隔式追加采集移动通信网站性能数据的方法的技术方案。所述的网站数据动态定时页面数据采集方法，在一个采集周期内，每10-15分钟的时间间隔，智能识别并采集网站产生的最新性能原始数据，该最新性能原始数据包括图片或框架，运用追加原则，保存至本地数据库，然后自动处理，按日常KPI指标公式进行计算得到性能指标，按日常性能告警门限集，全自动产生最新性能告警。所述网站数据动态定时页面数据采集方法，其特征在于所述的全自动产生最新性能告警是在一个采集周期中，反复多次间隔式追加，实现快速性能告警，先产生的数据先告警，后产生的数据后告警，批次化告警。所述网站数据动态定时页面数据采集方法，其特征在于所述的保存至本地数据库时，通过对新数据插入，已存在的数据更新，不进行删除操作，OMC上每个文件或表对应本地的一张表，保存60天的数据；每张表建成分区表，按天分区；每类级别的数据文件，逻辑上分组存放，物理上分文件存放，使每个级别的数据存放于不同的分组和文件。所述网站数据动态定时页面数据采集方法，其特征在于所述的数据采集分为三种模式，分别为：自动采集性能数据模式、自动补采性能数据模式和手动补采性能数据模式。本专利技术通过对移动通信OMC设备在一个采集周期内，按一定的间隔时间，多次采集，智能识别,追加获取最新数据，将原本一次采集的数据量，分成多次采集，减少服务器负荷，每个时间片，采集的数据量很少，下载时间快，获取最新数据快,为诸如出告警等之类的上层应用提高了应用性，同时优化的数据库数据保存机制，使得下载的数据只做插入和更新操作，不再执行删除，提高数据底层存储的连续性。本专利技术与现有技术相比：1.自动采集性能数据：极大的提高了网站指标告警的及时性，基本达到了实时的效果，独创性的间隔式追加采集机制，既提高了数据的及时性又保证了数据的完整性；2.自动补采性能数据：更加有力地保证了全天的数据完整性；比现有技术方案更智能更完备，采集也更快速；3.手动补采性能数据：更大的灵活性，采集更迅速，采集过程耗时更短。通过对设备数据源OMC的详细分析，了解OMC出数据现状如下：图片OMC一个时段的数据文件，会从整点开始，从各个BSC等设备陆续汇总到OMC，文件从整点1分开始就逐渐新增，且某几分集中出现；框架OMC一个时段的数据，从整点后几分钟内，先离散的出部分行数据记录，后集中一段时间出大批量数据。具体实施方式网站数据动态定时页面数据采集方法，在一个采集周期内，每隔10-15分钟的时间间隔，智能识别并采集网站产生的最新性能原始数据，该最新性能原始数据包括图片或框架，运用追加原则，保存至本地数据库，然后自动处理，按日常KPI指标公式进行计算得到性能指标，按日常性能告警门限集，全自动产生最新性能告警。所述网站数据动态定时页面数据采集方法，其特征在于所述的全自动产生最新性能告警是在一个采集周期中，反复多次间隔式追加，实现快速性能告警，先产生的数据先告警，后产生的数据后告警，批次化告警。所述网站数据动态定时页面数据采集方法，其特征在于所述的保存至本地数据库时，通过对新数据插入，已存在的数据更新，不进行删除操作，OMC上每个文件或表对应本地的一张表，保存60天的数据；每张表建成分区表，按天分区；每类级别的数据文件，逻辑上分组存放，物理上分文件存放，使每个级别的数据存放于不同的分组和文件。所述网站数据动态定时页面数据采集方法，其特征在于所述的数据采集分为三种模式，分别为：自动采集性能数据模式、自动补采性能数据模式和手动补采性能数据模式。本专利技术通过对移动通信OMC设备在一个采集周期内，按一定的间隔时间，多次采集，智能识别,追加获取最新数据，将原本一次采集的数据量，分成多次采集，减少服务器负荷，每个时间片，采集的数据量很少，下载时间快，获取最新数据快,为诸如出告警等之类的上层应用提高了应用性，同时优化的数据库数据保存机制，使得下载的数据只做插入和更新操作，不再执行删除，提高数据底层存储的连续性。本专利技术与现有技术相比：1.自动采集性能数据：极大的提高了网站指标告警的及时性，基本达到了实时的效果，独创性的间隔式追加采集机制，既提高了数据的及时性又保证了数据的完整性；2.自动补采性能数据：更加有力地保证了全天的数据完整性；比现有技术方案更智能更完备，采集也更快速；3.手动补采性能数据：更大的灵活性，采集更迅速，采集过程耗时更短。具体实施方式。本文档来自技高网...

【技术保护点】
1.网站数据动态定时页面数据采集方法，其特征在于：在一个采集周期内，每隔10‑15分钟的时间间隔，智能识别并采集网站产生的最新性能原始数据，该最新性能原始数据包括图片或框架，运用追加原则，保存至本地数据库，然后自动处理，按日常KPI指标公式进行计算得到性能指标，按日常性能告警门限集，全自动产生最新性能告警。

【技术特征摘要】
1.网站数据动态定时页面数据采集方法，其特征在于：在一个采集周期内，每隔10-15分钟的时间间隔，智能识别并采集网站产生的最新性能原始数据，该最新性能原始数据包括图片或框架，运用追加原则，保存至本地数据库，然后自动处理，按日常KPI指标公式进行计算得到性能指标，按日常性能告警门限集，全自动产生最新性能告警。2.根据权利要求1所述网站数据动态定时页面数据采集方法，其特征在于所述的全自动产生最新性能告警是在一个采集周期中，反复多次间隔式追加，实现快速性能告警，先产生的数据先告警，后产生的数据后告警，批...

【专利技术属性】
技术研发人员：韩金花，
申请(专利权)人：河南大瑞物联网科技有限公司，
类型：发明
国别省市：河南,41