一种数据采集的方法和相关设备技术

本申请提供了一种数据采集的方法和相关设备。其中，该方法包括：数据采集设备根据采集周期对目标设备的性能指标数据进行采集；对采集到的变化检测窗口内的所述性能指标数据进行变化幅度检测，该变化检测窗口包括多个采集周期；在检测到该变化检测窗口内的所述性能指标数据的变化幅度超过或等于变化检测阈值的情况下，将该变化检测窗口内的性能指标数发送给数据分析设备。上述方法能够对采集到数据进行变化检测后再上报，可以有效发现突变类变化特征，保证数据分析的准确性，且减少数据的上报量。报量。报量。

【技术实现步骤摘要】
一种数据采集的方法和相关设备


[0001]本申请涉及通信
，尤其涉及一种数据采集的方法和相关设备。

技术介绍

[0002]随着互联网技术的飞速发展和创新，大数据分析在各个领域发挥着越来越重要的作用，而大数据采集是大数据分析中尤为重要的步骤。目前在网络运营维护中，例如在无源光纤网络(passive optical network，PON)中，光网络单元(optical network unit，ONU)的数量已经达到百万级，甚至千万级，如何从海量的ONU设备中采集高精度，有效的数据成为了关键点。
[0003]PON网络系统主要是由光线路终端(optical line terminal，OLT)、含有无源光器件的光配线网络(optical distribution network，ODN)和用户端的ONU或光网络终端(optical network terminal，ONT)组成，通常采用点到多点的树型拓扑结构，参见图1，如图1所示，多个OLT设备通过一级或多级分光器与多个ONU设备或ONT设备连接，共同组成了一个PON网络。
[0004]在目前的家庭宽带故障处理中，ONU设备一般都是周期性的采集数据并上传给OLT设备，进而上报给分析器。当其数据采集上报的周期太小时，例如1秒，上报的数据量将会非常巨大，对分析器的存储性能和传输通道要求极高，难以满足，而当其数据采集上报的周期过大时，例如采集上报周期为一天、一小时或者十五分钟时，将不能采集得到足够多的数据进行分析，不能对ODN逻辑拓扑进行还原，以及对突发类故障进行定位。

技术实现思路

[0005]本申请提供了一种数据采集的方法和相关设备，通过对目标设备的性能指标数据进行采集，并对采集到的变化检测窗口内的性能指标数据进行变化幅度检测，在检测到变化检测窗口内的数据的变化幅度超过或等于变化检测阈值，则将该变化检测窗口内的性能指标数据发送给数据分析设备，可以实现性能指标数据的更细粒度的采集，能够采集到发生突变的性能指标数据，发现突变类变化特征，保证数据分析的准确性，且减少数据的上报量。
[0006]第一方面，提供了一种数据采集的方法，包括：数据采集设备根据采集周期对目标设备的性能指标数据进行采集；该数据采集设备对采集到的变化检测窗口内的所述性能指标数据进行变化幅度检测，所述变化检测窗口包括多个采集周期；该数据采集设备在检测到所述变化检测窗口内的所述性能指标数据的变化幅度超过或等于变化检测阈值的情况下，将所述变化检测窗口内的所述性能指标数据发送给数据分析设备。
[0007]在本申请提供的方案中，数据采集设备对采集到的变化检测窗口内的性能指标数据进行检测，在该变化检测窗口内的性能指标数据的变化幅度超过或等于变化检测阈值的情况下才上报给数据分析设备，可以实现性能指标数据的更细粒度的采集，保证有效的采集到发生突变的性能指标数据，发现突变类变化特征，保证数据分析的准确性，减少性能指
标数据的上报量。
[0008]结合第一方面，在第一方面的一种可能的实现方式中，该数据采集设备根据采集周期对性能指标数据进行采集之前，所述方法还包括：数据采集设备接收数据分析设备发送的第一配置消息，所述第一配置消息包括：所述变化检测窗口的时长和/或所述变化检测阈值。
[0009]在本申请提供的方案中，数据采集设备可以根据数据分析设备配置下发的变化检测参数值进行性能指标数据的变化检测，保证检测上报的数据符合数据分析设备的需求，以便数据分析设备能够根据接收到的性能指标数据进行准确的分析。
[0010]结合第一方面，在第一方面的一种可能的实现方式中，所述性能指标数据为发送光功率、接收光功率、偏置电流、电压、温度中的一种。
[0011]结合第一方面，在第一方面的一种可能的实现方式中，数据采集设备在接收数据分析设备发送的第一配置消息之前，所述方法还包括：数据采集设备向数据分析设备发送采集能力信息；其中，所述采集设备的采集能力信息包括：所述性能指标数据对应的性能指标、以及所述性能指标的采集周期和采集精度。
[0012]在本申请提供的方案中，数据采集设备通过向数据分析设备上报其采集能力信息，与数据分析设备进行协商，以便于数据分析设备能够知晓数据采集设备的采集能力并为其配置采集参数值，保证数据采集设备能够按照需要进行关键性能指标数据的采集和上报。
[0013]结合第一方面，在第一方面的一种可能的实现方式中，所述方法还包括：数据采集设备向数据分析设备发送所述采集设备的数据处理能力信息；其中，所述数据处理能力信息包括序列压缩算法，所述序列压缩算法用于对向所述数据分析设备发送的性能指标数据进行压缩。
[0014]在本申请提供的方案中，数据采集设备还可以与数据分析设备进行数据处理能力的协商，以便于数据采集设备在采集到关键性能指标数据之后，可以进行进一步的数据处理，此外，数据采集设备利用序列压缩算法对性能指标数据进行压缩，可以进一步减小上报的数据量，减轻传输通道的传输压力，提高数据传输效率，提高带宽利用率。
[0015]结合第一方面，在第一方面的一种可能的实现方式中，可以利用所述变化检测窗口内的关键性能指标数据的最大值与最小值的差值表征所述变化检测窗口内的所述关键性能指标数据的变化幅度，相应地，数据采集设备对采集到的变化检测窗口内的所述性能指标数据进行变化幅度检测，包括：数据采集设备检测采集到的所述变化检测窗口内的关键性能指标数据的最大值与最小值的差值与所述变化检测阈值的大小关系。
[0016]可选地，也可以利用所述变化检测窗口内的关键性能指标数据的平均差或标准差表征所述变化检测窗口内的所述性能指标数据的变化幅度，相应地，数据采集设备也可以检测采集到的所述变化检测窗口内的关键性能指标数据的平均差或标准差与所述变化检测阈值的大小关系。
[0017]在本申请提供的方案中，数据采集设备通过对变化检测窗口内的关键性能指标数据的平均差、标准差、最大值与最小值的差值等用于表征变化幅度的数值和变化检测阈值进行比较检测，可以准确快速的检测出变化检测窗口内的关键性能指标数据是否发生了突变，提高了检测效率。
[0018]结合第一方面，在第一方面的一种可能的实现方式中，数据采集设备将所述变化检测窗口内的所述性能指标数据发送给数据分析设备，包括：所述数据采集设备将所述变化检测窗口内的已经发送过的所述性能指标数据进行去除，将剩下的所述变化检测窗口内的所述性能指标数据发送给所述数据分析设备。
[0019]在本申请提供的方案中，数据采集设备通过将变化检测窗口内的已经上报过的关键性能指标数据进行去除，并将变化检测窗口内的未上报的关键性能指标数据进行上报，可以进一步减少数据采集设备上报的数据量，能够有效减轻数据分析设备的存储压力和传输通道的传输压力。
[0020]结合第一方面，在第一方面的一种可能的实现方式中，所述方法还包括：所述数据采集设备根据数据上报周期向所述数据分析设备发送每个所述数据上报周期的结束时刻采集到的所述性能指标数据，所述变化本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据采集的方法，其特征在于，包括：数据采集设备根据采集周期对目标设备的性能指标数据进行采集；对采集到的变化检测窗口内的所述性能指标数据进行变化幅度检测，所述变化检测窗口包括多个采集周期；在检测到所述变化检测窗口内的所述性能指标数据的变化幅度超过或等于变化检测阈值的情况下，将所述变化检测窗口内未上报过的性能指标数据发送给数据分析设备。2.如权利要求1所述的方法，其特征在于，在所述数据采集设备根据采集周期对性能指标数据进行采集之前，所述方法还包括：接收所述数据分析设备发送的第一配置消息，所述第一配置消息包括：所述第一变化检测窗口的时长和/或所述变化检测阈值。3.如权利要求1或2所述的方法，其特征在于，所述性能指标数据为发送光功率、接收光功率、偏置电流、电压、温度中的一种。4.如权利要求1至3任一项所述的方法，其特征在于，在接收所述数据分析设备发送的第一配置消息之前，所述方法还包括：向所述数据分析设备发送所述采集设备的采集能力信息；其中，所述采集设备的采集能力信息包括：所述性能指标数据对应的性能指标、以及所述性能指标的采集周期和采集精度。5.如权利要求4所述的方法，其特征在于，所述方法还包括：向所述数据分析设备发送所述采集设备的数据处理能力信息；其中，所述数据处理能力信息包括序列压缩算法，所述序列压缩算法用于对向所述数据分析设备发送的性能指标数据进行压缩。6.如权利要求1至5任一项所述的方法，其特征在于，对采集到的变化检测窗口内的所述性能指标数据进行变化幅度检测，包括：检测采集到的所述变化检测窗口内的关键性能指标数据的最大值与最小值的差值与所述变化检测阈值的大小关系。7.如权利要求1至6任一项所述的方法，其特征在于，将所述变化检测窗口内的所述性能指标数据发送给数据分析设备，包括：所述数据采集设备将所述变化检测窗口内的已经发送过的所述性能指标数据进行去除，将剩下的所述变化检测窗口内的所述性能指标数据发送给所述数据分析设备。8.如权利要求2至7任一项所述的方法，其特征在于，所述方法还包括：所述数据采集设备根据数据上报周期向所述数据分析设备发送每个所述数据上报周期的结束时刻采集到的所述性能指标数据，所述变化检测窗口的时长小于所述数据上报周期的时长。9.一种数据采集的方法，其特征在于，包括：向数据采集设备发送第一配置消息，所述第一配置消息包括变化检测窗口的时长和变化检测阈值，所述变化检测窗口的时长和所述变化检测阈值用于所述数据采集设备检测所述变化检测窗口内的目标设备的性能指标数据的变化幅度与所述变化检测阈值的大小关系；接收所述数据采集设备发送的超过所述变化检测阈值的所述变化检测窗口内未上报
过的性能指标数据。10.如权利要求9所述的方法，其特征在于，所述性能指标数据为发送光功率、接收光功率、偏置电流、电压、温度中的一种。11.如权利要求9或10所述的方法，其特征在于，数据分析设备根据所述性能指标数据对应的性能指标和所述性能指标的采集周期确定所述变化检测窗口的时长；和/或，所述数据分析设备根据所述性能指标数据对应的性能指标和所述性能指标的采集精度确定所述变化检测阈值。12.如权利要求9至11任一项所述的方法，其特征在于，在向数据采集设备发送第一配置消息之前，所述方法还包括：接收所述数据采集设备发送的采集能力信息；其中，所述采集设备的采集能力信息包括：所述性能指标数据对应的性能指标、以及所述性能指标的采集周期和采集精度。13.如权利要求9至12任一项所述的方法，其特征在于，所述方法还包括：接收所述数据采集设备发送的数据处理能力信息；其中，所述数据处理能力信息包括序列压缩算法，所述序列压缩算法用于所述数据采集设备对发送的性能指标数据进行压缩。14.一种数据采集设备，其特征在于，包括：采集模块，用于根据采集周期对目标设备的性能指标数据进行采集；检测模块，用于对采集到的变化检测窗口内的所述性能指标数据进行变化幅度检测，所述变化检测窗口包括多个采集周期；收发模块，用于在所述检测模块检测到所述变化检测窗口内的所述性能指标数据的变化幅度超过或等于变化检测阈值的情况下，将所述变化检测窗...

【专利技术属性】
技术研发人员：谢于明，程剑，薛莉，滕腾，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：