多类型网络应用服务质量评估系统和方法技术方案

本发明专利技术提供的多类型网络应用服务质量评估系统和方法，包括网络服务综合指标监测子系统

【技术实现步骤摘要】
多类型网络应用服务质量评估系统和方法


[0001]本专利技术涉及互联网
，尤其涉及多类型网络应用服务质量评估系统和方法
。

技术介绍

[0002]随着互联网技术的快速发展，各类网络应用不断涌现，极大方便了人们的生活
。
因此，为了提供更好的应用服务，需要实现对以网页
、
流媒体
、
即时通讯为代表的多类型网络应用的服务质量评估
。QoE
是以用户为中心的网络应用服务质量评估方式，反映了用户使用时的直观感受
。
网络应用服务质量是由一系列相互叠加的因素共同构成的结果，为了准确评价网络应用服务质量，必须建立多指标
、
精细化的网络应用服务质量
QoE
模型
。
同时，影响不同网络应用体验的关键指标不同，需要对不同网络应用建立差异化的
QoE
模型
。
[0003]目前，国内外有关网络应用服务质量
QoE
评价模型的研究有很多，可以分为主观评价和客观评价
。
主观评价方法就是直接围绕用户感知为中心，选择一定数量的测试人员，在特定环境下按照评分标准对网络应用的使用体验质量进行打分，最后根据打分结果统计分析得到网络应用服务质量评价
。
主观评价虽然可以直接反映出用户使用中的服务体验，但是其实验成本较大，过程繁琐
。
因此主观评价常用于作为客观评价的结果验证
。
国际标准组织r/>ITU
‑
R BT.500
‑
11
中介绍了几种主观评估方法
[1]：单激励评估法
(Single Stimulus Method
，
SSM)、
双激励减损等级评估法
(Double Stimulus Impairment Scale
，
DSIS)。
单激励评估法测试中，工作人员将测试对象随机打乱后交给测试人员打分，同一测试对象有可能出现多次，将所有主观分数进行统计评价处理，即为平均意见分
。
双激励减损等级评估法中，同一测试对象将连续出现，首先测试人员查看无损测试对象，接着再对有损测试对象进行打分，分数代表有损测试对象的减损程度
。
客观评价是通过监测影响网络应用服务质量的相关指标，建立服务质量评估模型，间接表示用户体验
。
常用的客观方法大都以机器学习的方式，通过对大量样本用户数据进行学习，得到各个指标与网页
QoE
的映射关系
。
文献
[2]中提出使用决策树
+adaboost
方式建立视频流媒体业务的
QoE
到用户体验分数的映射模型，对用户的实际体验进行预测
。
但文章的服务质量评测方法仅能在其自行搭建的模拟平台上使用，不能用于实际中对真实服务质量进行评估
。
[0004]国际上也都在开展网络应用服务质量评估系统的研发与完善
。Lighthouse
是谷歌推出的一款针对网页的服务质量评估工具，它可以检测多个网页性能指标，分析
Web
应用的性能并生成报告，并提供网页性能优化建议，其优点是安装方便
、
本地节点运行，但其打分模板不公开，无法根据需求选择自定义评估模板
。
美国的
WebPageTest
是一款专业的
Web
页面性能分析工具，它可以对检测分析的环境配置进行高度自定义化，内容包括测试节点的物理位置
、
设备型号
、
浏览器版本
、
网络条件和检测次数等
。
但
WebPageTest
的监测大都位于国外，在面对监测评估国内网站时用存在数据量较小，单次结果不够稳定等问题
。Pytomo
是一款针对
YouTube
视频的服务质量检测工具，通过模拟用户使用，得到
YouTube
的服务器响应时延
、
下载速率
、
缓冲时间指标，但是没有对其服务质量进行评价打分
。
这些工具都只针
对单一网络应用，评估模板固定
、
不公开，不能很好满足多类型网络应用服务质量评估基本需求，无法完全照搬
。
对此，本专利技术为满足多类型网络应用精细化服务质量评估的需求而出现，具有多指标监测
、
多类型应用服务质量评估模型构建
、
灵活模板配置
、
多节点综合评估功能，对提升应用服务质量，提高用户体验有重要意义
。
[0005]谷歌浏览器提出的
Lighthouse
是一款开源网页服务质量评估工具，其通过设置指标分数及指标权重，通过加权平均法来估算网页性能
。Lighthouse
的指标来自谷歌提出的“web
指标”[3]。
谷歌选取了5个指标对网页服务质量进行评估，包括首次内容绘制时间
(FCP)、
速度指数
(SI)、
最大内容绘制时间
(LCP)、
总阻塞时间
(TBT)
和累积布局偏移时间
(CLS)。
其中指标的分数映射则来自谷歌用户体验报告提供的数据进行统计得到的分布函数确定，分数区间为0到
100。
其权重的设定分别为：
10
％
、10
％
、25
％
、30
％
、25
％
。
各项指标的说明参照谷歌的“web
指标”如下：
FCP
是页面从开始加载到页面内容的任何部分在屏幕上完成渲染的时间；
SI
用于衡量内容在页面加载期间的视觉显示速度；
LCP
是测量感知加载速度的一个以用户为中心的重要指标，该项指标表示可视区域内可见的最大图像或文本块完成渲染的相对时间；
TBT
测量交互可靠性的重要指标，该项指标是
FCP
与可交互时间
(TTI)
这期间主线程被阻塞的时间
。CLS
测量视觉稳定性的一个以用户为中心的重要指标，该项指标有助于量化用户经历意外布局偏移的频率
。

技术实现思路

[0006]本专利技术的实施例提供了一种多类型网络应用服务质量评估系统和方法，用于解决现有技术中存在的技术问题
。
[0007]为了实现上述目的，本专利技术采取了如下技术方案
。
[0008]多类型网络应用服务质量评估系统，包括网络服务综合指标监测子系统
、
网络服务质量精细评估子系统和服务分级本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
多类型网络应用服务质量评估系统，其特征在于，包括网络服务综合指标监测子系统
、
网络服务质量精细评估子系统和服务分级评估可视化子系统；所述网络服务综合指标监测子系统用于：定义不同类型网络应用评估模板的指标；接收总控节点发送的监测评估指令，通过建立对应的监测模型，对所述不同类型网络应用评估模板的指标进行监测；所述不同类型网络应用评估模板包括网页指标
、
流媒体指标和即时通讯指标；网络服务质量精细评估子系统用于：确定单个指标的打分标准；使用层次分析法确定不同指标间的权重，制定不同网络应用的打分模板，获得网络应用服务质量的总评分；所述服务分级评估可视化子系统用于：提供用户与所述多类型网络应用服务质量评估系统的交互操作，以及设置应用服务质量参数的功能；提供存储监测评估数据功能；将评估结果进行可视化输出
。2.
根据权利要求1所述的系统，其特征在于，所述网络服务质量精细评估子系统包括监测指标打分模块
、
层次分析模块和服务质量打分模块；所述监测指标打分模块用于：确定监测指标的评分标准，对监测的网页指标
、
流媒体指标和即时通讯指标的结果进行打分；所述层次分析模块用于：通过建立层次结构模型，对指标数据进行层次分级，确定每级指标的权重；基于所述两级指标体系，对指标数据层级进行两两比对，构建对比矩阵；计算所述对比矩阵的权重向量，检验所述权重向量的一致性；将每级指标的权重进行组合，获得所有指标数据未进行层次分级的指标权重；所述服务质量打分模块用于：根据所述监测指标打分模块得到的打分标准，对所述指标监测子系统传入的监测值进行分数映射；根据用户所选指标
、
评分模板以及所述层次分析模块确定的权重矩阵，对监测的网络应用服务质量进行打分
。3.
根据权利要求2所述的系统，其特征在于，所述监测指标打分模块通过如下过程对监测的网页指标的结果进行打分：
A1
读取一条获取的
URL
数据，判断读取的
URL
数据的
URL
数
n
是否为0，若是则执行步骤
A2
，否则，保存网页指标的值，将
URL
数
n
‑1，然后重新执行本步骤；
A2
对网页指标的数据进行数据清洗处理；
A3
对数据清洗处理后的网页指标的数据存入
xlsx
文件；
A4
读取数据清洗处理后的网页指标的数据，获得指标数据分布情况；
A5
根据指标数据分布情况，指定网页指标的打分标准并保存；所述监测指标打分模块通过如下过程对监测的流媒体指标的结果进行打分：
B1
录制原始用户体验流媒体应用播放的视频；
B2
通过工具多次改变所述视频的指标；
B3
基于步骤
B2
的执行结果，录制不同指标不同损失程度下的用户流媒体播放体验视频；
B4
对所述不同指标不同损失程度下的用户流媒体播放体验视频分别进行打分；
B5
对步骤
B4
的打分结果进行数据清洗操作；
B6
基于步骤
B5
的执行结果，确定指标数据与打分结果的映射关系；步骤
B5
具体包括：
B51
设置打分误差区间为
A
，首次打分的结果为
X
，
T
为筛选强度；
B52
若重复打分结果位于区间
[X
‑
A,X+A]
范围内的比例为
P
，且
P<T
时，判定打分结果为有效；
B53
设置用户
i
的打分结果为
Ri
，筛选强度为
T
；
B54
若用户
i
的打分结果满足时，判定打分结果为有效；所述监测指标打分模块通过如下过程对监测的即时通讯指标的结果进行打分：
C1
录制原始情况的用户体验即时通讯应用视频；
C2
通过工具多次改变所述原始情况的用户体验即时通讯应用视频的指标；
C3
基于步骤
C2
的执行结果，录制不同指标不同损失程度下的用户即时通讯播放体验视频；
C4
对所述不同指标不同损失程度下的用户即时通讯播放体验视频分别进行打分；
C5
对步骤
C4
的打分结果进行数据清洗操作；
C6
基于步骤
C5
的执行结果，确定指标数据与打分结果的映射关系
。4.
根据权利要求1所述的系统，其特征在于，所述服务分级评估可视化子系统包括：评估选择模块
、
注册登录模块
、
个人中心模块
、
日志审计模块和用户管理模块；所述评估选择模块用于：提供不同的网络服务质量评估的输入参数设置选项，将选择完成的输入参数发送至所述网络服务综合指标监测子系统；对所述网络服务质量精细评估子系统的评估结果进行可视化输出；所述注册登录模块用于为用户提供系统登录

【专利技术属性】
技术研发人员：司成祥，孙天艺，刘云昊，廖元媛，张梦菲，
申请(专利权)人：国家计算机网络与信息安全管理中心，
类型：发明
国别省市：