【技术实现步骤摘要】
一种数据流类型识别模型更新方法及相关设备
本专利技术涉及计算机
和通信领域,进一步涉及人工智能(ArtificialIntelligence,AI)在计算机
和通信领域的应用,尤其涉及一种数据流类型识别模型更新方法及相关设备。
技术介绍
随着计算机技术的迅猛发展,越来越多的企业使用私有的办公类应用进行办公,如桌面云、语音会议、视频会议等均属于私有的办公类应用。为了合理安排各业务的流量提高业务的可靠性,通常需要合理配置QoS优先级、实时选路等。而QoS优先级、实时选路等的前提是需要获知当前的办公应用属于哪种类型的应用(即哪种数据流类型)。目前主要采用如下方式来获知办公应用的类型,预先采集样本数据,然后通过人工或使用第三方工具对样本数据进行标注,之后对标注过的样本数据使用机器学习或者神经网络的算法进行模型的离线训练,再通过离线训练得到的模型预测现网流量的应用类型。然而,人为标注来获取训练样本的方式效率较低。
技术实现思路
本专利技术实施例公开了一种数据流类型识别模型更新方法及相关设备,能够 ...
【技术保护点】
1.一种数据流类型识别模型更新方法,其特征在于,包括:/n根据当前数据流的报文信息、行为识别模型确定所述当前数据流对应的第一数据流类型,所述报文信息包括报文长度、报文传输速度、报文间隔时间和报文方向中的一项或者多项,所述行为识别模型为对多个数据流样本的报文信息和数据流类型进行训练得到的模型;/n根据目标对应关系和所述当前数据流的通用特征确定所述当前数据流对应的第二数据流类型,其中,所述目标对应关系为多个通用特征与多个数据流类型的对应关系;/n若所述当前数据流对应的第一数据流类型和所述当前数据流对应的第二数据流类型不同,则获取所述当前数据流对应的校正数据,其中,所述当前数据流 ...
【技术特征摘要】
1.一种数据流类型识别模型更新方法,其特征在于,包括:
根据当前数据流的报文信息、行为识别模型确定所述当前数据流对应的第一数据流类型,所述报文信息包括报文长度、报文传输速度、报文间隔时间和报文方向中的一项或者多项,所述行为识别模型为对多个数据流样本的报文信息和数据流类型进行训练得到的模型;
根据目标对应关系和所述当前数据流的通用特征确定所述当前数据流对应的第二数据流类型,其中,所述目标对应关系为多个通用特征与多个数据流类型的对应关系;
若所述当前数据流对应的第一数据流类型和所述当前数据流对应的第二数据流类型不同,则获取所述当前数据流对应的校正数据,其中,所述当前数据流对应的校正数据包括所述当前数据流的报文信息和所述当前数据流对应的第二数据流类型,所述校正数据用于作为训练样本更新所述行为识别模型。
2.根据权利要求1所述的方法,其特征在于,所述根据目标对应关系和所述当前数据流的通用特征确定所述当前数据流对应的第二数据流类型,包括:
若所述当前数据流的通用特征与所述对应关系中的第一通用特征相同,则将所述第一通用特征对应的数据流类型作为所述当前数据流对应的第二数据流类型。
3.根据权利要求1或2所述的方法,其特征在于,所述通用特征为知名端口号、或者知名域名系统DNS。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述获取所述当前数据流对应的校正数据之后,还包括:
向第一设备发送所述当前数据流对应的校正数据,其中,所述当前数据流对应的校正数据包括所述当前数据流的报文信息和所述当前数据流对应的第二数据流类型;
接收所述第一设备发送的第一模型数据,所述第一模型数据用于描述由所述第一设备根据所述当前数据流的报文信息和所述当前数据流对应的第二数据流类型对所述行为识别模型进行训练得到的新的行为识别模型。
5.根据权利要求1-3任一项所述的方法,其特征在于,所述获取所述当前数据流对应的校正数据之后,还包括:
根据所述校正数据更新所述行为识别模型,以得到新的行为识别模型。
6.根据权利要求5所述的方法,其特征在于,所述根据所述校正数据更新所述行为识别模型,以得到新的行为识别模型,包括:
若当前已累计存在M条数据流对应的第一数据流类型与所述M条数据流类型对应的第二数据流类型不同,则根据所述M条数据流的报文信息和所述M条数据流分别对应的第二数据流类型训练所述行为识别模型,以得到新的行为识别模型,其中,所述M条数据流为从所述行为识别模型生效到截止当前的累计量,或者为在预设时间段内的累计量,或者所述M条数据流占所述行为识别模型生效后已传输的数据流的总量的比值超过预设阈值;M条数据流包括所述当前数据流。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述根据当前数据流的报文信息、行为识别模型确定所述当前数据流对应的第一数据流类型,包括:
根据当前数据流的报文信息、特征信息、行为识别模型、内容识别模型确定所述当前数据流对应的第一数据流类型,所述特征信息包括目的地址和协议类型中的一项或者多项;所述内容识别模型为对一条或多条历史数据流的特征信息和数据流类型得到的模型,所述历史数据流的数据流类型是根据所述行为识别模型得到。
8.根据权利要求7所述的方法,其特征在于,所述根据当前数据流的报文信息、特征信息、行为识别模型、内容识别模型确定所述当前数据流对应的第一数据流类型,包括:
根据当前数据流的报文信息和行为识别模型得到所述当前数据流的对应于至少一个数据流类型的至少一个第一置信度;
根据所述当前数据流的特征信息和内容识别模型得到所述当前数据流的对应于所述至少一个数据流类型的至少一个第二置信度;
根据所述至少一个第一置信度和所述至少一个第二置信度确定所述当前数据流的第一数据流类型。
9.根据权利要求8所述的方法,其特征在于,所述根据所述至少一个第一置信度和所述至少一个第二置信度确定所述当前数据流的第一数据流类型,包括:
根据对应于目标数据流类型的所述第一置信度、所述第一置信度的权重值、对应于所述目标数据流类型的所述第二置信度和所述第二置信度的权重值计算对应于所述目标数据流类型的综合置信度,所述目标数据流类型为所述至少一个数据流类型中的任意一个;
若对应于所述目标数据流类型的所述综合置信度大于第一预设阈值,则确定所述目标数据流类型为所述当前数据流对应的第一数据流类型。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
若对应于所述目标数据流类型的所述综合置信度小于第二预设阈值,则向第二设备发送所述当前数据流的特征信息和所述第二数据流类型,所述第二预设阈值大于所述第一预设阈值;
接收所述第二设备发送的第二模型数据,所述第二模型数据用于描述由所述第二设备根据所述当前数据流的特征信息和所述第二数据流类型训练所述内容识别模型得到的新的内容识别模型。
11.根据权利要求10所述的方法,其特征在于,所述方法还包括:
若对应于所述目标数据流类型的所述综合置信度小于第二预设阈值,则根据所述当前数据流的特征信息和所述第二数据流类型更新所述内容识别模型,以得到新的内容识别模型,所述第二预设阈值大于所述第一预设阈值。
12.根据权利要求1-11任一项所述的方法,其特征在于,所述根据目标对应关系和所述当前数据流的通用特征确定所述当前数据流对应的第二数据流类型之后,还包括:
向运维支持系统OSS发送所述当前数据流对应的第二数据流类型,所述当前数据流的第二数据流类型的信息用于所述OSS生成针对所述当前数据流的流量控制策略。
13.根据权利要求1-12任一项所述的方法,其特征在于,所述报文长度包括报文中以太帧长度、IP报文长度、传输协议报文长度和报头长度中的一项或者多项,所述传输协议包括传输控制协议TCP和/或用户数据报协议UDP。
14.一种数据流类型识别模型更新方法,其特征在于,包括:
接收第三设备发送的当前数据流对应的校正数据,其中,所述当前数据流对应的校正数据包括所述当前数据流的报文信息和所述当前数据流对应的第二数据流类型;所述当前数据流对应的第二数据流类型为所述第三设备根据目标对应关系和所述当前数据流的通用特征确定的,所述目标对应关系为多个通用特征与多个数据流类型的对应关系;
若累计接收到了M条数据流对应的校正数据,则根据所述M条数据流对应的校正数据对所述行为识别模型进行训练得到新的行为识别模型;所述M条数据流为从所述行为识别模型生效到截止当前的累计量,或者为在预设时间段内的累计量,或者所述M条数据流占所述行为识别模型生效后已传输的数据流的总量的比值超过预设阈值;M条数据流包括所述当前数据流;
向所述第三设备发送第一模型数据,所述第一模型数据用于描述所述新的行为识别模型,所述行为识别模型为根据多个数据流样本的报文信息和数据流类型得到的模型,所述行为识别模型用于根据输入的待预测数据流的报文信息确定所述待预测数据流的数据流类型;所述报文信息包括报文长度、报文传输速度、报文间隔时间和报文方向中的一项或者多项。
15.根据权利要求14所述的方法,其特征在于,所述通用特征为知名端口号、或者知名域名系统DNS。
16.根据权利要求14或15所述的方法,其特征在于,所述当前数据流对应的校正数据是所述第三设备在所述当前数据流对应的第一数据流类型和所述当前数据流对应的第二数据流类型为不同的数据流类型的情况下发送的,所述当前数据流对应的第一数据流类型是所述第三设备根据当前数据流的报文信息、特征信息、所述行为识别模型、内容识别模型确定的;所述特征信息包括目的地址和协议类型中的一项或者多项,所述内容识别模型为根据一条或多条历史数据流的特征信息和数据流类型得到的,所述历史数据流的数据流类型是根据所述行为识别模型得到的。
17.根据权利要求14-16任一项所述的方法,其特征在于,所述根据所述M条数据流对应的校正数据对所述行为识别模型进行训练得到新的行为识别模型,包括:
根据所述M条数据流对应的校正数据和Y条数据流对应的矫正数据对所述行为识别模型进行训练得到新的行为识别模型,其中:
所述Y条数据流与所述M条数据流来自同一个网络,或者,
所述Y条数据流与所述M条数据流来自至少两个不同的网络,其中,所述至少两个不同的网络包括两个不同的局域网,或者所述至少两个不同的网络包括两个不同形态的网络,或者所述至少两个不同的网络包括两个不同区域的网络。
18.根据权利要求17所述的方法,其特征在于,若所所述Y条数据流与所述M条数据流来自至少两个不同的网络;所述根据所述M条数据流对应的校正数据和Y条数据流对应的矫正数据对所述行为识别模型进行训练得到新的行为识别模型,包括:
根据所述Y条数据流所属的第二网络与所述M条数据流所属的第一网络的网络配置的差异对所述Y条数据流的报文信息进行修正,得到所述Y条数据流的修正后的报文信息;
根据所述M条数据流的报文信息、所述Y条数据流的修正后的报文信息、所述M条数据流对应的第二数据流类型、所述Y条数据流对应的第二数据流对所述行为识别模型进行训练得到新的行为识别模型。
19.根据权利要求14-18任一项所述的方法,其特征在于,还包括:
接收所述第三设备发送的当前数据流的特征信息和第二数据流类型的信息;
根据所述当前数据流的特征信息和第二数据流类型对所述内容识别模型进行训练得到新的内容识别模型;
向所述第三设备发送第二模型数据,所述第二模型数据用于描述所述新的内容识别模型,所述内容识别模型为根据一条或多条历史数据流的特征信息和数据流类型得到的模型,所述内容识别模型用于根据输入的待预测的数据流的特征信息估计所述待预测数据流的数据流类型,其中,所述历史数据流的数据流类型是根据行为识别模型得到的,所述行为识别模型为根据多个数据流样本的报文信息和数据流类型得到的模型,所述报文信息包括报文长度、报文传输速度、报文间隔时间和报文方向中的一项或者多项,所述特征信息包括目的地址和协议类型中的一项或多项。
20.一种数据流类型识别模型更新装置,其特征在于,包括:
第一确定单元,用于根据当前数据流的报文信息、行为识别模型确定所述当前数据流对应的第一数据流类型,所述报文信息包括报文长度、报文传输速度、报文间隔时间和报文方向中的一项或者多项,所述行为识别模型为对多个数据流样本的报文信息和数据流类型进行训练得到的模型;
第二确定单元,用于根据目标对应关系和所述当前数据流的通用特征确定所述当前数据流对应的第二数据流类型,其中,所述目标对应关系为多个通用特征与多个数据流类型的对应关系;
获取单元,用于在所述当前数据流对应的第一数据流类型和所述当前数据流对应的第二数据流类型不同的情况下,获取所述当前数据流对应的校正数据,其中,所述当前数据流对应的校正数据包括所述当前数据流的报文信息和所述当前数据流对应的第二数据流类型,所述校正数据用于作为训练样本更新所述行为识别模型。
21.根据权利要求20所述的装置,其特征在于,在根据目标对应关系和所述当前数据流的通用特征确定所述当前数据流对应的第二数据流类型方面,所述第二确定单元具体用于:
若所述当前数据流的通用特征与所述对应关系中的第一通用特征相同,则将所述第一通用特征对应的数据流类型作为所述当前数据流对应的第二数据流类型。
22.根据权利要求20或21所述的装置,其特征在于,所述通用特征为知名端口号、或者知名域名系统DNS。
23.根据权利要求20-22任一项所述的装置,其特征在于,所述装置还包括:
第一发送单元,用于在所述获取单元获取所述当前数据流对应的校正数据...
【专利技术属性】
技术研发人员:吴俊,胡新宇,张亮,徐慧颖,
申请(专利权)人:华为技术有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。