一种面向微服务资源的多模态数据分析方法、装置及介质制造方法及图纸

本发明专利技术公开了一种面向微服务资源的多模态数据分析方法、装置及介质，包括获取不同微服务组件资源的多模态数据，所述多模态数据包括文本数据和图像数据；通过ResNet模型和Transformer模型分别对图像数据和文本数据进行编码，得到原始的图像数据和文本数据的高层特征表示；利用得到的图像数据和文本数据的高层特征表示训练CLIP模型，并进行数据标注，在高层特征表示的空间中进行对齐图像数据和文本数据的特征；通过交叉熵损失函数对图像数据和文本数据的分类，得到分析后的多模态数据。本发明专利技术通过利用ResNet模型和Transformer模型对图像数据和文本数据进行编码，降低数据向量化中的损失，使用CLIP模型对多模态数据的高层特征表示进行对齐，提升多模态数据对齐的准确度。度。度。

【技术实现步骤摘要】
一种面向微服务资源的多模态数据分析方法、装置及介质


[0001]本专利技术涉及数据分析
，特别涉及一种面向微服务资源的多模态数据分析方法、装置及介质。

技术介绍

[0002]随着信息技术的发展，很多大型公司的云数据中心大规模应用了云计算、虚拟化、微服务等技术。相比传统数据中心，云数据中心运维工作业务应用基本采用互联网微服务架构。一个业务应用系统可能由多个微服务组成，每个微服务节点之间相互关联，使得业务应用关系更复杂，且微服务引用一些开源的组件、软件，引发的故障，处理技术要求更高，运维难度也更大。
[0003]传统架构下，由物理服务器等为业务应用提供运行资源，资源供给相对固定，当业务应用资源欠缺时，由信息调度统筹资源调度安排，耗时以天为单位计量。在云平台环境下，大量的业务应用以分布式的方式分派给由底层云平台计算资源组成的资源池中，能够实现灵活自动的资源水平与垂直扩展能力，耗时能达到秒级或分钟级别，但云平台资源池是由海量的硬件资源共同构成，资源配置差异较大，对资源的精准识别和智能调度策略要求更高。
[0004]现有技术的不足之处在于，由于资源和业务应用的强关联，传统架构应用的健壮性和灵活性都较弱。在云环境下，微服务架构带来了更优的可扩展性、独立升级性、易维护性、业务健壮性等能力，大的业务按照功能职责拆分成独立的服务应用模块，但随着电网业务规模的不断发展，相应的业务服务数量也不断增加，服务间的调用关系越来越错综复杂，给故障发现和快速定位带来更大的挑战。

技术实现思路

[0005]本专利技术的目的克服现有技术存在的不足，为实现以上目的，采用一种面向微服务资源的多模态数据分析方法、装置及介质，以解决上述
技术介绍
中提出的问题。
[0006]第一方面，本专利技术实施例提供一种面向微服务资源的多模态数据分析方法，包括：
[0007]S1、获取不同微服务组件资源的多模态数据，所述多模态数据包括文本数据和图像数据；
[0008]S2、通过ResNet模型和Transformer模型分别对图像数据和文本数据进行编码，得到原始的图像数据和文本数据的高层特征表示；
[0009]S3、利用得到的图像数据和文本数据的高层特征表示训练CLIP模型，并进行数据标注，在高层特征表示的空间中进行对齐图像数据和文本数据的特征；
[0010]S4、通过交叉熵损失函数对图像数据和文本数据的分类，得到分析后的多模态数据。
[0011]作为本专利技术的进一步的方案：所述步骤S2中的具体步骤包括：
[0012]基于改进的ResNet模型对图像数据进行编码，得到图像数据的高层特征表示；以
及
[0013]基于Transformer模型对文本数据进行编码，得到文本数据的高层特征表示。
[0014]作为本专利技术的进一步的方案：所述基于改进的ResNet模型对图像数据进行编码的具体步骤包括：
[0015]根据获取的多模态数据中提取出的图像数据，进行图片预处理，设定图片输入分辨率，在图片缩放的基础上，采用中心裁剪的方法对图片进行裁剪，对缩放裁剪的图片进行归一化处理；
[0016]通过提取归一化处理后的图像数据不同维度的特征来构成特征集；选取样本点并提取样本点的M维特征，每个样本的特征是一个大小为M
×
N的矩阵，使用随机擦除与变换对比度的方式对原图像数据进行增强；按照比例将数据集拆分为训练集和测试集，并将其全部转化为二进制文件，添加样本标签，将转换得到的TFRcords文件作为ResNet模型数据输入；
[0017]再对ResNet模型卷积层通过投影快捷方式进行改进，其中投影快捷方式使用步幅为2的3
×
3最大池化层跟随步幅为1的1
×
1卷积层来代替原始的投影快捷方式，用于在残差网络特征维度改变之前添加不同特征尺寸的特性；再在ResNet模型中利用稀疏性激活函数ReLu自动引入稀疏性；
[0018]进行训练ResNet模型，得到图像数据的高层特征表示。
[0019]作为本专利技术的进一步的方案：所述基于Transformer模型对文本数据进行编码的具体步骤包括：
[0020]通过分词去词的方法和采用Bert模型处理进行文本预处理，得到文本向量化表示；
[0021]根据任务的分类标签对文本向量化表示的文本数据构建每个类别的描述文本，将Transformer模型的编码器作为一个特征提取器，对文本数据进行特征提取，以获取文本数据的内部信息，得到文本数据的高层特征表示。
[0022]作为本专利技术的进一步的方案：所述步骤S3中的具体步骤包括：
[0023]将ResNet模型作为CLIP模型中的Image Encoder模型，将Transformer模型作为CLIP模型中的Text Encoder模型，分别提取文本特征和图像特征，CLIP模型会对提取的文本特征和图像特征进行对比学习；
[0024]对于一个包含N个文本与图像对的训练batch，将N个文本特征和N个图像特征两两组合，CLIP模型会预测出N2个可能的文本与图像对的相似度；根据相似度直接计算文本特征和图像特征的余弦相似性；CLIP模型的训练目标则为最大N个正样本的相似度，同时最小化N个负样本的相似度。
[0025]作为本专利技术的进一步的方案：所述步骤S4中的具体步骤包括：
[0026]对传统的交叉熵损失函数，在其基础上加入权重系数W
n
，则改进的交叉熵损失函数的表达式为：
[0027][0028]式中，N表示总的样本数量，p
n,i
表示第n个样本类别为i的概率；
[0029]再利用改进的交叉熵损失函数对图像数据和文本数据的分类，得到分析后的多模
态数据。
[0030]第二方面，本专利技术实施例提供一种面向微服务资源的多模态数据分析装置，还包括：
[0031]数据获取模块，用于获取不同微服务组件资源的多模态数据，所述多模态数据包括文本数据和图像数据；
[0032]数据处理模块，用于通过ResNet模型和Transformer模型分别对图像数据和文本数据进行编码，得到原始的图像数据和文本数据的高层特征表示；
[0033]特征解析模块，用于利用得到的图像数据和文本数据的高层特征表示训练CLIP模型，并进行数据标注，在高层特征表示的空间中进行对齐图像数据和文本数据的特征；
[0034]数据分类模块，用于通过交叉熵损失函数对图像数据和文本数据的分类，得到分析后的多模态数据。
[0035]作为本专利技术的进一步的方案：所述数据获取模块还包括第一获取单元和第二获取单元：
[0036]所述第一获取单元，用于获取多模态数据中的文本数据；
[0037]所述第二获取单元，用于获取多模态数据中的图像数据。
[0038]作为本专利技术的进一步的方案：所述特征解析模块连接于数据获取模块的数据输出端，用于对数据编码后的多模态数据进行解析。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向微服务资源的多模态数据分析方法，其特征在于，具体步骤包括：S1、获取不同微服务组件资源的多模态数据，所述多模态数据包括文本数据和图像数据；S2、通过ResNet模型和Transformer模型分别对图像数据和文本数据进行编码，得到原始的图像数据和文本数据的高层特征表示；S3、利用得到的图像数据和文本数据的高层特征表示训练CLIP模型，并进行数据标注，在高层特征表示的空间中进行对齐图像数据和文本数据的特征；S4、通过交叉熵损失函数对图像数据和文本数据的分类，得到分析后的多模态数据。2.根据权利要求1所述一种面向微服务资源的多模态数据分析方法，其特征在于，所述步骤S2中的具体步骤包括：基于改进的ResNet模型对图像数据进行编码，得到图像数据的高层特征表示；以及基于Transformer模型对文本数据进行编码，得到文本数据的高层特征表示。3.根据权利要求2所述一种面向微服务资源的多模态数据分析方法，其特征在于，所述基于改进的ResNet模型对图像数据进行编码的具体步骤包括：根据获取的多模态数据中提取出的图像数据，进行图片预处理，设定图片输入分辨率，在图片缩放的基础上，采用中心裁剪的方法对图片进行裁剪，对缩放裁剪的图片进行归一化处理；通过提取归一化处理后的图像数据不同维度的特征来构成特征集；选取样本点并提取样本点的M维特征，每个样本的特征是一个大小为M
×
N的矩阵，使用随机擦除与变换对比度的方式对原图像数据进行增强；按照比例将数据集拆分为训练集和测试集，并将其全部转化为二进制文件，添加样本标签，将转换得到的TFRcords文件作为ResNet模型数据输入；再对ResNet模型卷积层通过投影快捷方式进行改进，其中投影快捷方式使用步幅为2的3
×
3最大池化层跟随步幅为1的1
×
1卷积层来代替原始的投影快捷方式，用于在残差网络特征维度改变之前添加不同特征尺寸的特性；再在ResNet模型中利用稀疏性激活函数ReLu自动引入稀疏性；进行训练ResNet模型，得到图像数据的高层特征表示。4.根据权利要求2所述一种面向微服务资源的多模态数据分析方法，其特征在于，所述基于Transformer模型对文本数据进行编码的具体步骤包括：通过分词去词的方法和采用Bert模型处理进行文本预处理，得到文本向量化表示；根据任务的分类标签对文本向量化表示的文本数据构建每个类别的描述文本，将Transformer模型的编码器作为一个特征提取器，对文本数据进行特征提取，以获取文本数据的内...

【专利技术属性】
技术研发人员：乔林，陈硕，曲睿婷，雷振江，王飞，胡楠，齐俊，教传铭，李冬，刘江，宋跃明，
申请(专利权)人：国家电网有限公司，
类型：发明
国别省市：