【技术实现步骤摘要】
本申请涉及边缘计算智能应用领域，尤其涉及一种多模态数据的智能卷积通用网络预测方法、设备及介质。
技术介绍
1、所有边缘节点上的数据仍然需要在云中进行汇总，以实现深入分析，获得更有意义的分析结果。万物互联时代，如果大量数据全部传输到云端，云计算会造成很大的负载，因此需要边缘计算来分担云的压力，并负责其边缘范围内的任务。
2、边缘计算的边缘是指数据源和云计算中心路径之间的任意计算和网络资源。边缘计算是将地理距离或网络距离上接近用户的资源统一起来，为应用提供计算、存储和网络服务的一种新的计算模型，满足敏捷性的关键需求。
3、敏捷性的关键点是自适应和分布式，针对客户需求具有更灵活的响应能力。敏捷性注重轻型，也是我们现代意义上的便携式。边缘计算更注重实用性和普适性。
4、万物互联时代，网络边缘使用深度学习的应用程序以保证边缘设备获得的大量数据能够在边缘应用程序中得到实时的分析。较好的思路是将深度学习网络应用在边缘计算领域，以均衡实时性、准确率和存储量。
5、传统cnn的网络结构，包括：有卷积层、激活函数、池化层、全连接层以及输出层等。激活函数作用是引入非线性因素，保证网络框架的健壮性，为了避免被激活函数过滤掉更多的信息，传统的cnn的网络结构会在激活层的前面，卷积层的后面加上一个偏置向量，对数据进行一次简单的线性加法。池化层将大维度特征切成几个小区域特征，取其最大值或平均值，得到新的、维度较小的特征，用于压缩数据和参数的量，减小过拟合。传统cnn的卷积工作流程，以边缘探测为例，需要过滤器，探
6、为了提高准确率降低损失，网络框架过于复杂，市场上现有框架的针对性较强无法适应中低端环境，例如边缘的多模态生态环境。常规的卷积神经网络有局部感知和参数共享，但是实时性较差，无法满足客户需求。
技术实现思路
1、本申请的目的在于解决现有网络计算方法无法适应中低端环境技术问题，提供一种多模态数据的智能卷积通用网络预测方法、设备及介质。
2、本申请的上述目的是通过以下技术方案得以实现的：
3、s1：获取多模态数据，将所述多模态数据转换为二维数组；确定多模态数据的训练样本和测试样本；
4、s2：通过relu激活函数、二维卷积层、激活层以及最大池化层，构建轻量级的适应多模态数据的所述通用网络模型；
5、s3：改进所述通用网络模型的卷积公式；
6、所述通用网络模型改进后的卷积公式如下：
7、
8、其中，表示向下取整；w表示卷积特征图的宽，卷积特征图的宽等于卷积特征图的高；p表示填充；s表示移动得距离；
9、s4：通过所述训练样本，训练所述通用网络模型；
10、设置不同的迭代训练周期；
11、s5：通过训练后的通用网络模型，实现所述多模态数据的识别。
12、可选的，步骤s1包括：
13、所述多模态数据包括：视频数据以及音频数据；
14、将所述视频数据转换为图片数据，再将所述图片数据转换为二维数组；将所述音频数据转换为文本数据，再将所述文本数据转换为二维数组。
15、可选的，步骤s2包括：
16、s21：通过adam优化器优化通用网络模型的数据；
17、s22：使用交叉熵损失函数作为通用网络模型的损失函数。
18、可选的，所述通用网络模型的结构由两层组成，包括：cov1层以及cov2层；
19、cov1层由二维卷积层、激活层、最大池化层组成，cov1层中的二维卷积层连接cov1层中的激活层，cov1层中的激活层连接cov1层中的最大池化层；
20、cov2层由二维卷积层、激活层组成，cov2层中的二维卷积层连接cov2层中的激活层；
21、cov1层的最大池化层连接cov2层的二维卷积层；
22、所述二维卷积层的卷积核尺寸大小为3*3，填充p为1以及卷积步长s为2。
23、可选的，步骤s4还包括：
24、在每个迭代训练周期完成之后，通过所述测试样本测试所述通用网络模型，绘制损失数据图像；通过所述损失数据图像，调整所述通用网络模型的结构参数，确定最优结构参数。
25、可选的，所述最优结构参数如下：
26、所述cov1中的conv2d参数设置如下：输入通道大小in_channels＝1、输出通道大小out_channels＝18、卷积核尺寸kernel_size＝3、卷积步长stride＝2和填充padding＝1；maxpool2d中的卷积核尺寸kernel_size＝3；
27、所述cov2中的conv2d参数设置如下：输入通道大小in_channels＝18、输出通道大小out_channels＝36、卷积核尺寸kernel_size＝3、卷积步长stride＝2和填充padding＝1。
28、可选的，步骤s5包括：
29、采用pytorch深度学习框架实现所述通用网络模型；
30、将待识别的多模态数据转换为二维数组，输入改进后的所述通用网络模型，实现多模态数据的识别。
31、一种电子设备，包括处理器、存储器、用户接口及网络接口，所述存储器用于存储指令，所述用户接口和网络接口用于给其他设备通信，所述处理器用于执行所述存储器中存储的指令，以使所述电子设备执行一种多模态数据的智能卷积通用网络预测方法。
32、一种计算机可读存储介质，所述计算机可读存储介质存储有指令，当所述指令被执行时，执行一种多模态数据的智能卷积通用网络预测方法。
33、本申请提供的技术方案带来的有益效果是：
34、1.通过卷积层、激活层以及最大池化层组成通用网络模型的前馈神经网络；采用两层架构，使用最大池化层以及较少的卷积层和激活层改进通用网络模型的结构，使通用网络模型更加轻量化，网络结构简单，能适用多模态数据的各种分类和回归任务。革新通用网络模型的卷积公式，使计算方便容易理解。应用relu激活函数能均衡收敛速度和精确度。调整模型中的最优结构参数，提高模型的准确性。
35、2.优化器使用adam优化器，计算梯度的指数移动平均数，函数曲线平滑，更容易达成目标。
36、3.通过选用pytorch作为深度学习框架，有效的处理多模态数据以及先关融合问题。
本文档来自技高网...【技术保护点】
1.一种多模态数据的智能卷积通用网络预测方法，其特征在于，方法包括以下步骤：
2.如权利要求1的一种多模态数据的智能卷积通用网络预测方法，其特征在于，步骤S1包括：
3.如权利要求1的一种多模态数据的智能卷积通用网络预测方法，其特征在于，步骤S2包括：
4.如权利要求1的一种多模态数据的智能卷积通用网络预测方法，其特征在于，所述通用网络模型的结构由两层组成，包括：cov1层以及cov2层；
5.如权利要求1的一种多模态数据的智能卷积通用网络预测方法，其特征在于，步骤S4还包括：
6.如权利要求5的一种多模态数据的智能卷积通用网络预测方法，其特征在于，所述最优结构参数如下：
7.如权利要求1的一种多模态数据的智能卷积通用网络预测方法，其特征在于，步骤S5包括：
8.一种电子设备，其特征在于，包括处理器(501)、存储器(505)、用户接口(503)及网络接口(504)，所述存储器(505)用于存储指令，所述用户接口(503)和网络接口(504)用于给其他设备通信，所述处理器(501)用于执行所述存储
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令，当所述指令被执行时，执行如权利要求1-7任意一项所述的方法步骤。
...【技术特征摘要】
1.一种多模态数据的智能卷积通用网络预测方法，其特征在于，方法包括以下步骤：
2.如权利要求1的一种多模态数据的智能卷积通用网络预测方法，其特征在于，步骤s1包括：
3.如权利要求1的一种多模态数据的智能卷积通用网络预测方法，其特征在于，步骤s2包括：
4.如权利要求1的一种多模态数据的智能卷积通用网络预测方法，其特征在于，所述通用网络模型的结构由两层组成，包括：cov1层以及cov2层；
5.如权利要求1的一种多模态数据的智能卷积通用网络预测方法，其特征在于，步骤s4还包括：
6.如权利要求5的一种多模态数据的智能卷积通用网络预测方法，其特征在于，所述...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。