【技术实现步骤摘要】
本专利技术一般地涉及数据处理领域。更具体地，本专利技术涉及一种基于大数据分析的信息筛选展示方法及系统。
技术介绍
1、近年来，随着人工智能技术的快速发展，越来越多的领域应用的人工智能技术。当前社会信息爆炸式增长和信息过载的现象，随着互联网的普及和技术的进步，人们能够轻松获取到大量的数据和信息，但是面对海量的信息时，我们需要一种有效的筛选机制来帮助我们快速找到我们真正需要的信息。
2、大数据分析的意义在于提供了一种科学的方法和技术来挖掘、整理和分析海量的数据。通过大数据分析，可以发现隐藏在海量数据背后的规律和价值，从而更加准确地了解用户需求、市场趋势和业务模式。在信息筛选展示方面，大数据分析可以帮助我们快速准确地找到与用户需求相关的信息，并根据用户的兴趣、偏好和行为来进行个性化的信息展示。这样可以提高用户的搜索效率和体验。
3、现有的大数据分析方法在分析数据时，为了提高分析效率和关联度，大多是通过对比抽样样本的方式进行数据获取，而利用对比样本的方式分析大数据使得获取资源不够全面，另一方面现有的筛选对比方式，对获取信息的内容较为单一，从而在筛选过程中存在一定的数据遗漏的问题，因此需要一种基于大数据分析的信息筛选展示方法及系统。
技术实现思路
1、为解决上述一个或多个技术问题，本专利技术提出通过文本和图像数据的对应关系，训练深度学习模型，根据文本数据或图像数据获取到更加完善的信息，便于对获取的信息进行选择，以文本或图像呈现，为此，本专利技术在如下的多个方面中提供方
2、在第一方面中，一种基于大数据分析的信息筛选展示方法，包括：获取大量的图像数据和图像对应的文本数据，得到图像文本数据集；通过预设的深度学习模型，使用所述图像文本数据集，训练深度学习模型，得到信息筛选模型，其中，所述信息筛选模型包括：文本网络结构模型和图像网络结构模型；获取新的文本数据送入所述文本网络结构模型，使用文本编码器对文本数据进行编码以得到第一特征向量，对所述第一特征向量进行文本解码，得到文本数据；计算文本网络结构模型的第一损失函数值，得到所述文本网络结构模型的权重；获取新的图像数据送入所述图像网络结构模型，使用图像编码器对图像数据进行编码以得到第二特征向量，对所述第二特征向量进行图像解码，得到图像数据；计算图像网络结构模型的第二损失函数值，得到所述图像网络结构模型的权重；根据第一损失函数值和第二损失函数值，计算所述信息筛选模型整体的损失函数值，对所述信息筛选模型进行调整，训练完成后，根据模型的评价指标得到最优模型；根据所述最优模型，对输入的内容进行场景展示。
3、由此，通过对文本网络结构模型和图像网络结构模型进行单独训练，分别计算文本网络结构模型和图像网络结构模型在信息筛选模型中的权重，再训练整体的信息筛选模型，调整权重关系，节省训练时间，将第一特征向量和第二特征向量使用不同的解码器，得到不同需求的多个信息展示结果。
4、在一个实施例中，计算文本网络结构模型的第一损失函数值，得到所述文本网络结构模型的权重，包括：
5、所述第一损失函数值满足以下关系式：
6、
7、其中，表示第一损失函数值，表示训练集样本的个数，表示训练集中第个样本的文本数据，表示训练集中第个样本文本数据的预测值。
8、在一个实施例中，计算图像网络结构模型的第二损失函数值，得到所述图像网络结构模型的权重，包括：
9、所述第二损失函数值满足以下关系式：
10、
11、其中，表示第二损失函数值，表示输入第个图像样本中第行第列的像素值，表示预测第个图像样本中第行第列的像素值。
12、在一个实施例中，根据第一损失函数值和第二损失函数值，计算所述信息筛选模型整体的损失函数值，包括：
13、所述信息筛选模型整体的损失函数值满足下列关系式：
14、
15、其中，表示信息筛选模型的损失函数值，表示第一损失函数值，表示第二损失函数值，表示第一特征向量，表示第二特征向量，表示第一特征向量和第二特征向量之间的范数， 、 、为常数，表示不同损失的权重。
16、在一个实施例中，所述对输入的内容进行场景展示，还包括：
17、根据不同的应用场景在预测时选择不同的网络结构，调整所述信息筛选模型的输入输出的结果。
18、在一实施例中，根据不同的应用场景在预测时选择不同的网络结构，包括：
19、对文本数据复现文本对应的图片，使用文本网络结构模型的文本编码器得到所述第一特征向量，对所述第一特征向量使用图像网络结构模型的图像解码器，进行解码以得到目标图像数据；
20、对图像数据复现图像对应的文本描述，使用图像网络结构模型的图像编码器得到所述第二特征向量，对第二特征向量使用文本网络结构模型的文本解码器，进行解码以得到目标文本数据。
21、由此，通过上述方案，可以通过不同搜索方式，展示多种信息的方式，获取信息的内容更加丰富，且关联性强。
22、在一实施例中，调整信息筛选模型的输入输出的结果，包括：
23、计算各个所述文本数据使用编码器得到第一特征向量和实时获取的文本数据得到的目标特征向量之间的距离，根据所述距离判断展示的顺序。
24、由此，通过计算所需的目标特征和全部的第一特征向量之间的距离，将判断信息的先后顺序，以使获得的信息更加贴合所需的信息。
25、第二方面，一种基于大数据分析的信息筛选展示系统，包括：处理器和存储器，所述存储器存储有计算机程序指令，当所述计算机程序指令被所述处理器执行时实现任一项所述的基于大数据分析的信息筛选展示方法。
26、本申请具有以下效果：
27、1、本申请通过同时对两个网络结构进行训练，训练得到两种筛选方法，根据需求选择筛选方式，将图文信息依次排列，使用组合搭配的筛选方式，得到图文相关的信息，扩大了展示内容的范围，得到多样化的信息内容，以使数据信息更加全面。
28、2、本申请通过深度学习模型可以根据输入和输出的不同选择合适的推理模型，在训练模型时先训练文本网络结构模型和图像网络结构模型，然后再根据深度学习模型的损失函数训练整个模型，这种训练方法减少了训练时间，训练完成后可以根据不同的应用场景选择不同的网络结构。
本文档来自技高网...【技术保护点】
1.一种基于大数据分析的信息筛选展示方法，其特征在于，包括：
2.根据权利要求1所述的一种基于大数据分析的信息筛选展示方法，其特征在于，计算文本网络结构模型的第一损失函数值，得到所述文本网络结构模型的权重，包括：
3.根据权利要求1所述的一种基于大数据分析的信息筛选展示方法，其特征在于，计算图像网络结构模型的第二损失函数值，得到所述图像网络结构模型的权重，包括：
4.根据权利要求1所述的一种基于大数据分析的信息筛选展示方法，其特征在于，计算所述信息筛选模型整体的损失函数值，包括：
5.根据权利要求1所述的一种基于大数据分析的信息筛选展示方法，其特征在于，所述对输入的内容进行场景展示，包括：
6.根据权利要求5所述的一种基于大数据分析的信息筛选展示方法，其特征在于，根据不同的应用场景在预测时选择不同的网络结构，包括：
7.根据权利要求5所述的一种基于大数据分析的信息筛选展示方法，其特征在于，调整信息筛选模型的输入输出的结果，还包括：
8.一种基于大数据分析的信息筛选展示系统，其特征在于，包括：处理器
...【技术特征摘要】
1.一种基于大数据分析的信息筛选展示方法，其特征在于，包括：
2.根据权利要求1所述的一种基于大数据分析的信息筛选展示方法，其特征在于，计算文本网络结构模型的第一损失函数值，得到所述文本网络结构模型的权重，包括：
3.根据权利要求1所述的一种基于大数据分析的信息筛选展示方法，其特征在于，计算图像网络结构模型的第二损失函数值，得到所述图像网络结构模型的权重，包括：
4.根据权利要求1所述的一种基于大数据分析的信息筛选展示方法，其特征在于，计算所述信息筛选模型整体的损失函数值，包括：
5.根据权利要求1所述的一种基于大数据...
【专利技术属性】
技术研发人员：李伟，林立磐，陈瑞翔，刘智国，曾俊毅，王镇彬，
申请(专利权)人：广州市省信软件有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。