【技术实现步骤摘要】
本申请涉及互联网，特别是涉及一种网页分析方法、装置、设备及介质。
技术介绍
1、如今，互联网已成为人们获取信息、进行交流和娱乐的主要平台。互联网上的信息多以网页的形式存在，这些网页可以包括文本、图片、视频等多种多样的多模态信息，如何对包括多模态信息的网页进行深入地理解和分析相当具有挑战性。
2、相关技术中，通常是先将需要进行分析的网页进行截图后，根据网页截图构建网页分析模型，从而根据网页分析模型执行网页的分析操作。
3、然而，随着网页变得越来越复杂，网页截图的尺寸会越来越大、元素越来越多，仅通过单一的网页截图对网页进行分析，容易造成有用的信息丢失、无用的信息保留的误判状况，从而降低了网页分析的效率和准确率。
技术实现思路
1、本申请提供了一种网页分析方法、装置、设备及介质，能够提升网页分析的效率和准确率。
2、本申请公开了如下技术方案：
3、第一方面，本申请提供了一种网页分析方法，该方法包括：
4、获取待分析网页的图像信息和文档对象模型dom信息；
5、将所述图像信息和dom信息输入至对齐模型，通过所述对齐模型将所述图像信息和所述dom信息进行对齐融合，得到待分析信息；
6、将所述待分析信息输入多模态模型，通过所述多模态模型对所述待分析信息进行分析，得到网页分析结果。
7、可选的，所述获取待分析网页的图像信息和文档对象模型dom信息，包括：
8、获取待分析网页；
10、可选的，所述将所述待分析网页分别输入至图像模型和dom模型中，得到所述待分析网页的图像信息和dom信息，包括：
11、将所述待分析网页的网页图像输入至图像模型，根据所述网页图像的图像特征，得到所述待分析网页的图像信息，所述图像特征包括颜色特征、大小特征和轮廓特征中的一种或多种；
12、将所述待分析网页的dom输入至dom模型，根据所述dom的dom特征，得到所述待分析网页的dom信息，所述dom特征包括标签特征、属性特征和文本特征中的一种或多种。
13、可选的，所述将所述图像信息和dom信息输入至对齐模型，通过所述对齐模型将所述图像信息和所述dom信息进行对齐融合，得到待分析信息，包括：
14、获取所述待分析图像的网页渲染信息；
15、将所述图像信息、所述dom信息和所述网页渲染信息输入至对齐模型，通过所述对齐模型将所述图像信息、所述dom信息和所述网页渲染信息进行对齐融合，得到待分析信息。
16、可选的，所述通过所述多模态模型对所述待分析信息进行分析，得到网页分析结果，包括：
17、通过所述多模态模型对所述待分析信息进行分类，得到分类结果，所述分类结果包括文本类别、图像类别、按钮类别、链接类别和输入框类别中的一种或多种。
18、可选的，所述通过所述多模态模型对所述待分析信息进行分析，得到网页分析结果，包括：
19、通过所述多模态模型对所述待分析信息进行分析，生成所述待分析信息的文本注释。
20、可选的，所述通过所述多模态模型对所述待分析信息进行分析，得到网页分析结果，包括：
21、通过所述多模态模型对多个所述待分析信息进行关联，得到关联结果，所述关联结果与多个所述待分析信息的层次结构或相对位置相关。
22、第二方面，本申请提供了一种网页分析装置，该装置包括：获取模块、对齐模块和分析模块；
23、所述获取模块，用于获取待分析网页的图像信息和文档对象模型dom信息；
24、所述对齐模块，用于将所述图像信息和dom信息输入至对齐模型，通过所述对齐模型将所述图像信息和所述dom信息进行对齐融合，得到待分析信息；
25、所述分析模块，用于将所述待分析信息输入多模态模型，通过所述多模态模型对所述待分析信息进行分析，得到网页分析结果。
26、可选的，所述获取模块，包括：第一获取子模块和第二获取子模块；
27、所述第一获取子模块，用于获取待分析网页；
28、所述第二获取子模块，用于将所述待分析网页分别输入至图像模型和dom模型中，得到所述待分析网页的图像信息和dom信息。
29、可选的，所述第二获取子模块，包括：图像获取子模块和dom获取子模块；
30、所述图像获取子模块，用于将所述待分析网页的网页图像输入至图像模型，根据所述网页图像的图像特征，得到所述待分析网页的图像信息，所述图像特征包括颜色特征、大小特征和轮廓特征中的一种或多种；
31、所述dom获取子模块，用于将所述待分析网页的dom输入至dom模型，根据所述dom的dom特征，得到所述待分析网页的dom信息，所述dom特征包括标签特征、属性特征和文本特征中的一种或多种。
32、可选的，所述对齐模块，包括：第一对齐子模块和第二对齐子模块；
33、所述第一对齐子模块，用于获取所述待分析图像的网页渲染信息；
34、所述第二对齐子模块，用于将所述图像信息、所述dom信息和所述网页渲染信息输入至对齐模型，通过所述对齐模型将所述图像信息、所述dom信息和所述网页渲染信息进行对齐融合，得到待分析信息。
35、可选的，所述分析模块具体用于：通过所述多模态模型对所述待分析信息进行分类，得到分类结果，所述分类结果包括文本类别、图像类别、按钮类别、链接类别和输入框类别中的一种或多种。
36、可选的，所述分析模块具体用于：通过所述多模态模型对所述待分析信息进行分析，生成所述待分析信息的文本注释。
37、可选的，所述分析模块具体用于：通过所述多模态模型对多个所述待分析信息进行关联，得到关联结果，所述关联结果与多个所述待分析信息的层次结构或相对位置相关。
38、第三方面，本申请提供了一种网页分析设备，包括：存储器和处理器；
39、所述存储器，用于存储程序；
40、所述处理器，用于执行所述计算机程序时实现上述网页分析方法的步骤。
41、第四方面，本申请提供了一种计算机可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现上述网页分析方法的步骤。
42、相较于现有技术，本申请具有以下有益效果：
43、本申请提供了一种网页分析方法、装置、设备及介质，该方法包括：获取待分析网页的图像信息和文档对象模型dom信息；将图像信息和dom信息输入至对齐模型，通过对齐模型将图像信息和dom信息进行对齐融合，得到待分析信息；将待分析信息输入多模态模型，通过多模态模型对待分析信息进行分析，得到网页分析结果。由此，通过待分析网页的图像信息和dom信息进行对齐后，输入至多模态模型共同进行网页的分析，可以将待分本文档来自技高网...
【技术保护点】
1.一种网页分析方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述获取待分析网页的图像信息和文档对象模型DOM信息，包括：
3.根据权利要求2所述的方法，其特征在于，所述将所述待分析网页分别输入至图像模型和DOM模型中，得到所述待分析网页的图像信息和DOM信息，包括：
4.根据权利要求1所述的方法，其特征在于，所述将所述图像信息和DOM信息输入至对齐模型，通过所述对齐模型将所述图像信息和所述DOM信息进行对齐融合，得到待分析信息，包括：
5.根据权利要求1所述的方法，其特征在于，所述通过所述多模态模型对所述待分析信息进行分析，得到网页分析结果，包括：
6.根据权利要求1所述的方法，其特征在于，所述通过所述多模态模型对所述待分析信息进行分析，得到网页分析结果，包括：
7.根据权利要求1所述的方法，其特征在于，所述通过所述多模态模型对所述待分析信息进行分析，得到网页分析结果，包括：
8.一种网页分析装置，其特征在于，所述装置包括：获取模块、对齐模块和分析模块；
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。