一种基于网页的图像获取方法及装置制造方法及图纸

本发明专利技术实施例公开了一种基于网页的图像获取方法及装置，确定所抓取的网页信息中的每张图像的位置，针对每个位置，识别与该位置相关联的正文内容，并根据正文内容，确定该位置处的图像的第二图像主题，如果该位置处的图像的第二图像主题与用户所要获取图像的图像主题(第一图像主题)的关联度满足预设规则，则获取该位置处的图像；第一方面，本方案中不是仅将网页信息与第一图像主题进行关联，而是将网页信息中各张图像的第二图像主题与第一图像主题进行关联，仅获取与第一图像主题相关联的图像，提高了获取图像的准确性；第二方面，根据网页信息中与图像所在位置相关联的正文内容，确定图像的第二图像主题，提高了确定图像主题的准确性。

An Image Acquisition Method and Device Based on Web Page

【技术实现步骤摘要】
一种基于网页的图像获取方法及装置
本专利技术涉及互联网
，特别涉及一种基于网页的图像获取方法及装置。
技术介绍
目前，现有方案已经可以实现根据用户需要，自动获取互联网网页中的视频图像、或者单张图像等图像资源。现有的图像获取方案一般包括：首先确定用户所要获取图像的图像主题，然后在互联网网页中，抓取该图像主题相关的网页信息，下载该网页信息中的全部图像资源。上述方案中，虽然抓取了与图像主题相关的网页信息，但是这些网页信息中的图像资源并不都与图像主题有关，也就是说，上述方案下载的图像资源中，有一部分并不是用户所需要的，获取图像的准确性较差。
技术实现思路
本专利技术实施例的目的在于提供一种基于网页的图像获取方法及装置，提高获取图像的准确性。为达到上述目的，本专利技术实施例公开了一种基于网页的图像获取方法，包括：确定待获取图像的第一图像主题；在网络中抓取网页信息；确定所述网页信息中的每张图像的位置；针对所确定的每个位置，识别与该位置相关联的正文内容，并根据所述正文内容，确定该位置处的图像的第二图像主题；计算所述第二图像主题与所述第一图像主题的关联度；若所述关联度满足预设规则，获取该位置处的图像。可选的，所述针对所确定的每个位置，识别与该位置相关联的正文内容，可以包括：针对所确定的每个位置，确定与该位置的距离在预设范围内的文本内容；识别所述文本内容中的正文内容，作为与该位置相关联的正文内容。可选的，所述针对所确定的每个位置，确定与该位置的距离在预设范围内的文本内容，可以包括：针对所确定的每个位置，以该位置为起点，前后搜索预设数量个逻辑行；所述识别所述文本内容中的正文内容，作为与该位置相关联的正文内容，包括：针对搜索到的每个逻辑行，判断该逻辑行是否为正文内容；如果是，将该逻辑行作为与该位置相关联的正文内容。可选的，所述判断该逻辑行是否为正文内容，包括：确定该逻辑行中包含超文本标记语言标签的文本字节数；如果所述文本字节数小于第一预设阈值，表示该逻辑行为正文内容；或者，确定该逻辑行的标签文本比率，所述标签文本比率为：包含超文本标记语言标签的文本字节数与逻辑行总字节数的比率；如果所述标签文本比率小于第二预设阈值，表示该逻辑行为正文内容；或者，确定该逻辑行的超链接比率，所述超链接比率为：超链接字节数与总字节数的比率；如果所述超链接比率小于第三预设阈值，表示该逻辑行为正文内容；或者，确定该逻辑行的所述文本字节数、所述标签文本比率及所述超链接比率；如果所述文本字节数小于第一预设阈值，所述标签文本比率小于第二预设阈值，并且所述超链接比率小于第三预设阈值，表示该逻辑行为正文内容。可选的，所述根据所述正文内容，确定该位置处的图像的第二图像主题，可以包括：针对所述正文内容中的每个逻辑行，根据该逻辑行的文本字节数和/或标签文本比率和/或超链接比率、以及所述逻辑行与该图像的距离，确定该逻辑行的权重；根据所述正文内容中的每个逻辑行的内容及权重，确定该位置处的图像的第二图像主题。可选的，所述根据所述正文内容，确定该位置处的图像的第二图像主题，可以包括：获取以下内容中的一种或多种：所抓取网页信息的网页标题、所述网页信息中各张图像的图像标题、所述各张图像的图像标签属性；将所获取的内容、以及所述正文内容输入预先构建的向量模型，得到该位置处的图像的第二图像主题；其中，所述向量模型中包含各个输入项对应的权重。可选的，所述计算所述第二图像主题与所述第一图像主题的关联度，包括：计算所述第二图像主题与所述第一图像主题的直接关联度；获取所述第二图像主题与所述第一图像主题的间接关联度，所述间接关联度为：所述网页信息的上级网页信息与所述第一图像主题的关联度；结合所述直接关联度及所述间接关联度，计算所述第二图像主题与所述第一图像主题的关联度。可选的，所述确定所述网页信息中的每张图像的位置，可以包括：过滤所述网页信息中的噪音信息；在过滤后的网页信息中，确定每张图像的位置。为达到上述目的，本专利技术实施例还公开了一种基于网页的图像获取装置，包括：第一确定模块，用于确定待获取图像的第一图像主题；抓取模块，用于在网络中抓取网页信息；第二确定模块，用于确定所述网页信息中的每张图像的位置；识别模块，用于针对所确定的每个位置，识别与该位置相关联的正文内容；第三确定模块，用于根据所述正文内容，确定该位置处的图像的第二图像主题；计算模块，用于计算所述第二图像主题与所述第一图像主题的关联度；获取模块，用于在所述关联度满足预设规则的情况下，获取该位置处的图像。可选的，所述识别模块，可以包括：确定子模块，用于针对所确定的每个位置，确定与该位置的距离在预设范围内的文本内容；识别子模块，用于识别所述文本内容中的正文内容，作为与该位置相关联的正文内容。可选的，所述确定子模块，具体可以用于：针对所确定的每个位置，以该位置为起点，前后搜索预设数量个逻辑行；所述识别子模块，具体可以用于：针对搜索到的每个逻辑行，判断该逻辑行是否为正文内容；如果是，将该逻辑行作为与该位置相关联的正文内容。可选的，所述识别子模块，具体可以用于：针对搜索到的每个逻辑行，确定该逻辑行中包含超文本标记语言标签的文本字节数；如果所述文本字节数小于第一预设阈值，表示该逻辑行为正文内容，将该逻辑行作为与该位置相关联的正文内容；或者，针对搜索到的每个逻辑行，确定该逻辑行的标签文本比率，所述标签文本比率为：包含超文本标记语言标签的文本字节数与逻辑行总字节数的比率；如果所述标签文本比率小于第二预设阈值，表示该逻辑行为正文内容，将该逻辑行作为与该位置相关联的正文内容；或者，针对搜索到的每个逻辑行，确定该逻辑行的超链接比率，所述超链接比率为：超链接字节数与总字节数的比率；如果所述超链接比率小于第三预设阈值，表示该逻辑行为正文内容，将该逻辑行作为与该位置相关联的正文内容；或者，针对搜索到的每个逻辑行，确定该逻辑行的所述文本字节数、所述标签文本比率及所述超链接比率；如果所述文本字节数小于第一预设阈值，所述标签文本比率小于第二预设阈值，并且所述超链接比率小于第三预设阈值，表示该逻辑行为正文内容，将该逻辑行作为与该位置相关联的正文内容。可选的，所述第三确定模块，具体可以用于：针对所述正文内容中的每个逻辑行，根据该逻辑行的文本字节数和/或标签文本比率和/或超链接比率、以及所述逻辑行与该图像的距离，确定该逻辑行的权重；根据所述正文内容中的每个逻辑行的内容及权重，确定该位置处的图像的第二图像主题。可选的，所述第三确定模块，具体可以用于：获取以下内容中的一种或多种：所抓取网页信息的网页标题、所述网页信息中各张图像的图像标题、所述各张图像的图像标签属性；将所获取的内容、以及所述正文内容输入预先构建的向量模型，得到该位置处的图像的第二图像主题；其中，所述向量模型中包含各个输入项对应的权重。可选的，所述计算模块，具体可以用于：计算所述第二图像主题与所述第一图像主题的直接关联度；获取所述第二图像主题与所述第一图像主题的间接关联度，所述间接关联度为：所述网页信息的上级网页信息与所述第一图像主题的关联度；结合所述直接关联度及所述间接关联度，计算所述第二图像主题与所述第一图像主题的关联度。可选的，所述第二确定模块，具体可以用于：过滤所述网页信息中的噪音信息；在过滤后的网页信本文档来自技高网...

【技术保护点】
1.一种基于网页的图像获取方法，其特征在于，包括：确定待获取图像的第一图像主题；在网络中抓取网页信息；确定所述网页信息中的每张图像的位置；针对所确定的每个位置，识别与该位置相关联的正文内容，并根据所述正文内容，确定该位置处的图像的第二图像主题；计算所述第二图像主题与所述第一图像主题的关联度；若所述关联度满足预设规则，获取该位置处的图像。

【技术特征摘要】
1.一种基于网页的图像获取方法，其特征在于，包括：确定待获取图像的第一图像主题；在网络中抓取网页信息；确定所述网页信息中的每张图像的位置；针对所确定的每个位置，识别与该位置相关联的正文内容，并根据所述正文内容，确定该位置处的图像的第二图像主题；计算所述第二图像主题与所述第一图像主题的关联度；若所述关联度满足预设规则，获取该位置处的图像。2.根据权利要求1所述的方法，其特征在于，所述针对所确定的每个位置，识别与该位置相关联的正文内容，包括：针对所确定的每个位置，确定与该位置的距离在预设范围内的文本内容；识别所述文本内容中的正文内容，作为与该位置相关联的正文内容。3.根据权利要求2所述的方法，其特征在于，所述针对所确定的每个位置，确定与该位置的距离在预设范围内的文本内容，包括：针对所确定的每个位置，以该位置为起点，前后搜索预设数量个逻辑行；所述识别所述文本内容中的正文内容，作为与该位置相关联的正文内容，包括：针对搜索到的每个逻辑行，判断该逻辑行是否为正文内容；如果是，将该逻辑行作为与该位置相关联的正文内容。4.根据权利要求3所述的方法，其特征在于，所述判断该逻辑行是否为正文内容，包括：确定该逻辑行中包含超文本标记语言标签的文本字节数；如果所述文本字节数小于第一预设阈值，表示该逻辑行为正文内容；或者，确定该逻辑行的标签文本比率，所述标签文本比率为：包含超文本标记语言标签的文本字节数与逻辑行总字节数的比率；如果所述标签文本比率小于第二预设阈值，表示该逻辑行为正文内容；或者，确定该逻辑行的超链接比率，所述超链接比率为：超链接字节数与总字节数的比率；如果所述超链接比率小于第三预设阈值，表示该逻辑行为正文内容；或者，确定该逻辑行的所述文本字节数、所述标签文本比率及所述超链接比率；如果所述文本字节数小于第一预设阈值，所述标签文本比率小于第二预设阈值，并且所述超链接比率小于第三预设阈值，表示该逻辑行为正文内容。5.根据权利要求4所述的方法，其特征在于，所述根据所述正文内容，确定该位置处的图像的第二图像主题，包括：针对所述正文内容中的每个逻辑行，根据该逻辑行的文本字节数和/或标签文本比率和/或超链接比率、以及所述逻辑行与该图像的距离，确定该逻辑行的权重；根据所述正文内容中的每个逻辑行的内容及权重，确定该位置处的图像的第二图像主题。6.根据权利要求1所述的方法，其特征在于，所述根据所述正文内容，确定该位置处的图像的第二图像主题，包括：获取以下内容中的一种或多种：所抓取网页信息的网页标题、所述网页信息中各张图像的图像标题、所述各张图像的图像标签属性；将所获取的内容、以及所述正文内容输入预先构建的向量模型，得到该位置处的图像的第二图像主题；其中，所述向量模型中包含各个输入项对应的权重。7.根据权利要求1所述的方法，其特征在于，所述计算所述第二图像主题与所述第一图像主题的关联度，包括：计算所述第二图像主题与所述第一图像主题的直接关联度；获取所述第二图像主题与所述第一图像主题的间接关联度，所述间接关联度为：所述网页信息的上级网页信息与所述第一图像主题的关联度；结合所述直接关联度及所述间接关联度，计算所述第二图像主题与所述第一图像主题的关联度。8.根据权利要求1所述的方法，其特征在于，所述确定所述网页信息中的每张图像的位置，包括：过滤所述网页信息中的噪音信息；在过滤后的网页信息中，确定每张图像的位置。9.一种基于网页的图像获取装置，其特征在于，包括：第一确定模块，用于确定待获取图像的第一图像主题；抓取模块，用于在网络中抓取网页信息；第二确定模块，用于确定所述网页信息中的每张图像的位置；识别模块，...

【专利技术属性】
技术研发人员：管国辰，刘中军，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江,33