为风景照配上符合其意境的诗句的方法技术

本发明专利技术公开了一种为风景照配上符合其意境的诗句的方法。该方法包括：根据识别物体的差异，把用户输入的同一张风景照分别输入到三种不同的分类器中；紧接着得到一组标签，并且根据分类结果的置信度对这些标签进行排序，排序靠前的标签，在搜索诗句时会优先满足；然后每个标签在映射表中查找关键字，接着利用关键字在搜索引擎中进行诗句搜索；最后对搜索到的诗句进行标签过滤，把意境相反的诗句给过滤掉，再用LDA进行主题加权，把主题最符合风景照意境的诗句输出到图像上。本发明专利技术结合了图像处理和自然语言处理这两个领域的先进技术，与以往的方法相比能够得到更符合风景照意境的诗句。

【技术实现步骤摘要】

本专利技术属于图像处理和自然语言处理的交叉
，具体设及一种为风景照配 上符合其意境的诗句的方法。
技术介绍
现今，社交网络非常火爆，用户已经逐渐不满足于在朋友圈等社交平台上发送文 字状态。用户为了获取更多的赞，提升自己在朋友中的影响力，通常选择发送图片状态。如 果能为图片配上符合其意境的诗句，直接写进图片中，那么该种配好诗句的图片上传到朋 友圈等社交平台上，必定能获取朋友们更多的关注和点赞。 对于为图片配上符合其意境的诗句该样一个通用框架，要实现显然不太现实，训 练图片的获取是及其困难的，计算资源的消耗也是及其巨大的。俗话说"读万卷书，行万里 路。"古代大家通常喜欢在游历祖国大江南北的同时进行诗歌创作。可W该么说，旅游某种 程度上就是诗歌的代名词。所W本专利技术W风景照为切入点，用户输入一张风景照，本专利技术能 自动为图片配上符合其意境的诗句。 当今旅游社交也如雨后春算般涌现，用户可W在旅游社交平台上发旅游照片进行 交友。国外例如英国社交化旅游主题分享平台Wayn，成立于2005年，现在用户已达2000万。 国内如捡人网，2013年9月1日上线，是中国第一个专注于旅游社交的网站，于2014年11 月拿到了 1000万A轮投资。旅游社交对于结交新朋友的帮助是巨大的，而上传照片效果的 好坏直接影响到新朋友的结交。如果在照片中嵌入符合其意境的诗句，那么必将产生非常 积极的影响。综上所述，本专利技术的前景是非常巨大的。 百度公司做过类似的为图片配诗的应用，但由于切入点不对，识别的物体过多，导 致识别准确率太低；并且不能很好地利用诗句中潜藏的主题信息，诗句没有充分过滤，导致 最后出来的诗句和图片的意境不太相符。
技术实现思路
本专利技术的目的在于克服上述现有技术的不足，充分利用风景照中的不同特征，选 择不同的分类器，从而得到更为精确的标签组合；并且充分利用诗句中潜藏的主题信息，对 诗句进行了充分过滤，最终为风景照配上了更符合其意境的诗句。 本专利技术的目的是通过W下技术方案来实现的；一种为风景照配上符合其意境的诗 句的方法，包括W下步骤：[000引 （1)训练图片的选取，具体为；首先对诗句语料库进行单词统计，选出词频排在前500名并且表达具象的词组形成集合A;然后根据风景照数据集中的标注信息，统计出现的 物体类别，选择出现频率排在前30的物体单词形成集合B ;取集合C = A n B作为要识别 的物体集合；建立整体意境的标签集合D，包括春、夏、秋、冬、白天、傍晚、黑夜、晴天、雨天； 将集合C中的行人和笑脸提取出来建立行人和笑脸的标签集合E，此时，C中已经没有行人 和笑脸标签；将标签集合C、D、E中的标签作为关键字从网上自动爬取训练图片； (2)根据步骤1中爬取的标签集合C中的图片训练脚W分类器，根据标签集合D 中的图片训练SVM分类器，根据标签集合E中的图片训练级联分类器，获得该些分类器的参 数；将用户输入的风景照分别输入到=类分类器中进行分类，产生若干标签，并按重要性对 该些标签进行排序； (3)通过捜索引擎将步骤2识别出的标签转化为诗句，并对诗句进行主题过滤和 加权，具体包括W下子步骤： (3. 1)建立关键字映射表；首先根据步骤1中对诗句语料库的词频统计，找出词频 排在前2000位的词，然后标签集合C、D、E中的每个标签分别在该些词中寻找相对应的关键 字，该样就形成了一张映射表；根据映射表将标签映射到关键字，一个标签对应一个或者多 个关键字，如果是多个关键字，随机选择一个关键字；[001引 （3.。诗句筛选，包括W下子步骤： (3. 2. 1)初始诗句的获取；得到关键字后，将该些关键字输入到捜索引擎进行捜 索，最开始使用所有的标签映射出的关键字，重复5次随机选择关键字，直到有捜索结果返 回；若5次随机选择后仍然没有结果，删掉排在最后的标签，再次重复上述过程，直到有结 果返回； (3. 2. 2)标签过滤；首先根据步骤1中对诗句语料库的词频统计，找出词频排在前 5000位的词，然后标签集合C、D、E中的每个标签分别在该些词中寻找意境相反的关键字， 该样就形成了一张相反意境映射表；根据相反意境映射表将所有识别到标签映射到多个关 键字，然后利用该些关键字过滤捜索引擎返回的一组初始诗句，把意境相反的诗句给过滤 掉； (3. 2. 3)主题加权；采用 LDA(Latent Dirichlet Allocation)模型来进行诗词主 题分类；利用吉布斯采样学习到LDA模型中的一个参数矩阵，该个参数矩阵描述了某首诗 归到不同主题下的概率，为DXK维，其中D表示诗的总数目，K表示主题数；赋予每个主题 和风景照的匹配权重Wi~W K，那么每首诗的总匹配权重可W由W下公式算出：C1) 每首诗的总匹配权重越大，被选中的概率越大，该样避免了随机选择诗句时主题 可能和风景照不相关的弊端，最终为风景照配上了符合其意境的诗句。 进一步地，所述步骤2中，利用脚W分类器识别出用户输入的风景照属于标签集合 C中的标签，包括W下子步骤： (a)超像素分割；使用过分割的方法将用户输入的图片分割成超像素，W超像素 为单位进行识别； 化）超像素特征提取：将RGB直方图+LBP(LocalBinary化ttern)作为超像素特 征，其中RGB直方图描述了超像素的颜色信息，LBP描述了超像素的纹理和边缘信息；[002U (C)分类识别获得标签；将训练数据输入到脚W分类器，首先，利用所有的训练数 据构造一个KD树，对每个需要分类的超像素，在训练数据中去寻找与它特征最相近的超像 素，并且将该些寻找到的超像素中占比最多的标签赋给需要分类的超像素；根据与最近邻 的距离来计算分类的置信度，设置阔值，将置信度低于阔值的超像素过滤掉，不赋给标签； 对用户输入的图像中的每个超像素进行分类后，统计每个标签占的比重，将比重高的标签 排在标签列表的前面。 进一步地，所述步骤2中，利用SVM分类器识别出用户输入的风景照属于标签集合 D中的标签，具体为：将RGB直方图和BoW炬ag of Word)特征作为用户输入的整幅图像的 特征；将整幅图像的特征输入到训练好的季节的SVM分类器中，识别出初夏秋冬四种季节； 将整幅图像的特征输入到训练好的天气的SVM分类器中，识别出晴天雨天两种天气；将整 幅图像的特征输入到训练好的时间的SVM分类器中，识别出白天傍晚黑夜S种时间。[002引进一步地，所述步骤2中，利用级联分类器识别出用户输入的风景照属于标签集 合E中的标签，具体为：通过级联分类器+Haar特征检测笑脸，通过级联分类器+H0G特征检 测行人。 本专利技术具有的有益效果是；充分利用风景照中的不同特征，选择不同的分类器，从 而得到更为精确的标签组合；并且充分利用诗句中潜藏的主题信息，对诗句进行了充分过 滤，从而为风景照配上了更符合其意境的诗句，最终极大地提升了用户体验。【附图说明】图1为超像素分割结果图； 图2为笑脸识别示意图； 图3为分类器和捜索引擎的流程图；[002引图4为通过本专利技术方法对风景照配诗的效果图1 ; 图5为通过本专利技术方法对风景照配诗的效果图2; 图6为通过本专利技术方法对风景照配诗的效果图3。【具体实施方式】 下面结合附图与实施例对本专利技术作进行进一当前第1页1本文档来自技高网...

【技术保护点】
一种为风景照配上符合其意境的诗句的方法，其特征在于，包括如下步骤：(1)训练图片的选取，具体为：首先对诗句语料库进行单词统计，选出词频排在前500名并且表达具象的词组形成集合A；然后根据风景照数据集中的标注信息，统计出现的物体类别，选择出现频率排在前30的物体单词形成集合B；取集合C＝A∩B作为要识别的物体集合；建立整体意境的标签集合D，包括春、夏、秋、冬、白天、傍晚、黑夜、晴天、雨天；将集合C中的行人和笑脸提取出来建立行人和笑脸的标签集合E，此时，C中已经没有行人和笑脸标签；将标签集合C、D、E中的标签作为关键字从网上自动爬取训练图片；(2)根据步骤1中爬取的标签集合C中的图片训练KNN分类器，根据标签集合D中的图片训练SVM分类器，根据标签集合E中的图片训练级联分类器，获得这些分类器的参数；将用户输入的风景照分别输入到三类分类器中进行分类，产生若干标签，并按重要性对这些标签进行排序；(3)通过搜索引擎将步骤2识别出的标签转化为诗句，并对诗句进行主题过滤和加权，具体包括以下子步骤：(3.1)建立关键字映射表：首先根据步骤1中对诗句语料库的词频统计，找出词频排在前2000位的词，然后标签集合C、D、E中的每个标签分别在这些词中寻找相对应的关键字，这样就形成了一张映射表；根据映射表将标签映射到关键字，一个标签对应一个或者多个关键字，如果是多个关键字，随机选择一个关键字；(3.2)诗句筛选，包括以下子步骤：(3.2.1)初始诗句的获取：得到关键字后，将这些关键字输入到搜索引擎进行搜索，最开始使用所有的标签映射出的关键字，重复5次随机选择关键字，直到有搜索结果返回；若5次随机选择后仍然没有结果，删掉排在最后的标签，再次重复上述过程，直到有结果返回；(3.2.2)标签过滤：首先根据步骤1中对诗句语料库的词频统计，找出词频排在前5000位的词，然后标签集合C、D、E中的每个标签分别在这些词中寻找意境相反的关键字，这样就形成了一张相反意境映射表；根据相反意境映射表将所有识别到标签映射到多个关键字，然后利用这些关键字过滤搜索引擎返回的一组初始诗句，把意境相反的诗句给过滤掉；(3.2.3)主题加权：采用LDA(Latent Dirichlet Allocation)模型来进行诗词主题分类；利用吉布斯采样学习到LDA模型中的一个参数矩阵，这个参数矩阵描述了某首诗归到不同主题下的概率，为D×K维，其中D表示诗的总数目，K表示主题数；赋予每个主题和风景照的匹配权重w1～wK，那么每首诗的总匹配权重可以由以下公式算出：W(dj)=Σi=1Kwi×P(ki|dj)---(1)]]>每首诗的总匹配权重越大，被选中的概率越大，这样避免了随机选择诗句时主题可能和风景照不相关的弊端，最终为风景照配上了符合其意境的诗句。...

【技术特征摘要】

【专利技术属性】
技术研发人员：莫凡，赖百胜，张政，龚小谨，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33