基于强化学习的遥感影像推荐系统及方法技术方案

本发明专利技术提供一种基于强化学习的遥感影像推荐系统及方法，涉及数据挖掘和推荐技术领域，所述系统包括影像集获取模块、强化学习模块、用户反馈模块，其中，强化学习模块包括奖励模块、动作模块、状态模块、影像库模块、特征提取模块、特征融合模块。本发明专利技术结合强化学习和用户反馈，构建了合理的遥感影像反馈式推荐系统，能够实现实时的反馈式遥感影像推荐，基于用户的反馈内容提供符合用户偏好的影像推荐。用户的反馈内容提供符合用户偏好的影像推荐。用户的反馈内容提供符合用户偏好的影像推荐。

【技术实现步骤摘要】
基于强化学习的遥感影像推荐系统及方法


[0001]本专利技术涉及数据挖掘和推荐
，尤其涉及一种基于强化学习的遥感影像推荐系统及方法。

技术介绍

[0002]网络的普及给用户带来了大量的信息，满足了用户对信息的需求，但随着网络上信息的大幅增长，对于用户来说，这些信息中可能仅有小部分是需要的信息，很难从大量的信息中获取到所需的信息，这样就导致了信息超载的问题。为了解决信息超载的问题，推荐系统应运而生，推荐系统可以根据用户的需求和偏好给用户推荐感兴趣的信息、商品等。
[0003]在传统的推荐方式中，需要用户对商品的评价信息来体现用户对商品的偏好。而遥感影像与一般的商品或图片不同，遥感影像以景为单位，每景影像覆盖了大面积的真实地面，如资源三号卫星一景标准景面积是50公里
×
50公里幅宽、高分一号卫星一景标准景面积是32.5公里
×
32.5公里幅宽、高分二号卫星一景标准景面积是23.5公里
×
23.5公里幅宽。遥感影像包含的内容复杂繁多，对于整景遥感影像，用户难以给出一个完整客观且一致的评价，因而无法使用传统的推荐方式实现遥感影像推荐。目前在遥感领域尚未出现任何较为合理可行的推荐系统。

技术实现思路

[0004]基于上述技术问题，本专利技术提供的基于强化学习的遥感影像推荐系统能够根据用户的实时偏好进行推荐策略的调整，避免了冷启动问题；通过本专利技术的强化学习系统实现了兼顾影像全局特征和局部特征的影像推荐。
[0005]为达到上述技术目的，本专利技术提供一种基于强化学习的遥感影像推荐系统，所述系统包括影像集获取模块、强化学习模块、用户反馈模块：所述影像集获取模块用于获取推荐影像候选集和初始目标区域；所述强化学习模块用于根据初始目标区域在推荐影像候选集中进行逐张影像选取，得到推荐影像集；所述用户反馈模块用于获取用户对推荐影像集的用户反馈，基于用户反馈并结合推荐影像候选集得到筛选影像集或推荐结果；所述强化学习模块和所述用户反馈模块在执行时为迭代过程，直至接收到用户停止推荐请求，停止迭代，所述用户反馈模块输出推荐结果，其中，所述用户停止推荐请求由所述用户反馈模块输出得到；其中，所述强化学习模块包括：奖励模块，用于构建强化学习的奖励项和回报函数；动作模块，用于构建强化学习的动作空间，动作空间中的动作为从推荐影像候选集中逐个选取推荐影像；状态模块，用于构建强化学习的状态空间，状态空间由已选取的推荐影像和未覆
盖的目标区域经向量化后构成，其中，未覆盖的目标区域为从初始目标区域上去除已选取的推荐影像所覆盖的区域后的区域，输出推荐影像集；影像库模块，用于存储筛选影像集并对其进行更新；特征提取模块，用于对筛选影像集中的影像进行前景和后景特征提取，得到筛选影像集中的前景特征和后景特征；特征融合模块，用于对筛选影像集中的单张影像的前景特征和后景特征进行特征融合，得到该单张影像的融合特征，进而得到筛选影像集中所有影像的融合特征集，对融合特征集进行聚类处理，得到的聚类中心作为融合聚类特征，并基于统计方法得到每个融合聚类特征对应的聚类程度值。
[0006]可选地，所述用户反馈模块，包括：判定单元，用于接收用户的推荐请求并对其进行判定，所述用户的推荐请求为用户继续推荐请求或用户停止推荐请求，当推荐请求为用户继续推荐请求时跳转至影像筛选单元，当推荐请求为用户停止推荐请求时跳转至输出单元；影像筛选单元，用于获取用户的影像筛选反馈，用户的影像筛选反馈为用户根据个人喜好从推荐影像集和推荐影像候选集中进行影像筛选，得到筛选影像集；输出单元，用于输出用户停止推荐请求，所述用户停止推荐请求为第一停止推荐请求或第二停止推荐请求，所述第一停止推荐请求为停止推荐并输出推荐结果，所述第二停止推荐请求为停止推荐并进行替换后输出推荐结果。
[0007]可选地，所述特征提取模块，包括：前景特征提取单元，用于对筛选影像集中的影像进行前景特征提取，得到每张影像的前景特征，所述前景特征的提取方法为使用显著性检测网络获取影像的前景掩膜，对前景掩膜进行特征提取；后景特征提取单元，用于对筛选影像集中的影像进行后景特征提取，得到每张影像的后景特征；所述前景特征和后景特征的提取方法包括HOG、SIFT、ORB、直方图、灰度共生矩阵、局部二值模式、Gabor、SURF、Harris和深度学习方法。
[0008]可选地，所述特征融合模块，包括：融合单元，用于对筛选影像集中的每张影像的前景特征和后景特征进行特征融合，得到每张影像的融合特征；聚类单元，用于对所述融合特征进行聚类处理，得到融合聚类特征和其对应的聚类程度值，其中，筛选影像集中的每张影像对每个融合聚类特征都有其相应的聚类程度值，即，其中，为聚类程度函数，为第i类融合聚类特征，I为影像，为影像I对应的第i类融合聚类特征的聚类程度值。
[0009]可选地，所述奖励模块，包括：奖励单元，用于构建强化学习的奖励项，奖励，其中，为影像质量奖励项、为影像覆盖率奖励项、为影像时相奖励项，为用户反馈奖励项，、、和为权重系数；
回报函数单元，用于构建强化学习的回报函数，并根据奖励进行回报函数更新：；动态奖励更新单元，用于更新用户反馈奖励项的奖励值。
[0010]可选地，所述动态奖励更新单元，包括：特征提取单元，用于对推荐影像候选集进行特征提取；特征相似度计算单元，用于将推荐影像候选集中每张影像的特征分别与融合聚类特征一一进行相似度计算；反馈奖励单元，用于根据相似度的计算结果选取与单张影像的特征的相似度最大的融合聚类特征，作为该单张影像的相似融合聚类特征，将相似融合聚类特征对应的聚类程度值以及最大相似度作为相应的该单张影像的用户反馈奖励。
[0011]可选地，所述各奖励项还对应其奖励值：r(q)={(优,+1),(差,
‑
3)}，表示当前动作选取的推荐影像质量优时奖励值为+1，当前动作选取的推荐影像质量差时奖励值为
‑
1；r(c)={(大,+2),(小,
‑
1)}，表示当前动作选取的推荐影像对未覆盖的目标区域的覆盖率大于等于覆盖率阈值时奖励值为+1，当前动作选取的推荐影像对未覆盖的目标区域的覆盖率小于覆盖率阈值时奖励值为
‑
1；r(t)={(相近,+1),(不相近,
‑
1)}，表示当前动作选取的推荐影像与其余的已选取的推荐影像的时相相近时奖励值为+1，当前动作选取的推荐影像与其余的已选取的推荐影像的时相不相近时奖励值为
‑
1；其中，为单张影像的特征与融合聚类特征的最大相似度，为该单张影像的相似融合聚类特征对应的聚类程度值，为奖励范围系数，其决定了用户反馈奖励的范围，为惩罚系数，其决定了奖励中负奖励的占比。
[0012]另外，本专利技术还提供一种基于强化学习的遥感影像推荐方法，所述方法应用于上述所述的系统中。
[0013]本专利技术提出了一种基于强化学习的遥感影像推荐系统。该系统包括影像集获取模块、强化学习模块、用户反馈模块，其中，强化学习模块包括奖本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的遥感影像推荐系统，其特征在于，包括影像集获取模块、强化学习模块、用户反馈模块：所述影像集获取模块用于获取推荐影像候选集和初始目标区域；所述强化学习模块用于根据初始目标区域在推荐影像候选集中进行逐张影像选取，得到推荐影像集；所述用户反馈模块用于获取用户对推荐影像集的用户反馈，基于用户反馈并结合推荐影像候选集得到筛选影像集或推荐结果；所述强化学习模块和所述用户反馈模块在执行时为迭代过程，直至接收到用户停止推荐请求，停止迭代，所述用户反馈模块输出推荐结果，其中，所述用户停止推荐请求由所述用户反馈模块输出得到；其中，所述强化学习模块包括：奖励模块，用于构建强化学习的奖励项和回报函数；动作模块，用于构建强化学习的动作空间，动作空间中的动作为从推荐影像候选集中逐个选取推荐影像；状态模块，用于构建强化学习的状态空间，状态空间由已选取的推荐影像和未覆盖的目标区域经向量化后构成，其中，未覆盖的目标区域为从初始目标区域上去除已选取的推荐影像所覆盖的区域后的区域，输出推荐影像集；影像库模块，用于存储筛选影像集并对其进行更新；特征提取模块，用于对筛选影像集中的影像进行前景和后景特征提取，得到筛选影像集中的前景特征和后景特征；特征融合模块，用于对筛选影像集中的单张影像的前景特征和后景特征进行特征融合，得到该单张影像的融合特征，进而得到筛选影像集中所有影像的融合特征集，对融合特征集进行聚类处理，得到的聚类中心作为融合聚类特征，并基于统计方法得到每个融合聚类特征对应的聚类程度值。2.根据权利要求1所述的基于强化学习的遥感影像推荐系统，其特征在于，所述用户反馈模块，包括：判定单元，用于接收用户的推荐请求并对其进行判定，所述用户的推荐请求为用户继续推荐请求或用户停止推荐请求，当推荐请求为用户继续推荐请求时跳转至影像筛选单元，当推荐请求为用户停止推荐请求时跳转至输出单元；影像筛选单元，用于获取用户的影像筛选反馈，用户的影像筛选反馈为用户根据个人喜好从推荐影像集和推荐影像候选集中进行影像筛选，得到筛选影像集；输出单元，用于输出用户停止推荐请求，所述用户停止推荐请求为第一停止推荐请求或第二停止推荐请求，所述第一停止推荐请求为停止推荐并输出推荐结果，所述第二停止推荐请求为停止推荐并进行替换后输出推荐结果。3.根据权利要求1所述的基于强化学习的遥感影像推荐系统，其特征在于，所述特征提取模块，包括：前景特征提取单元，用于对筛选影像集中的影像进行前景特征提取，得到每张影像的前景特征，所述前景特征的提取方法为使用显著性检测网络获取影像的前景掩膜，对前景掩膜进行特征提取；
后景特征提取单元，用于对筛选影像集中的影像进行后景特征提取，得到每张影像的后景特征；所述前景特征和后景特征的提取方法包括HOG、SIFT、ORB、直方图、灰度共生矩阵、局部二值模式、Gabor、SURF、Ha...

【专利技术属性】
技术研发人员：陈宇，彭哲，段红伟，邹圣兵，
申请(专利权)人：北京数慧时空信息技术有限公司，
类型：发明
国别省市：