【技术实现步骤摘要】
本专利技术涉及互联网，尤其涉及一种旅拍图文的评估方法及模型训练方法、系统、设备和介质。
技术介绍
1、传统的图像质量评估方法通常侧重于图像的清晰度和色彩，而在旅拍场景下，图像质量更应该关注内容和构图。例如，一张图像的质量应该受到旅行目的地的景色、拍摄对象的构图等因素的影响。传统的图像质量评估方法无法准确捕捉这些关键因素。同时，旅拍场景中的文本是旅拍图文的重要组成部分。在旅拍场景中，文本的质量不仅仅取决于语法和语义，还取决于它是否是与旅行相关的有意义内容。传统的质量评估方法无法满足旅拍场景下的评估标准，无法对旅拍场景下的旅拍图文进行全面地质量评估。
技术实现思路
1、本专利技术要解决的技术问题是为了克服现有技术中图文质量评估方法无法更加关注图像的内容和构图、文本与旅行的相关程度并进行有效准确的质量评估的缺陷，提供一种旅拍图文的评估方法及模型训练方法、系统、设备和介质。
2、本专利技术是通过下述技术方案来解决上述技术问题：
3、第一方面，提供一种旅拍图文的评估方法，所述旅拍图文包括旅拍图像和旅行笔记文本；所述旅拍图文的评估方法包括：
4、将所述旅拍图像输入图像质量评估模型，以由所述图像质量评估模型从所述旅拍图像中提取图像内容特征和图像构图特征，并根据所述图像内容特征和图像构图特征得到图像质量分数；所述图像质量评估模型利用标注有所述图像质量分数的图像样本训练得到；所述图像质量分数用于表征所述旅拍图像的内容和构图的质量；
5、将所述旅行笔记文
6、根据所述图像质量分数和所述文本质量分数确定旅拍图文质量序列；
7、基于所述旅拍图文质量序列，得出旅拍图文质量分数。
8、可选地，所述将所述旅拍图像输入图像质量评估模型的步骤，包括：
9、沿所述旅拍图像的最小边缘方向将所述旅拍图像放大至预设像素值，得到放大图像；
10、对所述放大图像进行切块，得到图像块；
11、对所述图像块进行填充，以使所述图像块的尺寸达到预设尺寸。
12、可选地，所述图像质量评估模型包括：图像特征提取层和提示词特征提取层；所述将所述旅拍图像输入图像质量评估模型的步骤，包括：
13、在所述旅拍图像中以预设步长为间隔，获取预设数量的图像块，并输入所述图像特征提取层，得到图像特征；其中，所述预设步长通过所述图像块的数量计算得到；
14、将预设提示词输入所述提示词特征提取层，得到与所述预设提示词相匹配的提示词特征；
15、计算所述图像特征与所述提示词特征的相似度；
16、根据所述相似度确定所述图像质量分数。
17、可选地，所述旅拍图像的数量为至少两张，所述图像质量分数与所述旅拍图像一一对应，所述旅拍图像包括封面图像和正文图像，所述图像质量分数包括封面图像分数和正文图像分数；
18、所述根据所述图像质量分数和所述文本质量分数确定旅拍图文质量序列的步骤，包括：
19、将所述图像质量分数与所述文本质量分数按照优先级进行排序，得到旅拍图文质量序列；其中，所述文本质量分数的优先级大于所述封面图像分数的优先级，所述封面图像分数的优先级大于所述正文图像分数的优先级；若所述正文图像的数量为至少两张，则将每张正文图像对应的正文图像分数逆序排列；
20、所述基于所述旅拍图文质量序列，得出旅拍图文质量分数的步骤，包括：
21、根据预设权重值，对所述旅拍图文质量序列进行加权计算，得到所述旅拍图文质量分数；其中，所述预设权重值与所述优先级正相关；
22、和/或，将所述旅拍图文质量序列输入回归模型，利用所述回归模型拟合权重值，根据拟合后的权重值，对所述旅拍图文质量序列进行加权计算，得到旅拍图文质量分数；其中，所述回归模型利用标注有综合质量分数的旅拍图文样本和旅拍图文的质量序列样本训练得到。
23、第二方面，提供一种旅拍图文的质量评估模型的训练方法，所述旅拍图文的质量评估模型的训练方法包括：
24、将标注有图像质量标注分数的图像样本和标注有文本质量标注分数的文本样本输入所述旅拍图文的质量评估模型；
25、根据所述旅拍图文的质量评估模型，输出所述图像样本的图像质量预测分数和所述文本样本的文本质量预测分数；
26、将所述图像质量标注分数和所述图像质量预测分数代入第一损失函数计算第一损失误差，将所述文本质量标注分数和所述文本质量预测分数代入第二损失函数计算第二损失误差；
27、将所述图像质量预测分数、所述文本质量预测分数和标注有综合质量标注分数的图文样本输入回归模型，以由回归模型输出图文质量预测分数；
28、将所述综合质量标注分数和所述图文质量预测分数代入第三损失函数计算第三损失误差；
29、基于所述第一损失误差、所述第二损失误差和所述第三损失误差，对所述旅拍图文的质量评估模型的模型参数进行调节；
30、若所述旅拍图文的质量评估模型满足迭代停止条件，则停止训练。
31、第三方面，提供一种旅拍图文的质量评估系统，所述旅拍图文包括旅拍图像和旅行笔记文本；所述旅拍图文的质量评估系统包括：
32、图像输入模块，用于将所述旅拍图像输入图像质量评估模型，以由所述图像质量评估模型从所述旅拍图像中提取图像内容特征和图像构图特征，并根据所述图像内容特征和图像构图特征得到图像质量分数；所述图像质量评估模型利用标注有所述图像质量分数的图像样本训练得到；所述图像质量分数用于表征所述旅拍图像的内容和构图的质量；
33、文本输入模块，用于将所述旅行笔记文本输入文本质量评估模型，以由所述文本质量评估模型从所述旅行笔记文本中提取文本内容特征，并根据所述文本内容特征得到文本质量分数；其中，所述文本质量评估模型利用标注有文本质量分数的文本样本训练得到；所述文本质量分数用于表征所述文本与旅行的相关程度；
34、质量序列确定模块，用于根据所述图像质量分数和所述文本质量分数确定旅拍图文质量序列；
35、质量分数输出模块，用于基于所述旅拍图文质量序列，得出旅拍图文质量分数。
36、可选地，所述图像输入模块包括：
37、放大单元，用于沿所述旅拍图像的最小边缘方向将所述旅拍图像放大至预设像素值，得到放大图像；
38、切块单元，用于对所述放大图像进行切块，得到图像块；
39、填充单元，用于对所述图像块进行填充，以使所述图像块的尺寸达到预设尺寸。
40、可选地，所述图像质量评估模型包括：图像特征提取层和提示词特征提取层；所述图像输入模块包括：
41、图本文档来自技高网...
【技术保护点】
1.一种旅拍图文的评估方法，其特征在于，所述旅拍图文包括旅拍图像和旅行笔记文本；所述旅拍图文的评估方法包括：
2.如权利要求1所述的旅拍图文的评估方法，其特征在于，所述将所述旅拍图像输入图像质量评估模型的步骤，包括：
3.如权利要求2所述的旅拍图文的评估方法，其特征在于，所述图像质量评估模型包括：图像特征提取层和提示词特征提取层；所述将所述旅拍图像输入图像质量评估模型的步骤，包括：
4.如权利要求1所述的旅拍图文的评估方法，其特征在于，所述旅拍图像的数量为至少两张，所述图像质量分数与所述旅拍图像一一对应，所述旅拍图像包括封面图像和正文图像，所述图像质量分数包括封面图像分数和正文图像分数；
5.一种旅拍图文的质量评估模型的训练方法，其特征在于，所述旅拍图文的质量评估模型的训练方法包括：
6.一种旅拍图文的质量评估系统，其特征在于，所述旅拍图文包括旅拍图像和旅行笔记文本；所述旅拍图文的质量评估系统包括：
7.如权利要求6所述的旅拍图文的质量评估系统，其特征在于，所述图像输入模块包括：
8.如权利要求7
9.如权利要求6所述的旅拍图文的质量评估系统，其特征在于，所述旅拍图像的数量为至少两张，所述图像质量分数与所述旅拍图像一一对应，所述旅拍图像包括封面图像和正文图像，所述图像质量分数包括封面图像分数和正文图像分数；
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法。
...【技术特征摘要】
1.一种旅拍图文的评估方法，其特征在于，所述旅拍图文包括旅拍图像和旅行笔记文本；所述旅拍图文的评估方法包括：
2.如权利要求1所述的旅拍图文的评估方法，其特征在于，所述将所述旅拍图像输入图像质量评估模型的步骤，包括：
3.如权利要求2所述的旅拍图文的评估方法，其特征在于，所述图像质量评估模型包括：图像特征提取层和提示词特征提取层；所述将所述旅拍图像输入图像质量评估模型的步骤，包括：
4.如权利要求1所述的旅拍图文的评估方法，其特征在于，所述旅拍图像的数量为至少两张，所述图像质量分数与所述旅拍图像一一对应，所述旅拍图像包括封面图像和正文图像，所述图像质量分数包括封面图像分数和正文图像分数；
5.一种旅拍图文的质量评估模型的训练方法，其特征在于，所述旅拍图文的质量评估模型的训练方法包括：
6.一种旅拍图文的质量评估系统，其特征在于，所述旅拍图文包括旅拍图像和旅行笔记文...
【专利技术属性】
技术研发人员：李国栋，成丹妮，罗超，
申请(专利权)人：携程旅游网络技术上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。