【技术实现步骤摘要】
本专利技术涉及一种耦合公园社交媒体评论文本与图像的双模态评分方法及系统，属于风景园林学科中的数字景观。
技术介绍
1、城市绿色空间是城市居民理想的休闲目的地，指城市里自然或半自然的土地利用状态，以植被为主要存在形态，为居民提供了广泛的生态系统服务以及亲近自然、户外活动和游憩交往的机会，可对人们的身体健康、心理健康和社会环境产生积极的影响。过去几十年里，由于城市发展的历史模式、高居住密度和爆炸性的城市化速度，全球城市人口比例从1950年的25％增至2020年的50％左右，在此后50年内将缓慢增加到58％，有限的城市生态空间与激增的人口数量之间产生了激烈的供需矛盾，城市密度的增加也使得生态系统的质量日趋下降。为了实现城市的可持续、快速和健康发展，联合国可持续发展目标指出，要使城市和社区具有包容、安全、韧性和可持续性，并保障所有年龄段人群健康的生活方式以及福祉。其中，为确保城市环境能够最好地为公众服务，有必要从使用者的角度了解环境中影响公众感知的自然、文化等各种要素，这对城市环境的可持续发展至关重要，因此以人为中心的绿色空间感知评估正在成为众多学科的重要议题。
2、传统的研究大多依赖于对景观场景的直接现场观察或社会调查，这些方法主要依赖于专家或受访者对实地场景、图像或文本的成本密集型的手动评估，十分费力、昂贵、耗时且数据来源相对有限，当面对更大的空间和时间尺度时更具挑战性。同时，在调查中，游客会被要求评价特定功能，但难免一些游客会在自己访问期间没有看到该功能时对此进行评价，从而产生偏倚。在社会感知时代，每个公民都扮演着“传
3、然而，由于社交媒体数据的非结构化和开放式属性，较难使用传统方法进行处理。目前基于社交媒体数据的公园感知研究，多使用机器学习中的情感分类模型将评论文本中的无形感知信息转化为满意度分数，探讨环境满意度与不同环境特征之间的关联。但目前仍存在两个潜在的研究空白：
4、首先，目前的社交媒体评论分析多基于开放使用的自然语言处理api(如百度、腾讯、谷歌自然语言处理平台)，此类模型于通用性很强的情感分类数据集上进行训练，无法针对公园评论的不同维度进行评估，而目前鲜有研究立足于景观研究理论针对公园评论建立特定评判维度的数据集，并基于此训练最新的深度学习模型，以更有效与适配地对公园评论进行分析。
5、其次，目前对社交媒体评论的理解往往仅单独针对用户发表的文字或图片，而人们在分享评论时倾向于将图片和文字一起发布来表达自己的情绪或观点，尚无方法同时考虑二者对评论进行评分。
6、因此，为了最大限度地发挥公园在城市环境中的效益，设计一种立足于景观感知理论的耦合公园社交媒体评论文本与图像文本与图像的评分方法十分重要。
技术实现思路
1、有鉴于此，本专利技术提供了一种耦合公园社交媒体评论文本与图像的双模态评分方法、系统、计算机设备及存储介质，其能够高效、准确地对公园评论中反映出的感知进行评分，有助于提高公众对城市绿地规划与管理的参与度和满意度，并为城市的绿地规划与管理提供有益的参考。
2、本专利技术的第一个目的在于提供一种耦合公园社交媒体评论文本与图像的双模态评分方法。
3、本专利技术的第二个目的在于提供一种耦合公园社交媒体评论文本与图像的双模态评分系统。
4、本专利技术的第三个目的在于提供一种计算机设备。
5、本专利技术的第四个目的在于提供一种存储介质。
6、本专利技术的第一个目的可以通过采取如下技术方案达到：
7、一种耦合公园社交媒体评论文本与图像的双模态评分方法，所述方法包括：
8、获取公园社交媒体评论数据，由专家进行分类标注，建立公园评论感知分类数据集，所述公园社交媒体评论数据包括评论日期、文本和图像；
9、基于公园评论感知分类数据集，对cn-clip模型进行微调，得到park-cn-clip模型；
10、使用park-cn-clip模型中的文本与图像编码器，提取公园评论感知分类数据集中文本与图像的特征，使用transformer编码器将两类特征进行融合，使用全连接层输出预测，完成公园双模态评分模型的训练；
11、针对目标公园所收集的社交媒体评论数据，使用训练好的公园双模态评分模型对评论进行感知分数预测，得到公园评论的感知评分。
12、进一步的，所述获取已进行分类标注的公园社交媒体评论数据，建立公园评论感知分类数据集，具体包括：
13、获取公园社交媒体初始评论数据；
14、对公园社交媒体初始评论数据进行清洗，删除空白、无意义和重复的评论数据；
15、随机从爬取到的评论数据中选取预设条数的评论数据作为公园社交媒体评论数据；
16、结合公园社交媒体评论数据中的文本和图像，对评论进行分类标注，建立公园评论感知分类数据集。
17、进一步的，所述基于公园评论感知分类数据集，对cn-clip模型进行微调，得到park-cn-clip模型，具体包括：
18、对公园评论感知分类数据集中的图像使用图像增广策略，使用adamw优化器进行cn-clip模型参数更新，使用对比损失函数最小化正对之间的距离并最大化负对之间的距离，实现对cn-clip模型的微调，得到park-cn-clip模型，所述图像增广策略包括随机裁剪、随机翻转、色彩扭曲。
19、进一步的，所述使用对比损失函数最小化正对之间的距离并最大化负对之间的距离，如下式：
20、
21、其中，n为样本的总数，fi为第i个图像的特征向量，tj为第j个文本的特征向量，α为比例因子。
22、进一步的，所述使用park-cn-clip模型中的文本与图像编码器，提取公园评论感知分类数据集中文本与图像的特征，使用transformer编码器将两类特征进行融合，使用全连接层输出预测，完成公园双模态评分模型的训练，具体包括：
23、使用park-cn-clip模型中的文本编码器，提取公园评论感知分类数据集中文本的特征向量；
24、使用park-cn-clip模型中的图像编码器，提取公园评论感知分类数据集中图像的特征向量；
25、使用基于multi-head self-attention模块的transformer编码器层将文本和图像特征进行融合；
26、使用全连接层对融合后的特征进行变换，使特征适用于分类任务，输出与公园评论感知分类数据集类别对应的特征向量；
27、使用交叉熵损失函数评估公园双模态评分模型的预测性能并进行反向传播；
28、使用准确率评判公园双模态评分模型的的有效性；
29、根据公园双模态评分模型的有效性，保存效果最好的公园双模态评分模型的参数，完成公园双模态评分本文档来自技高网...
【技术保护点】
1.一种耦合公园社交媒体评论文本与图像的双模态评分方法，其特征在于，所述方法包括：
2.根据权利要求1所述的双模态评分方法，其特征在于，所述获取公园社交媒体评论数据，并进行分类标注，建立公园评论感知分类数据集，具体包括：
3.根据权利要求1所述的双模态评分方法，其特征在于，所述基于公园评论感知分类数据集，对CN-CLIP模型进行微调，得到Park-CN-CLIP模型，具体包括：
4.根据权利要求3所述的双模态评分方法，其特征在于，所述使用对比损失函数最小化正对之间的距离并最大化负对之间的距离，如下式：
5.根据权利要求1所述的双模态评分方法，其特征在于，所述使用Park-CN-CLIP模型中的文本与图像编码器，提取公园评论感知分类数据集中文本与图像的特征，使用Transformer编码器将两类特征进行融合，使用全连接层输出预测，完成公园双模态评分模型的训练，具体包括：
6.根据权利要求5所述的双模态评分方法，其特征在于，所述使用交叉熵损失函数评估公园双模态评分模型的预测性能并进行反向传播，如下式：
7.根据权
8.一种耦合公园社交媒体评论文本与图像的双模态评分系统，其特征在于，所述系统包括：
9.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-7任一项所述的双模态评分方法。
10.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-7任一项所述的双模态评分方法。
...【技术特征摘要】
1.一种耦合公园社交媒体评论文本与图像的双模态评分方法，其特征在于，所述方法包括：
2.根据权利要求1所述的双模态评分方法，其特征在于，所述获取公园社交媒体评论数据，并进行分类标注，建立公园评论感知分类数据集，具体包括：
3.根据权利要求1所述的双模态评分方法，其特征在于，所述基于公园评论感知分类数据集，对cn-clip模型进行微调，得到park-cn-clip模型，具体包括：
4.根据权利要求3所述的双模态评分方法，其特征在于，所述使用对比损失函数最小化正对之间的距离并最大化负对之间的距离，如下式：
5.根据权利要求1所述的双模态评分方法，其特征在于，所述使用park-cn-clip模型中的文本与图像编码器，提取公园评论感知分类数据集中文本与图像的特征，使用transformer编码器将...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。