【技术实现步骤摘要】
本专利技术涉及故事质量自动评估，特别涉及一种故事质量自动评估方法。
技术介绍
1、在内容平台的应用场景中，故事质量自动评估模型可以自动地对故事内容进行多维度的分析，评估其质量水平。针对某一故事，所述模型生成的质量评估结果可具有多种用途，例如可用于为写作者提供改进内容质量的思路；为阅读者推荐此故事中值得借鉴和细读的部分；为故事平台方维护良好的内容生态提供此故事是否符合平台生态规范的判断依据，从而平台方可以更好地构建智能化的故事质量自动监测机制等。因此，故事质量自动评估方法在内容平台的应用场景中具有重要的作用。
2、传统的故事质量自动评估方法可以分为基于规则的方法和基于机器学习的方法。基于规则的方法需要针对特定的应用场景和领域，根据人工经验制定具体的判断规则，并由程序自动执行。然而，该类方法的缺点在于规则的制定和维护需要大量且长期的人工参与，且随着规则数量和复杂度的增加，维护成本也会不断增加。基于机器学习的方法通常会训练一个或多个特定的模型。需要注意的是，此处所描述的模型不包含语言模型。然而，在使用过程中，这些模型的输入需严格遵守特定的格式，模型的预测能力也受限，一般仅适用于预测固定范围内的数值。其中，数值的高低表示故事内容在某一方面质量的高低。此外，当应用场景或评估需求发生较大变化时，以上方法需要重新训练一个或多个模型，因此缺乏灵活性，且更新和升级的成本也相对较高。
3、除了上述传统的方法，目前已经涌现出多种基于神经网络的、现成可用的语言模型，可以用于自动评估任务。这些模型在一定程度上弥补了传统方法的不足。
技术实现思路
1、本专利技术的目的在于提供一种故事质量自动评估方法，训练灵活、易于维护、能够满足特定需求偏好的、并且表现行为更稳定的故事质量评估模型。该模型能够适应不同的故事内容、自定义评估准则以及定制化需求，并提供高可信度和有价值的评估结果，以解决上述
技术介绍
中提出的问题。
2、为实现上述目的，本专利技术提供如下技术方案：
3、一种故事质量自动评估方法，包括以下步骤：
4、101：获得故事数据集和质量评估标准；
5、102：根据所述故事数据集和质量评估标准，构造训练数据集；
6、103：根据所述训练数据集，训练故事质量评估模型，得到训练后的质量评估模型；
7、104：获得针对所述故事质量评估模型的反馈数据集；
8、105：根据所述反馈数据集，调整所述训练后的质量评估模型的行为，得到调整后的质量评估模型；
9、106：获取故事内容，通过所述调整后的质量评估模型，得到质量评估结果。
10、进一步地，针对101中，质量评估标准包含一条或多条衡量故事的不同方面质量水平高低的准则；
11、所述故事数据集包含多个故事数据，其中，一条故事数据包含故事内容和其对应的遵循上述质量评估标准的评估结果。
12、进一步地，针对102中，所述训练数据集包含多个故事数据，其中，一条故事数据包含故事内容和其对应的所述遵循调整后的质量评估标准的评估结果，构造训练数据集包括以下步骤：
13、将质量评估标准转述为故事质量评估模型擅长处理的表述方式，得到调整后的质量评估标准；所述调整后的质量评估标准也包含一条或多条、针对上述准则经过改变表述方式后得到的准则，这些准则所采用的表述方式为故事质量评估模型所擅长处理的；
14、根据所述调整后的质量评估标准，将所述故事数据集中遵循调整前的质量评估标准的评估结果进行重构，得到遵循调整后的质量评估标准的评估结果；
15、将所述遵循调整后的质量评估标准的评估结果替换故事数据集中的所述遵循调整前的质量评估标准的评估结果，得到训练数据集。
16、进一步地，针对103中，得到训练后的质量评估模型包括以下步骤：
17、获得所述训练数据集；
18、从所述训练数据集中提取训练数据；
19、根据训练数据训练故事质量评估模型；
20、得到训练后的故事质量评估模型。
21、进一步地，针对103中，故事质量评估模型为基于transformer的语言模型，或其它适用的模型；
22、通过所述故事质量自动评估方法，可以根据实际需求训练一个或多个模型，可以针对不同的应用场景，准备不同的数据，使用所述方法得到不同的模型；也可以部分应用场景共享同一个模型。
23、进一步地，针对104中，获得故事质量评估模型的反馈数据集包括以下步骤：
24、获取多个故事内容和所述调整后的质量评估标准；
25、将所述故事内容和质量评估标准输入至上述训练后的故事质量评估模型；
26、得到故事质量评估模型遵循所述调整后的质量评估标准的、针对所述故事内容的质量评估结果；
27、获取所述故事质量评估模型的输出结果的合理性分析；针对所述调整后的质量评估标准中的每一条准则，所述故事质量评估模型的输出结果的合理性分析至少包含以下一种：所述故事质量评估模型是否遵循此条准则对故事内容质量进行了合理评估的判断结果、针对所述判断结果的解释文本。
28、将所述故事内容、所述调整后的质量评估标准、所述质量评估结果、所述质量评估结果的合理性分析进行组合，得到故事质量评估模型的反馈数据集。
29、进一步地，针对105中，调整所述训练后的质量评估模型的行为包括以下步骤：
30、从所述反馈数据集中提取反馈数据；
31、根据所述反馈数据中的故事内容、质量评估标准、质量评估结果、质量评估结果的合理性分析调整所述质量评估模型；
32、得到调整后的质量评估模型。
33、进一步地，针对106中，得到质量评估结果包括以下步骤：
34、获取故事内容；
35、将所述故事内容、所述调整后的质量评估标准输入至所述调整后的质量评估模型；
36、得到针对所述故事内容的质量评估结果。
37、有益效果
38、可用于训练和开发灵活并易于维护的、能够满足特定需求偏好的、更符合自定义质量标准且表现行为更稳定的故事质量评估模型。同时该模型还能够满足多种定制化需求，例如本文档来自技高网...
【技术保护点】
1.一种故事质量自动评估方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种故事质量自动评估方法，其特征在于，针对101中，质量评估标准包含一条或多条衡量故事的不同方面质量水平高低的准则；
3.如权利要求2所述的一种故事质量自动评估方法，其特征在于，针对102中，所述训练数据集包含多个故事数据，其中，一条故事数据包含故事内容和其对应的所述遵循调整后的质量评估标准的评估结果，构造训练数据集包括以下步骤：
4.如权利要求3所述的一种故事质量自动评估方法，其特征在于，针对103中，得到训练后的质量评估模型包括以下步骤：
5.如权利要求4所述的一种故事质量自动评估方法，其特征在于，针对103中，故事质量评估模型为基于Transformer的语言模型，或其它适用的模型；
6.如权利要求5所述的一种故事质量自动评估方法，其特征在于，针对104中，获得故事质量评估模型的反馈数据集包括以下步骤：
7.如权利要求6所述的一种故事质量自动评估方法，其特征在于，针对105中，调整所述训练后的质量评估模型的行为包括以下步骤：
8.如权利要求7所述的一种故事质量自动评估方法，其特征在于，针对106中，得到质量评估结果包括以下步骤：
...【技术特征摘要】
1.一种故事质量自动评估方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种故事质量自动评估方法，其特征在于，针对101中，质量评估标准包含一条或多条衡量故事的不同方面质量水平高低的准则；
3.如权利要求2所述的一种故事质量自动评估方法，其特征在于，针对102中，所述训练数据集包含多个故事数据，其中，一条故事数据包含故事内容和其对应的所述遵循调整后的质量评估标准的评估结果，构造训练数据集包括以下步骤：
4.如权利要求3所述的一种故事质量自动评估方法，其特征在于，针对103中，得到训练后的质量评估模型包括以下...
【专利技术属性】
技术研发人员：李茂林，周旸，
申请(专利权)人：叙之科技杭州有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。