一种基于众包的异构媒体语义融合方法技术

本发明专利技术公开了一种基于众包的异构媒体语义融合方法，主要包含三个部分：语义抽取、多模态语义融合、语义存储和分布。本发明专利技术采用了众包环境下的异构媒体语义融合方法，可以准确地获取任务主题和用户的历史热点主题，并且本发明专利技术完全抛开了物理特性提取，执行了仅仅基于语义领域的检索程序，保证了高精确度和高精度比率。另外，本发明专利技术在语义提纯之后保证了精确度的增长以及时间代价的稳定。

【技术实现步骤摘要】

本专利技术涉及一种基于众包的异构媒体语义融合方法。
技术介绍
语义信息融合作为连接低等数据表现和人类知识理解的桥梁，已经成为了提升检索的效率和准确度的重要的组成部分。语义关联分析和多模式表达是语义融合的先决条件。在不同模式下自动获取一个语义关联是一个热点，并产生了很多相关方法。通过文本可视模型来建立对图像的语义关联，挖掘文本的可视性语义。利用数据驱动方法，面向图像的描述文本，发现图像语义的关键短语来进行文本-图像的语义关联分析。针对视频中图像、音频以及文本之间的语义关联关系，使用三阶张量对镜头中时序关联的多模态信息进行表达，利用张量镜头(TensorShot)表达并应用到视频语义概念检测，效果较好，但复杂度较高。从另一个视角，利用多图模型(Multi-graphModel)对多模态信息进行表达，并将传统基于图的机器学习方法扩展到多图模型以进行多模态融合的视频语义概念检测。在语义融合算法方面，现有方法结合数据的特征层和语义特征层，提出了一系列的算法，常见方法如非线性融合、语义投票等。基于图模型，提出了一种半监督特征融合格式，并成功应用到图像自动标注领域。在视频语义融合领域，利用多视图学习(Multi-viewLearning)，在考虑每个视图统计特性的基础上学习得到一个最优的共同表达，相关算法已经应用到了视频和图像之间的语义理解领域。在语义融合策略上，基于多图模型的多模态融合得到了广泛应用，将多图看作多个视图(Multi-view)，将多视图学习方法引入到多图模型，使得语义标签从训练数据的有标记镜头传递到无标记镜头，以提升视频语义融合的效果。
技术实现思路
本专利技术所要解决的技术问题是，针对现有技术不足，提供一种基于众包的异构媒体语义融合方法。为解决上述技术问题，本专利技术所采用的技术方案是：一种基于众包的异构媒体语义融合方法，包括以下步骤：1)输入用户集合US和任务集合TS；2)定义一个阈值ε1，0≤ε1≤1；3)计算用户的历史主题tpc(U)和任务的历史主题tpc(t)；4)遍历US集合中的每一个用户U，进行步骤5)的操作，遍历结束后跳到步骤7)；5)遍历TS集合中的每一个任务t，进行步骤6)的操作，遍历结束跳转到步骤4)；6)如果该任务t的历史主题tpc(t)在用户U的历史主题tpc(U)的前ε1个范围之内，则将该任务t推荐给用户U，否则不推荐；7)遍历所有没有被推荐分配出去的任务t，将这些任务随机推荐给US中的用户；8)输入媒体文件M，并定义它的语义实体为SO；9)获取M的一个标注Ai并且将Ai存储到SO中；10)分配SO的标注重要性wi；11)遍历US中的每一个用户，用户编号为i，,进行步骤12)；12)如果M可以通过Ai获取，那么ki＝1，否则ki＝0，然后累加|U|是提供标注的众包用户数量；13)加载媒体文件M的语义实体SO，定义一个阈值ε2，0≤ε2≤1；14)加载媒体文件M的标注集合SetM，并且计算其标注重要性的均值15)遍历每一个用户，进行步骤16)；16)如果编号为j的用户的标注重要性那么从SetM中删除该标注Aj。步骤3)的具体实现过程包括：1)输入用户U的历史标注集合Sha和分类图G；2)使用广度优先算法遍历搜索G；3)对于G中的每一个节点t，计算t在Sha中的出现频率tf(t/Sha)，并且将计算结果添加到动态数组tpc(U)*中；4)将tpc(U)*中的tf(t/Sha)进行降序排序，得到用户的历史主题tpc(U)。语义实体SO通过两种方式和其相对应的媒体文件M合并：第一种：在线方式，SO通过软件提交并隐藏在新的媒体文件中；第二种：离线方式，SO保存在一个文件中，用户在软件中选择一个媒体文件与SO合并。将媒体文件M与用户标注的语义实体SO合并之后，以如下方式进行存储：定义一个S_MFILE类，该类中包含一个byte型指针SemanticData指向语义实体SO和一个MFILE型结构体指针media，该指针的结构体MFILE包含一个byte型指针MediaData指向该媒体文件的二进制数据。与现有技术相比，本专利技术所具有的有益效果为：本专利技术采用了众包环境下的异构媒体语义融合方法，可以准确地获取任务主题和用户的历史热点主题，并且本专利技术完全抛开了物理特性提取，执行了仅仅基于语义领域的检索程序，保证了高精确度和高精度比率。另外，本专利技术在语义提纯之后保证了精确度的增长以及时间代价的稳定。附图说明图1为本专利技术框架结构图。具体实施方式本专利技术的框架如图1所示，主要包含三个部分：语义抽取(如图1(1))、多模态语义融合(如图1(2))、语义存储和分布(如图1(3))。第一步，基于多源化的异构媒体，融合信息通过众包用户提取出来。我们定义一个语义提取的工作流程，它给用户提供一个交互的接口。同时，根据他们的语义规定，任务推荐给适合的用户。系统控制高质量抽取并矫正任务。在本方法中，语义信息完全的产生于社会众包用户。我们假定，有N个媒体文件记作C＝{M1,M2,...,MN本文档来自技高网...

【技术保护点】
一种基于众包的异构媒体语义融合方法，其特征在于，包括以下步骤：1)输入用户集合US和任务集合TS；2)定义一个阈值ε1，0≤ε1≤1；3)计算用户的历史主题tpc(U)和任务的历史主题tpc(t)；4)遍历US集合中的每一个用户U，进行步骤5)的操作，遍历结束后跳到步骤7)；5)遍历TS集合中的每一个任务t，进行步骤6)的操作，遍历结束跳转到步骤4)；6)如果该任务t的历史主题tpc(t)在用户U的历史主题tpc(U)的前ε1个范围之内，则将该任务t推荐给用户U，否则不推荐；7)遍历所有没有被推荐分配出去的任务t，将这些任务随机推荐给US中的用户；8)输入媒体文件M，并定义它的语义实体为SO；9)获取M的一个标注Ai并且将Ai存储到SO中；10)分配SO的重要性wi；11)遍历US中的每一个用户，进行步骤12)；12)如果M可以通过Ai获取，那么ki＝1，否则ki＝0，然后累加ωi*＝wi+ki/|U|；|U|是提供标注的众包用户数量；13)加载媒体文件M的语义实体SO，定义一个阈值ε2，0≤ε2≤1；14)加载媒体文件M的标注集合SetM，并且计算其标注重要性的均值w‾=1|U|Σi=1|U|ωi*;]]>15)遍历每一个用户，进行步骤16)；16)如果编号为j的用户的标注的重要性那么从SetM中删除该用户的标注Aj。...

【技术特征摘要】
1.一种基于众包的异构媒体语义融合方法，其特征在于，包括以下步骤：1)输入用户集合US和任务集合TS；2)定义一个阈值ε1，0≤ε1≤1；3)计算用户的历史主题tpc(U)和任务的历史主题tpc(t)；4)遍历US集合中的每一个用户U，进行步骤5)的操作，遍历结束后跳到步骤7)；5)遍历TS集合中的每一个任务t，进行步骤6)的操作，遍历结束跳转到步骤4)；6)如果该任务t的历史主题tpc(t)在用户U的历史主题tpc(U)的前ε1个范围之内，则将该任务t推荐给用户U，否则不推荐；7)遍历所有没有被推荐分配出去的任务t，将这些任务随机推荐给US中的用户；8)输入媒体文件M，并定义它的语义实体为SO；9)获取M的一个标注Ai并且将Ai存储到SO中；10)分配SO的重要性wi；11)遍历US中的每一个用户，进行步骤12)；12)如果M可以通过Ai获取，那么ki＝1，否则ki＝0，然后累加ωi*＝wi+ki/|U|；|U|是提供标注的众包用户数量；13)加载媒体文件M的语义实体SO，定义一个阈值ε2，0≤ε2≤1；14)加载媒体文件M的标注集合SetM，并且计算其标注重要性的均值w‾=1|U|Σi=1|U|ωi*;]]>15)遍历每一个用户，进行步骤16)；...

【专利技术属性】
技术研发人员：郭克华，梁中鹤，
申请(专利权)人：中南大学，
类型：发明
国别省市：湖南;43