用于预测式增强的媒体对象分组和分类制造技术

用于预测式增强的媒体对象分组和分类。本发明专利技术提供了一种对媒体对象进行分组的由计算机实施的方法及其系统、界面以及装置。该方法包括：基于顺序事件的剧本和与该剧本中的媒体对象中的一个或更多个媒体对象关联的演员的组合，由所述媒体对象生成组；基于聚类或分类，将该组分割成各包括所述媒体对象中的一个或更多个媒体对象的区段；为所述区段添加标题和字幕；以及基于所述组的媒体对象之间在所述媒体对象、数据以及所述剧本和所述演员的组合方面的知识关联生成过滤和标注推荐。

Media object grouping and classification for predictive enhancement

【技术实现步骤摘要】
用于预测式增强的媒体对象分组和分类
示例实施方案的方面涉及用于使用像素内容和元数据确定相片的组并将相片分为组的方法、系统以及界面。进一步地，提供用于所通知的镜头选择、相片组加字幕、以及诸如图章、表情符号、相片书或过滤的标注的推荐的方法、系统以及界面。
技术介绍
在相关技术中，用户逐单独文件地执行电子相片的分类。例如，在人出席婚礼时，他或她可以使用摄像头或装置来拍摄事件的相片。在婚礼之后，用户可以设法创建拼贴画、相册、相片书或其他输出，其中，采集多个相片且该多个相片逐文件地手动组织。然而，相关技术方法可能具有各种问题和缺点。例如，不用限制的方式，相片可能与所拍摄的图像有关且与事件或特殊场合关联。进一步地，用户可能对相片单独执行调节或使相片风格化。然而，由手动组织和操纵的相关技术方法，用户在组中的其他相片的背景下无法容易地考虑单独相片的调节或风格化。
技术实现思路
示例实施方案的方面包括一种对媒体对象进行分组的由计算机实施的方法，该方法包括：基于顺序事件的剧本和与该剧本中的媒体对象中的一个或更多个媒体对象关联的演员的组合，由所述媒体对象生成组；基于聚类或分类，将该组分割成各包括所述媒体对象中的一个或更多个媒体对象的区段；为所述区段添加标题和字幕；以及基于所述组的媒体对象之间在所述媒体对象、数据以及所述剧本和所述演员的组合方面的知识关联生成推荐。根据这些方面，推荐包括过滤效果推荐和标注推荐中的至少一项，并且推荐能够基于与知识库关联的数据而而预测。进一步地，根据这些方面，过滤效果推荐基于包括从一个或更多个其他用户接收的在线反馈在内的数据。另外，根据这些方面，贴纸推荐基于包括与图像关联的信息在内的数据。而且，根据这些方面，推荐包括贴纸、文本框以及表情符号中的至少一项的类型、位置以及密度中的一个或更多个。根据这些方面，生成组还包括使分组基于媒体对象的组中的演员和一个或更多个其他演员的布局。还提供了包括被配置为执行在存储在存储器中的指令的处理器的非易失性计算机可读介质、被配置为拍摄一个或更多个图像并生成媒体对象的图像拍摄装置，并且该图像拍摄装置包括处理器和存储器。附图说明专利或申请文件包含着色执行的至少一个附图。具有颜色附图的该专利或专利申请公报的副本在请求并支付必要费用时将由专利局提供。图1和图2例示了与示例实施方案关联的示例输出。图3例示了根据示例实施方案的流程。图4例示了与示例实施方案关联的界面。图5例示了根据示例实施方案的方法。图6例示了具有适于用于一些示例实施方案中的示例计算装置的示例计算环境。图7示出了适于一些示例实施方案的示例环境。具体实施方式以下具体实施方式提供了本申请的附图和示例实施方案的另外细节。为了清楚起见，省略附图之间的冗余元件的附图标记和描述。贯穿说明书使用的术语作为示例来提供且不旨在限制。在本申请中，术语“图像”、“内容媒体”、“内容媒体表示”或“媒体表示”可以可交换地用来描述相片、视频、三维或360°图像记录、图画、油画、素描、计算机生成的图像、或可以被产生、被拍摄或可以以其他方式表示现实世界中的事件或发生的事情的任意其他视觉表示中的一个或更多个。这些术语还可以包括可以被产生、被拍摄、或可以以其他方式表示现实世界中的事件或发生的事情的记录或其他音频表示。“图像”、“内容媒体”、“内容媒体表示”或“媒体表示”可以由任意媒体拍摄装置来拍摄，该装置包括但不限于：摄像头、数字记录仪、模拟记录仪、移动通信装置或对本领域普通技术人员明显的任意其他媒体拍摄装置。“内容媒体”、“内容媒体表示”、或“媒体表示”可以作为数据文件或其他数据结构存储在计算机可读介质上，计算机可读介质包括但不限于：磁存储装置、光存储装置、固态存储装置、有机存储装置或可以对本领域普通技术人员明显地任意其他存储装置。进一步地，计算机可读介质可以包括本地存储装置、基于云的存储装置、位于远处的服务器、或可以对本领域普通技术人员明显地任意其他存储装置。进一步地，在本申请中，术语“字幕”、“文本概要”可以全部可交换地用来表示基于描述性文本的概要，该概要可以表示所述“图像”、“内容媒体”、“内容媒体表示”或“媒体表示”中的一个或更多个的内容。示例实施方案的方面致力于媒体对象(诸如但不用限制的方式为相片)的组的分类。更具体地，组被提供为输入，而不是单独分类的合计或拼接。因此，顶级域被确定为分类。基于顶级域，选择相片的集并将其分组成顺序群集。顶级域可以以确定性方式或以基于规则的方法编程地提供。另选地，顶级域可以从数据诸如使用现有人工智能技术(诸如机器学习、神经网络等)来学习。因此，用户可以基于标注的建议对单独相片标注，该标注可以包括但不限于：图章、表情符号、或文本(例如，气球标注，诸如“祝我生日快乐”)。类似地，可以应用相片过滤效果。例如但不用限制的方式，在生日宴会的示例使用中，相片的集合可以包括到达举行场所以及彼此相遇、蜡烛和蛋糕、以及与完整或部分包装关联的礼物的图像。示例实施方案可以致力于相片书。然而，可以在不偏离专利技术范围的情况下用其他应用代替。类似地，一系列相片可以在诸如云的远程存储器和处理位置处处理，或者可以在用户装置处或客户端(诸如独立摄像头、或移动计算装置，诸如包括图像拍摄装置(诸如摄像头)的智能电话)处处理。在这种场景中，可以使用适当的元数据，该元数据包括但不限于与相片可交换图像文件格式(EXIF)数据关联的元数据。因此，“预处理”相片以将来应用(诸如相片打印)或组织软件、在线批处理或社交网络共享等。图3例示了根据示例实施方案的流程300。在初始阶区段，拍摄诸如相片的媒体对象。这些相片被示出为图3中的相片1...相片n。在303处将相片301-1...301-n分为一批(例如，域提取)。更具体地，提供了一种用于基于相片的选择分类父级主题或题目的方法。例如，但不用限制的方式，用于婚礼举行场所或大厅、婚纱、以及穿西装的人的多张相片可以构成“婚礼”。因此，对于组开发单个分类，并且仅3张相片中的1被指示为“婚礼”。例如，但不用限制的方式，分组可以通过识别用于事件的剧本来执行。可以定义具有标准时间线的事件，标准时间线具有变化程度。如由系统确定的，分组中示出剧本中的事件。例如，但不用限制的方式，在生日的剧本中，事件可以包括礼物的照片、吹蜡烛、以及与生日宴会事件的剧本关联的其他事件。另选地，婚礼可以是剧本，并且结婚的两人、司仪牧师、见证人等可以是剧本中的演员。特定类型的演员可以集中在一起，诸如出席者、宾客与结婚的人的关系、等。因此，一旦确定事件为生日宴会，则系统将搜索与时间线的事件关联的相片，以生成组。使用剧本来确定组提供跨剧本的各种事件的相片的多样性。本系统从事件选择相片以在组中合适并成比例地表示剧本的事件。可选地，可以向用户提供包括剧本的、要从中选择的事件的列表，以辅助系统执行分组。由此，代替基于最显著或最大量表示的面部对相片分组，基于剧本的事件和剧本中的演员的角色来对相片分组。由此，例如，在婚礼的背景下，婚礼相片书将具有基于各种演员的角色的演员的成比例表示，使得结婚的人将出现在更多镜头中，如与最显著地出现在相片中的出席者相反。类似地，在生日宴会的背景下，相片的分组包括各种事件，诸如打开礼物、吹灭蜡烛、共享气球、吃蛋糕等。因此，可本文档来自技高网...

【技术保护点】
1.一种对媒体对象进行分组的由计算机实施的方法，该方法包括：基于顺序事件的剧本和与该剧本中的媒体对象中的一个或更多个媒体对象关联的演员的组合，由所述媒体对象生成组；基于聚类或分类，将该组分割成各包括所述媒体对象中的一个或更多个媒体对象的区段；为所述区段添加标题和字幕；以及基于所述组的媒体对象之间在所述媒体对象、数据以及所述剧本和所述演员的组合方面的知识关联生成推荐。

【技术特征摘要】
2018.04.13 US 15/953,2991.一种对媒体对象进行分组的由计算机实施的方法，该方法包括：基于顺序事件的剧本和与该剧本中的媒体对象中的一个或更多个媒体对象关联的演员的组合，由所述媒体对象生成组；基于聚类或分类，将该组分割成各包括所述媒体对象中的一个或更多个媒体对象的区段；为所述区段添加标题和字幕；以及基于所述组的媒体对象之间在所述媒体对象、数据以及所述剧本和所述演员的组合方面的知识关联生成推荐。2.根据权利要求1所述的由计算机实施的方法，其中，所述推荐包括过滤效果推荐和贴纸推荐中的至少一项，并且所述推荐能够基于与知识库关联的数据而预测。3.根据权利要求2所述的由计算机实施的方法，其中，所述过滤效果推荐基于包括从一个或更多个其他用户接收的在线反馈在内的数据。4.根据权利要求2所述的由计算机实施的方法，其中，所述贴纸推荐基于包括与所述图像关联的信息在内的数据。5.根据权利要求2所述的由计算机实施的方法，其中，所述推荐包括贴纸、文本框以及表情符号中的至少一项的类型、位置以及密度中的一个或更多个。6.根据权利要求1所述的由计算机实施的方法，其中，生成所述组的步骤还包括基于媒体对象组中的所述演员和一个或更多个其他演员的布局来进行所述分组。7.一种包括处理器的非易失性计算机可读介质，该处理器被配置为执行存储在存储器中的指令，所述指令包括：基于顺序事件的剧本和与该剧本中的媒体对象中的一个或更多个媒体对象关联的演员的组合，由所述媒体对象生成组；基于聚类或分类，将该组分割成各包括所述媒体对象中的一个或更多个媒体对象的区段；为所述区段添加标题和字幕；以及基于所述组的媒体对象之间在所述媒体对象、数据以及所述剧本和所述演员的组合方面的知识关联生成推荐。8.根据权利要求7所述的非易失性计算机可读介质，其中，所述推荐包括过滤效果推荐和标注推荐中的至少一项，并且所述推荐能...

【专利技术属性】
技术研发人员：D·A·沙马，L·肯尼迪，弗朗辛·陈，Y·Y·陈，
申请(专利权)人：富士施乐株式会社，
类型：发明
国别省市：日本,JP