基于所生成的象形符创建数据的视觉表示的系统和方法技术方案

基于所生成的象形符创建数据的视觉表示的系统和方法。提供了一种用于创建数据的视觉表示的方法和系统。该方法可包括以下步骤：接收要由象形符表示的用户输入；通过神经网络基于根据所接收的用户输入提取的向量来生成象形符；将所生成象形符的方面与要在视觉上表示的数据的属性链接；以及显示使用所生成的象形符创建的数据的视觉表示，以表示所述数据的被链接的方面。

System and method of creating visual representation of data based on generated pictographs

A system and method for creating a visual representation of data based on the generated glyphs. A method and system for creating a visual representation of data is provided. The method can include the following steps: receiving the user input to be represented by the pictograph; generating the pictograph based on the vector extracted from the received user input through the neural network; linking the aspects of the generated pictograph with the attributes of the data to be represented visually; and displaying the visual representation of the data created by the generated pictograph to represent the data being represented The aspect of the link.

【技术实现步骤摘要】
基于所生成的象形符创建数据的视觉表示的系统和方法
本公开涉及使用所生成的独特象形符或图标的数据表示，更具体地，涉及使用由机器基于初始用户输入生成的象形符或图标来自动地创建数据的视觉表示的系统和方法。
技术介绍
在数据的数字显示中越来越多地使用象形符(Glyph)或图标来表示数据或思想。例如，可在通常用于视觉地和表现地传达数据中的消息的信息图表中使用象形符或图标。信息图中的象形符或图标可以是同时承载简明信息和提供引人注目的设计通常所需的信息图的不可或缺的组成部分，这可导致更高级别的专业性。象形符或图标通常还用在消息传送或通讯平台中以表达消息或概念。例如，表情符号(emoji)象形符或图标经常用于仅仅用最少数量的词语或者根本不用词语来表达感情或思想。为了准确地捕捉变化的思想或概念，这些象形符或图标可能需要相当大的编辑工作量。为了减少编辑工作，已开发了相关技术的创作工具来帮助设计者创建修改包含在信息图或消息传送应用中的象形符或图标。然而，许多相关技术的工具要求用户从头开始绘制象形符，这可能超出业余用户的能力。其它相关技术工具仅提供在现有数据库中搜索相关象形符，这可能被视为过时的或者产生潜在地侵犯版权的问题。本申请的示例实现方式可解决这些不足。
技术实现思路
本申请的方面可涉及一种创建数据的视觉表示的方法。该方法可包括以下步骤：接收要由象形符表示的用户输入；通过神经网络基于根据所接收的用户输入提取的向量来生成象形符；将所生成象形符的方面(aspect)与要在视觉上表示的数据的属性链接；以及显示使用所生成的象形符创建的数据的视觉表示，以表示所述数据的被链接的方面。本申请另外的方面可涉及一种存储有用于使计算机执行一种创建数据的视觉表示的方法的程序的非暂时性计算机可读介质。该方法可包括以下步骤：接收要由象形符表示的用户输入；通过神经网络基于根据所接收的用户输入提取的向量来生成象形符；将所生成的象形符的方面与要在视觉上表示的数据的属性链接；以及显示使用所生成的象形符创建的数据的视觉表示，以表示所述数据的被链接的方面。本申请另外的方面涉及一种生成象形符的方法。该方法可包括以下步骤：在显示器上提供用户界面，该用户界面被配置为接收要由象形符表示的用户输入，该用户输入包括词语、简短描述、用户生成的草图以及用户生成的笔画中的一个或更多个；通过神经网络基于根据所接收的用户输入提取的向量来生成潜在象形符；显示所生成的潜在象形符以供选择。本申请另外的方面涉及一种被配置为创建数据的视觉表示的计算机设备。该计算机设备可包括：用于接收要由象形符表示的用户输入的装置；用于通过神经网络基于根据所接收的用户输入提取的向量来生成象形符的装置；用于将所生成的象形符的方面与要在视觉上表示的数据的属性链接的装置；以及用于显示使用所生成的象形符创建的数据的视觉表示以表示所述数据的被链接的方面的装置。本申请另外的方面涉及一种被配置为生成象形符的计算机设备。该计算机设备可包括：用于在显示器上提供用户界面的装置，该用户界面被配置为接收要由象形符表示的用户输入，该用户输入包括词语、简短描述、用户生成的草图以及用户生成的笔画中的一个或更多个；用于通过神经网络基于根据所接收的用户输入提取的向量来生成潜在象形符的装置；用于显示所生成的潜在象形符以供选择的装置。附图说明本专利或申请文件包含至少一幅彩色附图。带有彩色附图的本专利或专利申请公布的副本将在请求并支付必要费用后由主管局提供。图1示出根据本申请示例实现方式的生成用于信息图的象形符或图标的过程的流程图。图2示出根据本申请示例实现方式的生成用于信息图的象形符或图标的另一过程的流程图。图3示出可用于控制根据本申请示例实现方式的系统的用户界面(UI)。图4示出根据本申请示例实现方式的生成象形符或图标的过程的流程图。图5示出根据本申请示例实现方式的图4所示的象形符生成过程的示意性表示。图6示出通过本申请示例实现方式实验性地产生的示例象形符类型的生成图像的网格。图7示出具有适用于本申请的一些示例实现方式的示例计算机装置的示例计算环境。具体实施方式以下详细描述提供了附图和本申请的示例实现方式的进一步的细节。为了清晰，省略了附图之间的冗余元件的附图标记和描述。贯穿说明书所使用的术语作为示例提供，并非旨在限制。例如，根据实践本申请实现方式的本领域普通技术人员中的一个的期望实现方式，术语“自动”的使用可包括全自动或者涉及用户或操作者对实现方式的某些方面进行控制的半自动实现方式。此外，诸如“第一”、“第二”、“第三”等的顺序术语可在说明书和权利要求中仅仅用于标记目的，而不应限于涉及所描述的动作或者项(item)按照所描述的顺序出现。在不脱离本申请的范围的情况下，动作或项可被排序为不同的顺序，或者可并行或动态地执行。如上所述，获得用于信息图注释或用在消息传送平台中的象形符(图标)可能是麻烦的。例如，用户可能无法创建它们，并且通过搜索识别的象形符可能导致版权问题以及难以识别相同样式的集合。本申请的示例实现方式可包括支持用户使用神经网络交互地创建、修改和引导象形符创作的系统和方法。该系统可包括提供非版权保护的象形符变型的图像象形符生成器以及支持如下面更详细讨论的象形符创建的接口。为了服务于更广范围的用户，示例实现方式可利用象形符图像生成器来示出各种候选象形符图像以供用户初始化和编辑进而创建期望的象形符。与在现有数据库中搜索相关象形符相比，所生成的象形符可以是独特的、新的，并且避免了版权问题。此外，在一些示例实现方式中，所生成的象形符可与已知的受版权保护的图标或象形符进行比较，并且当检测到的相似度超过阈值时，所生成的象形符可被拒绝并且更新生成模型，以在后续生成的象形符中创建更大的不相似。此外，可提供更高级别的自定义，因为可通过基于用户的图像和文本编辑自动地重新生成象形符图像来将用户反馈整合到交互过程中。值得注意的是，通过系统创建的生成象形符可表现出相当大的变化，该变化可以是在信息图中使用的头脑风暴创造性设计的有用参考。此外，尽管相关技术的系统可能还能够学习笔画顺序以生成类似人类图画的草图，但是根据示例实现方式的深度卷积生成式对抗网络(DCGAN)生成器不需要用笔画或绘画顺序训练信息来进行训练。在本申请中，术语“图像”和“图画”可互换使用，以描述照片、视频、三维或360°图像记录、图画、绘画、草图、计算机生成的图像或者可被产生、被捕捉或可以以其它方式表示物品、事件或真实世界中的存在的任何其它视觉表示中的一个或更多个。“图像”和“图画”可作为数据文件或其它数据结构存储在计算机可读介质上，该计算机可读介质包括但不限于磁存储装置、光学存储装置、固态存储装置、有机存储装置或者对于本领域普通技术人员而言可显而易见的任何其它存储装置。类似地，术语“象形符”、“图标”、或“图画”可互换使用，以描述对于本领域普通技术人员而言可显而易见的词语、短语、对象、地点、人或事物的任何图形概念表示。此外，“象形本文档来自技高网...

【技术保护点】
1.一种创建数据的视觉表示的方法，该方法包括以下步骤：/n接收要由象形符表示的用户输入；/n通过神经网络基于根据所接收的用户输入提取的向量来生成所述象形符；/n将所生成的象形符的方面与要在视觉上表示的数据的属性链接；以及/n显示使用所生成的象形符创建的所述数据的视觉表示，以表示所述数据的被链接的方面。/n

【技术特征摘要】
20180515 US 15/980,5261.一种创建数据的视觉表示的方法，该方法包括以下步骤：
接收要由象形符表示的用户输入；
通过神经网络基于根据所接收的用户输入提取的向量来生成所述象形符；
将所生成的象形符的方面与要在视觉上表示的数据的属性链接；以及
显示使用所生成的象形符创建的所述数据的视觉表示，以表示所述数据的被链接的方面。


2.根据权利要求1所述的方法，其中，生成象形符的步骤包括：
检测要表示的数据的属性的一种变化；
基于所接收的用户输入和所检测到的要表示的数据的变化来生成多个象形符，所述多个象形符包括所生成的象形符的所述方面的变化；并且
其中，将所生成的象形符的所述方面与所述属性链接的步骤还包括：
将所述多个象形符中的每一个与要表示的数据的属性的变化中的一个关联；
其中，显示所述数据的视觉表示的步骤包括：
创建包括所述多个象形符的图表。


3.根据权利要求2所述的方法，其中，提供所述图表的步骤包括：
从用户接收指定图表类型的图表参数；以及
将图表类型与由所接收的图表参数指定的所述图表类型对应的图表覆盖在所述多个象形符上，所述图表与要表示的所述数据的另一属性关联。


4.根据权利要求2所述的方法，其中，提供所述图表的步骤包括：
通过所述神经网络基于检测到所述数据的另一属性的另一种变化确定指定图表类型的图表参数；以及
将图表类型与由所确定的图表参数指定的图表类型对应的图表覆盖在所述多个象形符上，所述图表与要表示的所述数据的所述另一属性关联。


5.根据权利要求1所述的方法，其中，基于从所接收的用户输入提取的向量来生成所述象形符的步骤包括：
通过第一神经网络将所提取的向量与随机生成的向量组合，以生成潜在象形符；
通过第二神经网络将所生成的潜在象形符与基于所接收的用户输入选择的一个或更多个存储图像进行比较；
基于所述比较指示所述第二神经网络不能将所述潜在象形符与一个或更多个所选择的图像区分，选择所述潜在象形符，以用于链接到所述数据的所述属性；以及
基于所述第二神经网络确定所述潜在象形符不同于一个或更多个所选择的图像，通过所述第一神经网络生成另一潜在象形符。


6.根据权利要求5所述的方法，其中，所述第一神经网络被训练以生成与训练数据中提供的预先存在的象形符高度相似的潜在象形符；并且
其中，所述第二神经网络利用已被标记为相似或不相似的成对的象形符和其它图像进行了训练，以生成相似度确定模型。


7.根据权利要求1所述的方法，该方法还包括以下步骤：
在显示器上提供用户界面，该用户界面被配置为接收所述用户输入，所述用户输入包括下列中的一个或更多个：
词语；
简短描述；
用户生成的草图；以及
用户生成的笔画。


8.根据权利要求7所述的方法，该方法还包括：
接收其它用户输入；
通过所述神经网络基于所述其它用户输入来更新所生成的象形符，其中，所述其它用户输入包括下列中的一个或更多个：
更新的用户生成的草图；以及
其它的用户生成的笔画。


9.根据权利要求1所述的方法，其中，生成所述象形符的步骤还包括：
通过所述神经网络将所生成的象形符与已知受版权保护的一个或更多个存储的象形符进行比较；
基于所述比较指示所生成的象形符与已知受版权保护的所述一个或更多个存储的象形符之间的相似度没有超过阈值，选择所述潜在象形符，以用于链接到所述数据的所述属性；以及
基于所述比较指示所生成的象形符与已知受版权保护的所述一个或更多个存储象形符之间的相似度超过所述阈值，通过所述神经网络生成另一潜在象形符。


10.一种存储有用于使计算机执行创建数据的视觉表示的方法的程序的非暂时性计算机可读介质，该方法包括以下步骤：
接收要由象形符表示的用户输入；
通过神经网络基于根据所接收的用户输入提取的向量来生成所述象形符；
将所生成的象形符的方面与要在视觉上表示的数据的属性链接；以及
显示使用所生成的象形符创建的所述数据的视觉表示，以表示所述数据的被链接的方面。


11.根据权利要求10所述的非暂时性计算机可读介质，其中，生成象形符的步骤包括：
检测要表示的数据的属性的一种变化；
基于...

【专利技术属性】
技术研发人员：赵健，Y·Y·陈，弗朗辛·陈，
申请(专利权)人：富士施乐株式会社，
类型：发明
国别省市：日本;JP