获取用户输入制造技术

描述了获取用户输入的计算机实现方法。第一种这类方法包括：（a）提供对视频内容的访问，视频内容表示包括供用户选择的多个元素的用户接口；（b）向用户播放视频内容的第一部分；（c）检测响应于所播放的视频内容的第一部分而发生的第一用户交互；以及（d）基于检测到的第一用户交互的一个或多个属性来确定用户选择的第一元素。第二种这类方法包括：（a）提供对以压缩视频格式编码的预生成视频内容的一个或多个帧的访问；（b）向用户显示以压缩视频格式编码的初始视频内容，所述初始视频内容基于预生成视频内容的一个或多个帧，并且初始视频内容表示供用户选择的多个图形元素；（c）检测响应于所显示的初始视频内容而发生的第一用户交互；（d）基于检测到的第一用户交互的一个或多个属性来确定用户选择的第一图形元素；（e）响应于第一用户交互，基于预生成视频内容的一个或多个帧以及第一用户交互的一个或多个属性来生成以压缩视频格式编码的新视频内容；以及（f）向用户显示新视频内容。还描述了对应的装置、计算机程序以及计算机可读介质。

Get user input

This paper describes a computer implementation method for obtaining user input. The first of these methods includes: (a) providing access to video content, which represents a user interface comprising multiple elements selected by the user; (b) playback the first part of the video content to the user; (c) detection of first user interaction occurring in response to the first part of the video content played; and (d) detection of one or more of the first user interactions based on the detected first user interaction. Multiple attributes determine the first element selected by the user. The second method includes: (a) providing access to one or more frames of pre-generated video content encoded in compressed video format; (b) displaying to the user the initial video content encoded in compressed video format, which is based on one or more frames of pre-generated video content, and the initial video content represents a plurality of graphic elements for user selection; (c) detection of first user interaction in response to the displayed initial video content; (d) determination of the first graphic element selected by the user based on one or more attributes of the detected first user interaction; (e) generation for compression based on one or more frames of pre-generated video content and one or more attributes of the first user interaction in response to the first user interaction New video content encoded in video format; and (f) displaying new video content to users. The corresponding device, computer program and computer readable medium are also described.

【技术实现步骤摘要】
【国外来华专利技术】获取用户输入
本专利技术涉及获取用户输入的计算机实现方法。例如，所述方法可以用于经由移动设备上的用户接口获取用户PIN输入的安全录入。
技术介绍
当前移动设备（例如，平板计算机、平板PC、电话）是具有相对大的显示器的计算平台，所述显示器具有覆盖的触摸屏来获取用户输入。这类设备基于操作系统（例如，安卓、IOS、Windows10Mobile）和从APP商店获取的软件应用（“APP”）的集合。OS支持用于获取用户输入的各种标准用户接口小部件，诸如具有子菜单的下拉菜单、按钮（例如，单选按钮、复选框、循环按钮）、列表框、微调器、下拉列表、滚动条、文本框、虚拟键盘和发布WIMP元素。通过使用独立于主中央处理单元（CPU）操作的图形处理单元（GPU）来实现这些用户接口小部件。GPU实现2D计算机图形处理（例如，阿尔法合成）和3D计算机图形。通常经由图形库（例如，X11、OpenGL、MetaliOS）访问GPU能力的细节。移动设备通常使用与个人计算机和膝上型计算机不同的交互技术。这类用户交互对于最终用户而言是如此熟悉的以至于它们越来越多地在web内容（或web应用）中被采用。Web浏览器现在广泛支持HTML5；标记语言标准的第五个主要版本。该标准的重要新特征是HTML5视频元素，所述HTML5视频元素取代专有浏览器插件或浏览器扩展，以经由网页显示视频内容。HTML5还支持增大范围的JavaScriptAPI，诸如提供web浏览器和数字版权管理（DRM）代理软件之间的通信通道的加密媒体扩展（EME），从而使得能够呈现受保护视频内容。HTML5视频元素具有在文档对象模型（DOM）中曝光的特质，因此它们可以被web内容中包含的JavaScript代码访问和操控。HTML5浏览器中的EME实现ISO公共加密流格式，所述ISO公共加密流格式基于通常称为ISO基媒体文件格式的MPEG4（ISO14496）第12部分规范。使用AES-128以CTR（计数器）模式（其将块密码转换成流密码）来加密内容。MPEGDASH互操作性论坛推广具有有关规范用法建议的MPEGDASH互操作性指南。DASH-IF互操作性点（IOP）的版本3.1的第七章描述并阐明了用于顶部之上（OTT）视频内容的对减少的加密参数集和元数据的使用来支持具有密钥轮换（定期改变加密密钥）的视频点播和实况内容。PCT/EP2015/069294描述了安全视频回放模块的使用来显示随机数字键盘布局以收集用户PIN而不向观察所有用户输入的相同计算平台上的监视应用显露PIN。该技术运用安全视频回放模块中支持的安全视频路径技术，所述安全视频路径技术防止其他应用访问视频显示存储器。PCT/EP2015/069294还描述了其中该技术可用于包括在加密域中生成受保护视频内容的技术的一系列在线和离线应用的多种方式。现有的键盘/小键盘布局随机化技术从例如US2012/0132705、US201/0006996、JP2000-276628、US2014/0351739和US2006/0224523已知。与PCT/EP2015/069294中描述的安全视频回放技术组合，这使得攻击者很难将用户输入与PIN值进行关联。本专利技术寻求提供获取用户输入（例如，PIN）的可替换计算机实现方法，所述方法提供超越现有技术的那些的各种优点。
技术实现思路
一些软件应用在具有对用户图形API的有限访问的执行环境中操作。作为示例，HTML5web应用需要通过组合适当的层叠样式表（CSS）格式操控DOM来实现用户接口。这可能复杂化或限制用户交互模式的实现。现有的键盘/小键盘布局随机化技术仅提供用户输入的有限随机化，尤其是在用户习惯于特定PIN录入方法时。这使具有对用户输入的访问的攻击者更容易将输入与特定PIN进行关联。本专利技术设想到使用视频内容和相关联的回放控制来实现的用户接口。用户接口旨在获取用户输入，并且然后实现与该输入相关的响应。本专利技术使用视频回放控制来实现宽范围的用户接口元素/小部件。可以以压缩视频内容编码用户接口，并且客户端应用通过在视频中的动画开始时间偏移处开始回放并且通过在结束时间偏移处结束（暂停）动画回放来激活适当的动画。内容可以被预生成并存储在本地或存储在服务器处。可替换地，可以（部分地）以压缩视频格式实时生成内容。视频内容生成使用预编译内容片段（例如，I帧）来利用所意图用户交互的知识。还可以在客户端应用中实现该视频内容编码。为了保护内容以免被攻击者访问，有利地（部分地）加密内容。更具体地，加密预生成内容片段，并且允许运动补偿帧（例如，B帧和/或P帧）为明文（因为这不显露视频内容）。这使得能够实现用于PIN录入（旋转数字轮、旋转数字拨盘和移动数字）的可替换用户接口，所述可替换用户接口实现用户输入方面更大程度的随机性。应当指出，一般原理允许非常宽广范围的用户交互被实现为编码视频。其使用用户交互的知识以大幅改进编码效率。根据本专利技术的第一方面，提供一种获取用户输入的计算机实现方法。所述方法包括：（a）提供对视频内容的访问，视频内容表示包括供由用户选择的多个元素的用户接口；（b）向用户播放视频内容的第一部分；（c）检测响应于所播放的视频内容的第一部分而发生的第一用户交互；以及（d）基于检测到的第一用户交互的一个或多个属性来确定用户选择的第一元素。根据本专利技术的第一方面，提供一种获取用户输入的计算机实现方法。所述方法包括：（a）提供以压缩视频格式编码的预生成视频内容的一个或多个帧的访问；（b）向用户显示以压缩视频格式编码的初始视频内容，初始视频内容基于预生成视频内容的一个或多个帧，并且初始视频内容表示供用户选择的多个图形元素；（c）检测响应于所显示的初始视频内容而发生的第一用户交互；（d）基于检测到的第一用户交互的一个或多个属性来确定用户选择的第一图形元素；（e）响应于第一用户交互，基于预生成视频内容的一个或多个帧和第一用户交互的一个或多个属性来生成以压缩视频格式编码的新视频内容；以及（f）向用户显示新视频内容。根据本专利技术的另外的方面，提供一种被布置为施行根据第一或第二方面的方法的装置、一种当由一个或多个处理器执行时引起一个或多个处理器施行根据第一或第二方面的方法的计算机程序、以及一种存储这类计算机程序的计算机可读介质。在所附权利要求中阐述本专利技术的其他优选特征。附图说明现在将参考附图作为举例描述本专利技术的实施例，附图中：图1示意性地图示了可以在本专利技术的实施例中使用的计算机系统100的示例；图2示意性地图示了根据本专利技术的第一方面的获取用户输入的计算机实现方法200；图3示意性地图示了用于获取用户输入的数字轮300；图4示意性地图示了针对数字轮上的数字的稳定数字轮位置；图5示意性地图示了两个稳定数字轮位置之间的中间数字轮位置；图6示意性地图示了用于获取用户输入的可替换数字轮600；图7示意性地图示了用于获取用户输入的包括四个数字轮的GUI700;图8示意性地图示了GUI700，其中一个数字轮示出消隐的数字；图9示意性地图示了用于获取用户输入的虚拟键盘900；图10示意性地图示了根据本专利技术的第二方面的获取用户输入的计算机实现方法1000；图11示意性地图示了针对视频内容的两个不同帧的六个宏块的子集；图12示意性地图示本文档来自技高网...

【技术保护点】
1.一种获取用户输入的计算机实现方法，包括：提供对视频内容的访问，视频内容表示包括供用户选择的多个元素的用户接口；向用户播放视频内容的第一部分；检测响应于所播放的视频内容的第一部分而发生的第一用户交互；以及基于检测到的第一用户交互的一个或多个属性来确定用户选择的第一元素。

【技术特征摘要】
【国外来华专利技术】1.一种获取用户输入的计算机实现方法，包括：提供对视频内容的访问，视频内容表示包括供用户选择的多个元素的用户接口；向用户播放视频内容的第一部分；检测响应于所播放的视频内容的第一部分而发生的第一用户交互；以及基于检测到的第一用户交互的一个或多个属性来确定用户选择的第一元素。2.根据权利要求1所述的方法，其中多个元素包括供用户选择的至少一个音频元素。3.根据权利要求1或权利要求2所述的方法，其中多个元素包括供用户选择的至少一个图形元素。4.根据权利要求3所述的方法，其中至少一个图形元素包括以下中的一个或多个：字符、数字、字母、符号、标点符号、标记、菜单项、按钮、列表框项、微调器选项、下拉列表项、滚动条项、文本框项、虚拟键盘键、计算机游戏图形和/或另一图形。5.根据任一前述权利要求所述的方法，其中第一用户交互包括以下中的至少一个：与触摸屏的交互；与键盘或小键盘的交互；与鼠标的交互；与相机的交互；与麦克风的交互；以及与另一形式的传感器或输入设备的交互。6.根据任一前述权利要求所述的方法，其中第一用户交互的一个或多个属性包括以下中的至少一个：用户交互的时间；用户交互的位置；用户交互的移动方向；用户交互的移动速度；用户交互在时间方面的长度；用户交互的物理长度；用户交互的声音；以及用于检测用户交互的传感器或输入设备的标识。7.根据权利要求1至6中任一项所述的方法，其中第一用户交互的一个或多个属性与第一元素唯一地相关联。8.根据权利要求1至6中任一项所述的方法，其中确定用户选择的第一元素还基于所播放的视频内容的第一部分。9.根据权利要求8中任一项所述的方法，其中第一用户交互的一个或多个属性和所播放的视频内容的第一部分一起与第一元素唯一地相关联。10.根据权利要求1至9中任一项所述的方法，其中视频内容是单个视频文件。11.根据权利要求1至9中任一项所述的方法，其中视频内容由多个视频文件构成。12.根据任一项前述权利要求所述的方法，其中视频内容至少部分地被加密。13.根据权利要求12所述的方法，其中视频内容包括I帧和其他帧，至少I帧被加密。14.根据任一项前述权利要求所述的方法，其中视频内容表示图形元素轮的旋转，多个元素包括图形元素。15.根据权利要求14所述的方法，其中视频内容是包括第一和第二部分的单个视频文件，第一部分表示轮在第一方向上的旋转，并且第二部分表示轮在与第一方向相反的第二方向上的旋转。16.根据权利要求14所述的方法，其中视频内容由第一和第二视频文件构成，第一视频文件表示轮在第一方向上的旋转，并且第二视频文件表示轮在与第一方向相反的第二方向上的旋转。17.根据任一项前述权利要求所述的方法，还包括：响应于第一用户交互，向用户播放视频内容的第二部分，视频内容的第二部分是基于第一用户交互的一个或多个属性而被选择的。18.根据权利要求1至17中任一项所述的方法，其中视频内容的第一部分由视频内容的单个帧组成，使得播放第一部分包括静态播放单个帧。19.根据权利要求1至17中任一项所述的方法，其中第一部分包括视频内容的多个帧。20.根据权利要求19所述的方法，还包括：响应于第一用户交互而暂停视频内容的第一部分的播放。21.根据权利要求19或权利要求20所述的方法，其中视频内容的第一部分表示图形元素的多个轮的旋转，多个元素包括图形元素，其中第一用户交互的位置与多个轮中的第一轮相关联，所述方法还包括：响应于第一用户交互，向用户播放视频内容的第二部分，第二部分包括视频内容的多个帧，其中在视频内容的第二部分中第一轮是静止的。22.根据权利要求21所述的方法，还包括：检测响应于所播放的视频内容的第二部分的第二用户交互；以及基于所播放的视频内容和检测到的第二用户交互的一个或多个属性来确定用户选择的第二元素。23.根据权利要求22所述的方法，其中第一视频节段包括视频内容的第一部分，并且第二视...

【专利技术属性】
技术研发人员：A刘，W莫伊吉，S拉马克里希纳，C钱伯斯，
申请(专利权)人：爱迪德技术有限公司，
类型：发明
国别省市：荷兰,NL