用于记录、编辑和再现计算机会话的方法技术

本发明专利技术涉及一种用于记录、编辑和重放用户计算机会话的方法和系统，所述方法和系统在会话期间捕获一系列事件，包括桌面的初始状态以及与(多个)应用的所有用户交互。所述事件作为一个JSON对象的集合被记录并且存储在服务器上，并且表示会话的帧是可编辑的，包括把不同的文字、音频、视频和图像插入到记录中。记录器应用包括在JavaScript中实施的核心引擎以及在本地或者远程地可用于编辑和重放的各种服务器配置。

【技术实现步骤摘要】
用于记录、编辑和再现计算机会话的方法相关申请的交叉引用本申请是2016年7月13日提交的美国专利申请号15208643的继续部分申请，该申请通过引用的方式被全文合并在本文中。
本专利技术涉及一种用于记录用户动作的方法和系统，更具体来说涉及在针对台式或膝上型计算机上的应用进行工作的同时记录、编辑和再现用户web浏览器会话，或者更宽泛而言是用户会话。
技术介绍
人类生活的很大部分正越来越多地在线上进行，并且人们常常希望通过保存其与web浏览器的交互(或者更一般而言是其与台式/膝上型计算机上的应用的交互)来记住其线上生活的某些方面。当某人对他的线上经历进行记录时，很自然的是期望对这样的记录进行编辑以用于讲故事或者用于改进的未来通信。传统的记录可以通过视频屏幕捕获来实施。但是视频屏幕捕获不允许以所期望的细节水平对web浏览器会话的记录进行编辑。虽然可以使用两种类型的记录——参见图1，但是现有的手段都无法捕获与网页的每一项元素和交互，并且不允许在重放之前进行修改和编辑，保留超文本链接从而使得观看者可以通过在重放期间进行点击而跟随链接，以及修改任何元素或交互，这些对于视频屏幕记录都是不可能实现的。希望能够替换页面上的任何元素以及删除或改变任何交互，从而允许对所记录的web浏览器会话作出不受限制的改变。还希望存储记录以用于单独的按需重放。用户可能想要向较大的观看者群组同时广播记录，或者在进行记录时实况流送记录。在重放之前或者在实况流送期间，可以通过可点击和交互式的内容或广告来替换网页的元素，可以基于可用于重放软件的数据针对群组或个人对所述内容或广告进行个性化。但是传统的视频记录并未提供这些特征。有几个软件工具被用于用户体验研究和测试。传统的工具监测用户与网站的交互。这些用于“顾客体验管理”的工具由网站的开发者使用来监测网站访问者对网站的使用，通常是为了改进网站的可用性或者增加来自网站上的消费者购买的收益。这些软件工具必须由开发者安装在其自身的网站上。这些软件工具当中的一些监测从web浏览器到web服务器的请求，其他的软件工具则使用浏览器API来监测例如链接上的点击之类的用户交互。这些软件工具被用于收集关于大量访问网站的人的数据，并且所述数据常常以热度图(heatmap)图表或汇总表(summarytable)的形式被呈现。在被用于顾客体验管理的工具当中有用于“会话回放”的工具。会话回放是回放访问者在网站上或web应用内的旅程的能力。回放可以包括用户的视图(浏览器或屏幕输出)、用户输入(键盘和鼠标输入)以及网络事件的日志或控制台日志。其主要目的时帮助改进顾客体验，从而研究网站可用性和顾客行为。大多数提供会话回放的工具依赖于对于web浏览器会话的视频屏幕记录。一些高级的工具使用浏览器API来记录关于用户与网页的交互的数据。被用于同样访问浏览器API的顾客体验管理的工具之间在技术和目的方面都存在关键差异。首先，被用于顾客体验管理的工具由web开发者仅安装在其自身的站点上。所述工具只能被用来记录和回放针对开发者自身的站点的访问。与此对照，希望记录和重放针对任何网站的访问。其次，被用于顾客体验管理的工具按照针对聚合分析和研究所设计的形式来保存数据。与此对照，希望按照允许在回放之前对web浏览器会话进行编辑的格式来保存数据。传统的手段无法以所期望的细节或交互的水平来捕获、编辑和重放web浏览器会话。相应地，希望有一种出于娱乐或教育目的(而不仅仅是用于分析顾客行为)记录、编辑和再现web浏览器会话的系统和方法。还希望能够使用web浏览器本身作为媒介创建娱乐或教叙事，而不是作为视频来记录屏幕上交互。
技术实现思路
相应地，本专利技术涉及一种用于在针对台式或膝上型计算机上的应用进行工作的同时记录、编辑和再现用户web浏览器会话或者更一般而言是用户会话的方法和系统，从而基本上消除相关技术的其中一个或多个缺点。在一个实施例中，提供一种用于记录、编辑和重放web浏览器会话的方法和系统，所述方法和系统捕获针对网页的一系列用户访问，包括每一个页面的初始状态以及与网页的所有用户交互。应用(application)使用web浏览器的原生API(应用编程接口)按照独有的数据格式而不是作为视频来记录和存储网页和用户交互。不同于对于计算机屏幕的视频记录，通过使用浏览器的原生API进行记录使得有可能对用户的web会话的记录进行编辑，从而按照对于视频记录所不可能的方式来修改记录。记录器应用包括在JavaScript(浏览器的原生编程语言，其可以被内建到web浏览器中或者被添加为浏览器扩展)中实施的核心引擎再加上用于重放的各种本地或远程服务器配置。记录可以被用于娱乐或教育目的。本专利技术的附加的特征和优点将在后面的描述中进行阐述，并且部分地将通过所述描述而变得显而易见，或者可以通过实践本专利技术而获知。通过特别在书面描述及其权利要求以及附图中所指出的结构将会实现并且获得本专利技术的优点。应当理解的是，前面的一般性描述和后面的详细描述都是示例性和解释性的，并且是为了提供关于所要求保护的本专利技术的进一步解释。附图说明包括附图是为了提供对于本专利技术的进一步理解，附图被合并在本说明书并且构成本说明书的一部分，其示出本专利技术的实施例并且与描述部分一起用来解释本专利技术的原理。在附图中：图1示出了用于记录用户动作的传统模式；图2示出了如何安装和使用记录应用；图3示出了根据示例性实施例的用户界面和处理流程；图4所示出的图示描绘出根据示例性实施例的使用在web浏览器记录中的独有数据格式；图5描绘出由示例性实施例提供的文件；图6示出了示例性实施例的架构；图7示出了根据示例性实施例的一种方法的流程图；图8A示出了安装有并且正在运行记录器应用(参见右上角的圆形按钮)的浏览器页面；图8B示出了正在显示具有可用记录的重放窗口的浏览器页面；图9示出了正从本地寄主播放的所记录页面的截屏图；图10示出了可以被用于实施本专利技术的示例性计算机或服务器的示意图；图11、12A、12B、13、14、15A、15B和16示出了说明本文中所描述的概念的示例性截屏图。具体实施方式现在将详细参照本专利技术的优选实施例，其实例在附图中示出。在本专利技术的一个方面中，提供一种用于在针对台式或膝上型计算机上的应用进行工作的同时对用户web浏览器会话或者更宽泛而言是用户会话进行记录、后续编辑和再现的方法和系统。在一个实施例中，浏览器扩展(插件)和本地web服务器被配置成记录和存储与网页的用户交互。浏览器扩展被用于进行记录。浏览器扩展被安装在web浏览器(例如GoogleChromeTM)中。所述示例性实施例还可以被实施成用于其他web浏览器的浏览器扩展，比如Safari、Firefox、Edge、Opera和InternetExplorer。浏览器扩展包括(在本例中)用JavaScript编程语言编写的软件代码。核心引擎捕获网页的初始状态以及用户与网页的每一项交互。页面的初始状态和每一个交互事件被捕获为数据，并且与时间标记一起被保存到事件流。事件流作为文件被存储在独有的数据格式中。或者，数据流可以被保存到数据库。事件流包含使得重放服务器再现用户的web浏览器会话所需要的所有数据。使用JSON(JavaScript对象标记)数据交换格式来存储事本文档来自技高网...

【技术保护点】
1.一种用于在计算机上记录、编辑和再现用户会话的方法，所述方法包括：发起记录与计算机的用户交互；生成用户交互的记录，其中所述记录包括鼠标事件和显示事件；把记录写入到脚本中；为软件元素指派独有的ID；捕获软件的初始状态；捕获表示与计算机的用户交互的事件；把记录发送到服务器；提供用以编辑存储在服务器上的记录的界面，其中所述编辑包括针对存储在记录中的对象、元素、文字或图像的改变；以及响应于针对重放记录的用户请求(a)打开浏览器窗口；以及(b)重放经过编辑的记录；其中，使用JavaScript对象标记(JSON)格式保存事件。

【技术特征摘要】
2017.09.19 US 15/708,3121.一种用于在计算机上记录、编辑和再现用户会话的方法，所述方法包括：发起记录与计算机的用户交互；生成用户交互的记录，其中所述记录包括鼠标事件和显示事件；把记录写入到脚本中；为软件元素指派独有的ID；捕获软件的初始状态；捕获表示与计算机的用户交互的事件；把记录发送到服务器；提供用以编辑存储在服务器上的记录的界面，其中所述编辑包括针对存储在记录中的对象、元素、文字或图像的改变；以及响应于针对重放记录的用户请求(a)打开浏览器窗口；以及(b)重放经过编辑的记录；其中，使用JavaScript对象标记(JSON)格式保存事件。2.根据权利要求1所述的方法，其中，用户对本地存储在他的计算机上的记录进行编辑。3.根据权利要求1所述的方法，其中，用户交互被存储为一个帧集合，其中用户与之进行交互的每一个应用具有一个文件夹，所述文件夹具有帧号，并且每一帧包括被存储的对象的分级结构。4.根据权利要求3所述的方法，其中，在关键帧中重新绘制对象，从而重复其视觉。5.根据权利要求3所述的方法，其中，所述分级结构中的每一个对象包含在一个列表中描述的元数据，并且所述元数据是四种类型当中的一种：图像、图形、文字或群组。6.根据权利要求5所述的方法，其中，当用户选择一个子代对象时，其群组对象被替换地选择。7.根据权利要求1所述的方法，其中，在用于浏览器的插件中实施记录。8.根据权利要求1所述的方法，其中，Mouse文件夹存储鼠标光标的移动，并且对于每一帧创建一个plist文件，该文件包含鼠标坐标、光标类型和尺寸以及表明鼠标在该帧中是否被点击的标志。9.根据权利要求8所述的方法，其中，在会话期间所记录的所有鼠标光标移动都被包含在Mouse文件夹中。10.根据权利要求1所述的方法，其中，所述记录还包括视频。11.根据权利要求1所述的方法，其中，所述记录还包括来自计算机的视频输入设备的音频和视频。12.根据权利要求1所述的方法，其中，所述用户交互包括以下用户交互当中的任一项：鼠标事件；页面和...

【专利技术属性】
技术研发人员：提莫·贝克曼贝托夫，盖·贝德福特，丹尼尔·凯霍，
申请(专利权)人：屏幕分享科技有限公司，
类型：发明
国别省市：塞浦路斯,CY