一种通用的用户桌面行为模拟系统及方法技术方案

本发明专利技术提供通用的用户桌面行为模拟系统及方法，通过采集和分析用户行为，挖掘用户行为中蕴含的软件操作知识，构建用户行为的表述模型，从而实现智能自动化的桌面行为脚本生成，提供软件自动化使用和模拟指定真实用户桌面行为的功能。针对网络靶场和测试床中对逼真用户行为模拟和桌面环境下执行自动化软件操作、智能脚本生成的需求，提供了一种通用的用户桌面行为模拟系统及方法。该系统能够精确采集所需行为数据，既可以高度复现用户的历史行为，又可以挖掘用户行为蕴含的软件操作知识，从而实现自动化操作、脚本生成和用户桌面行为模拟。

A General User Desktop Behavior Simulation System and Method

The invention provides a general user desktop behavior simulation system and method. By collecting and analyzing user behavior, mining the software operation knowledge contained in user behavior, and constructing the expression model of user behavior, the intelligent and automated desktop behavior script generation can be realized, and the functions of software automation and Simulation of designated real user desktop behavior can be provided. Aiming at the requirement of simulation of user's behavior and execution of automated software operation and intelligent script generation in desktop environment in network shooting range and test bed, a general system and method of user's desktop behavior simulation is provided. The system can accurately collect the required behavior data. It can not only highly reproduce the user's historical behavior, but also excavate the software operation knowledge contained in the user's behavior, so as to realize automatic operation, script generation and user desktop behavior simulation.

【技术实现步骤摘要】
一种通用的用户桌面行为模拟系统及方法
本专利技术涉及用户行为模拟与智能脚本生成领域，尤其是一种通用的用户桌面行为模拟系统及方法。
技术介绍
用户行为模拟可用于软件测试、虚拟用户生成、智能操作助手等技术的实现，特别地，在网络靶场中，用户行为模拟还被用于挖掘用户行为习惯，以模拟出真实地、有用户特征的用户行为。目前，现有技术中关于用户桌面行为模拟的研究甚少，现有用户桌面行为模拟的实现方法大多停留在用户鼠标键盘操作的简单录制回放、由技术人员编写定制化脚本、或手动设计有限状态机模型等层次上，具有开发成本大、可扩展性差、不能体现用户行为特征等问题。在软件测试、脚本生成等需求下缺乏一种可扩展性好、自动化程度高的解决方案；在网络靶场等对模拟逼真度要求高的场景下，缺乏一种相似度好、多样性高的对真实用户行为进行模拟的方案。
技术实现思路
为了克服上述现有技术中的不足，本专利技术提供一种通用的用户桌面行为模拟系统，包括：用户行为捕获模块，行为知识构建模块以及用户桌面行为模拟模块；用户行为捕获模块用于实时采集用户行为数据；采集的数据包括：用户的鼠标键盘操作、程序运行状态、屏幕截图以及与用户操作有关的系统参数；行为知识构建模块用于利用状态匹配，将预处理所得的快照-行为链中的快照合并，对每个状态进行操作，提取操作目标；操作目标结合鼠标键盘数据组成定义操作；通过状态及操作组成的用户历史行为轨迹，挖掘出状态内及状态间的转换规则，剔除转换规则中的错误数据和噪声数据，生成包括：状态节点、状态转换规则的用户行为状态图，所述用户行为状态图为行为知识的存储形式；用户桌面行为模拟模块用于基于已建立的用户行为状态图，采用回放、或模板定制、或模型生成，进行行为生成与模拟。本专利技术中，用户行为捕获模块还用于捕获用户的桌面行为轨迹，通过鼠标键盘操作、GUI界面和程序状态的变化表现出来；捕获的数据包括：用户输入操作、程序运行状态、界面变化；通过采集和融合捕获的数据，描述和复现用户行为轨迹；还用于将采集用户的所有操作，并采集用户操作前、后的快照。本专利技术中，每个快照数据样本由预设时间段采集到的程序运行状态、屏幕截图、系统参数构成，表示了系统桌面的状态和设置。本专利技术中，行为知识构建模块还用于利用状态匹配，将桌面快照按照状态实体归类，匹配时，统计各状态的到达频次、离开频次；将状态的定义属性分为精确定义属性、模糊定义属性和辅助定义属性；还用于对含操作目标的操作进行操作提取，所述含操作目标的操作包括：鼠标单击、鼠标拖拽、鼠标双击；还用于利用操作匹配，将每个状态下的操作归类为若干个操作，去除每个状态下的重复操作，归类的同时统计各操作的使用次数；还用于构建行为状态图；基于原始的快照-操作事件行为链转化为状态-操作行为链，将状态-操作行为链的状态视为节点、操作视为节点间的边，按照状态-操作行为链逐步构建行为状态图；还用于将行为状态图中异常路径的过滤分为计算过滤和试探过滤。本专利技术中，用户桌面行为模拟模块还用于支持四类用户行为模拟场景，使用时按照需求采用相应的模拟场景；四类用户行为模拟场景包括：基于历史数据回放的行为复现；基于模板编辑的定制化行为模拟；基于模型的逼真用户行为生成与模拟；基于局部描述指令的行为自动生成与模拟；行为模拟过程运行于部署的计算机上，按照相应的策略持续产生和执行行为。一种通用的用户桌面行为模拟方法，方法包括：步骤一，实时采集用户行为数据；采集的数据包括：用户的鼠标键盘操作、程序运行状态、屏幕截图以及与用户操作有关的系统参数；步骤二，利用状态匹配，将预处理所得的快照-行为链中的快照合并，对每个状态进行操作，提取操作目标；操作目标结合鼠标键盘数据组成定义操作；通过状态及操作组成的用户历史行为轨迹，挖掘出状态内及状态间的转换规则，剔除转换规则中的错误数据和噪声数据，生成包括：状态节点、状态转换规则的用户行为状态图，所述用户行为状态图为行为知识的存储形式；步骤三，基于已建立的用户行为状态图，采用回放、或模板定制、或模型生成，进行行为生成与模拟。本专利技术中，步骤一还包括：捕获用户的桌面行为轨迹，通过鼠标键盘操作、GUI界面和程序状态的变化表现出来；捕获的数据包括：用户输入操作、程序运行状态、界面变化；通过采集和融合捕获的数据，描述和复现用户行为轨迹；将采集用户的所有操作，并采集用户操作前、后的快照。本专利技术中，步骤二还包括：利用状态匹配，将桌面快照按照状态实体归类，匹配时，统计各状态的到达频次、离开频次；将状态的定义属性分为精确定义属性、模糊定义属性和辅助定义属性；对含操作目标的操作进行操作提取，所述含操作目标的操作包括：鼠标单击、鼠标拖拽、鼠标双击；利用操作匹配，将每个状态下的操作归类为若干个操作，去除每个状态下的重复操作，归类的同时统计各操作的使用次数；构建行为状态图；基于原始的快照-操作事件行为链转化为状态-操作行为链，将状态-操作行为链的状态视为节点、操作视为节点间的边，按照状态-操作行为链逐步构建行为状态图；将行为状态图中异常路径的过滤分为计算过滤和试探过滤。本专利技术中，步骤三还包括：支持四类用户行为模拟场景，使用时按照需求采用相应的模拟场景；四类用户行为模拟场景包括：基于历史数据回放的行为复现；基于模板编辑的定制化行为模拟；基于模型的逼真用户行为生成与模拟；基于局部描述指令的行为自动生成与模拟；行为模拟过程运行于部署的计算机上，按照相应的策略持续产生和执行行为。从以上技术方案可以看出，本专利技术具有以下优点：本专利技术通过采集和分析用户行为，挖掘用户行为中蕴含的软件操作知识，构建用户行为的表述模型，从而实现智能自动化的桌面行为脚本生成，提供软件自动化使用和模拟指定真实用户桌面行为的功能。本专利技术针对网络靶场和测试床中对逼真用户行为模拟和桌面环境下执行自动化软件操作、智能脚本生成的需求，提供了一种通用的用户桌面行为模拟系统及方法。该系统能够精确采集所需行为数据，既可以高度复现用户的历史行为，又可以挖掘用户行为蕴含的软件操作知识，从而实现自动化操作、脚本生成和用户桌面行为模拟。本专利技术是一个智能自动化的高逼真度用户桌面行为模拟系统。本专利技术实际部署时可提供的典型功能包括：1)用户历史行为录制与回放；2)基于模板编辑的定制化行为模拟；3)基于模型的逼真用户行为生成与模拟；4)基于局部描述指令的行为自动生成与模拟。本专利技术能够较完整地捕获用户桌面行为数据，构建历史行为轨迹库和基于行为状态图的行为知识库，实现了用户行为的录制与回放等多种适用于不同场景的用户行为生成与模拟方法，适应了网络靶场、软件测试等对自动化行为生成模拟、高逼真度行为生成模拟的需求。附图说明为了更清楚地说明本专利技术的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为通用的用户桌面行为模拟系统示意图；图2为通用的用户桌面行为模拟系统实施例示意图；图3为数据采集流程示意图；图4为快照-操作事件行为链构建流程图；图5为行为状态图构建流程图；图6行为状态图一般结构示意图；图7为通用的用户桌面行为模拟方法流程图。具体实施方式本专利技术提供一种通用的用户桌面行为模拟系统，如图1所示，本文档来自技高网...

【技术保护点】
1.一种通用的用户桌面行为模拟系统，其特征在于，包括：用户行为捕获模块，行为知识构建模块以及用户桌面行为模拟模块；用户行为捕获模块用于实时采集用户行为数据；采集的数据包括：用户的鼠标键盘操作、程序运行状态、屏幕截图以及与用户操作有关的系统参数；行为知识构建模块用于利用状态匹配，将预处理所得的快照行为链中的快照合并，对每个状态进行操作，提取操作目标；操作目标结合鼠标键盘数据组成定义操作；通过状态及操作组成的用户历史行为轨迹，挖掘出状态内及状态间的转换规则，剔除转换规则中的错误数据和噪声数据，生成包括：状态节点、状态转换规则的用户行为状态图，所述用户行为状态图为行为知识的存储形式；用户桌面行为模拟模块用于基于已建立的用户行为状态图，采用回放、或模板定制、或模型生成，进行行为生成与模拟。

【技术特征摘要】
1.一种通用的用户桌面行为模拟系统，其特征在于，包括：用户行为捕获模块，行为知识构建模块以及用户桌面行为模拟模块；用户行为捕获模块用于实时采集用户行为数据；采集的数据包括：用户的鼠标键盘操作、程序运行状态、屏幕截图以及与用户操作有关的系统参数；行为知识构建模块用于利用状态匹配，将预处理所得的快照行为链中的快照合并，对每个状态进行操作，提取操作目标；操作目标结合鼠标键盘数据组成定义操作；通过状态及操作组成的用户历史行为轨迹，挖掘出状态内及状态间的转换规则，剔除转换规则中的错误数据和噪声数据，生成包括：状态节点、状态转换规则的用户行为状态图，所述用户行为状态图为行为知识的存储形式；用户桌面行为模拟模块用于基于已建立的用户行为状态图，采用回放、或模板定制、或模型生成，进行行为生成与模拟。2.根据权利要求1所述的通用的用户桌面行为模拟系统，其特征在于，用户行为捕获模块还用于捕获用户的桌面行为轨迹，通过鼠标键盘操作、GUI界面和程序状态的变化表现出来；捕获的数据包括：用户输入操作、程序运行状态、界面变化；通过采集和融合捕获的数据，描述和复现用户行为轨迹；还用于将采集用户的所有操作，并采集用户操作前、后的快照。3.根据权利要求2所述的通用的用户桌面行为模拟系统，其特征在于，每个快照数据样本由预设时间段采集到的程序运行状态、屏幕截图、系统参数构成，表示了系统桌面的状态和设置。4.根据权利要求1所述的通用的用户桌面行为模拟系统，其特征在于，行为知识构建模块还用于利用状态匹配，将桌面快照按照状态实体归类，匹配时，统计各状态的到达频次、离开频次；将状态的定义属性分为精确定义属性、模糊定义属性和辅助定义属性；还用于对含操作目标的操作进行操作提取，所述含操作目标的操作包括：鼠标单击、鼠标拖拽、鼠标双击；还用于利用操作匹配，将每个状态下的操作归类为若干个操作，去除每个状态下的重复操作，归类的同时统计各操作的使用次数；还用于构建行为状态图；基于原始的快照-操作事件行为链转化为状态-操作行为链，将状态-操作行为链的状态视为节点、操作视为节点间的边，按照状态-操作行为链逐步构建行为状态图；还用于将行为状态图中异常路径的过滤分为计算过滤和试探过滤。5.根据权利要求1所述的通用的用户桌面行为模拟系统，其特征在于，用户桌面行为模拟模块还用于支持四类用户行为模拟场景，使用时按照需求采用相应的模拟场景；四类用户行为模拟场景包括：基于历史数据回放的行为复现；基于模板编...

【专利技术属性】
技术研发人员：王鹏鹏，辛国栋，王巍，刘红日，王佰玲，董开坤，
申请(专利权)人：哈尔滨工业大学威海，
类型：发明
国别省市：山东,37