本发明专利技术属于人工智能技术领域，涉及一种基于无障碍服务的训练数据获取方法、系统、设备及介质，所述方法包括：1)确定训练任务；2)打开标注面板悬浮窗；3)选择训练任务的操作类型并缩小标注面板悬浮窗；4)基于无障碍服务获取当前界面的页面XML和页面截图；5)标注人员依据操作类型进行操作，由拦截层获取操作的数据并进行模拟操作以获取操作过程中产生的数据；6)存储页面XML、页面截图和操作的数据及操作过程中产生的数据；7)判断训练任务是否执行完毕，如果是则结束；如果否则返回步骤3)，执行训练任务的下一步操作。其方便获取训练数据，提高了训练数据的获取效率，节省了人力，且保证了获取的训练数据的准确性。
【技术实现步骤摘要】
本专利技术属于人工智能，涉及一种训练数据获取方法、系统、设备及介质，尤其是一种基于无障碍服务的训练数据获取方法、系统、设备及介质。
技术介绍
1、机器学习(machine learning)是人工智能(ai)领域中的一个分支，它的核心目的是让计算机能够从数据中学习经验，并基于所学的经验进行预测或决策。通俗地讲，机器学习就是教计算机如何从数据中提取规律和知识，然后利用这些知识去处理新数据并给出答案或建议。为此，需要为机器学习提供训练数据。
2、通过收集数据，对数据样本添加标签和分类信息等，以获得训练数据。在获取训练数据的过程中，需要对手机屏幕进行点击、长按、滑动、文字输入、call api、记录当前页、键盘按键等操作，并记录操作产生的数据。安卓自动化测试框架espresso是google提供的一个用于android应用ui测试的框架，可以执行用户界面的自动化点击、长按、滑动等等操作和验证。但是，espresso虽然可以实现自动化执行用户界面的操作行为，但espresso只能自动化执行当前应用的界面，不可操作其他app，espresso不太能满足一些智能体训练所需数据的操作。
3、因此，针对上述现有技术中存在的缺陷，需要研发一种新型的训练数据获取方法。
技术实现思路
1、为了克服现有技术的缺陷，本专利技术提出一种基于无障碍服务的训练数据获取方法、系统、设备及介质，其方便获取训练数据，提高了训练数据的获取效率，节省了人力，且保证了获取的训练数据的准确性。
<
p>2、为了实现上述目的，本专利技术提供如下技术方案：3、一种基于无障碍服务的训练数据获取方法，其特征在于，包括以下步骤：
4、1)确定训练任务；
5、2)打开标注面板悬浮窗；
6、3)在所述标注面板悬浮窗上选择训练任务的操作类型并缩小所述标注面板悬浮窗；
7、4)基于无障碍服务获取当前界面的页面xml和页面截图；
8、5)标注人员依据所述操作类型进行操作，由拦截层获取所述操作的数据并进行模拟操作以获取操作过程中产生的数据；
9、6)存储页面xml、页面截图和由拦截层获取的所述操作的数据及操作过程中产生的数据；
10、7)判断所述训练任务是否执行完毕，如果是，则结束；如果否，则返回步骤3)，执行所述训练任务的下一步操作。
11、优选地，所述步骤1)包括：
12、11)确定训练任务的描述；
13、12)确定训练任务的id；
14、23)确定训练任务的标注数据文件的存放地址。
15、优选地，所述步骤3)中缩小所述标注面板悬浮窗具体为：将所述标注面板悬浮窗上的所有按钮的view.gone设置为不可见并将所述标注面板悬浮窗上的<的view.visible设置为可见。
16、优选地，所述步骤4)具体包括：
17、41)通过安卓android的无障碍服务accessibilityservice的截图功能takescreenshot()方法，对当前界面进行截屏并回调screenshotresult对象给调用方，通过screenshotresult对象将截屏转换成bitmap对象；
18、42)通过安卓android的无障碍服务accessibilityservice的getrootinactivewindow()方法返回当前界面的无障碍服务节点信息accessibilitynodeinfo对象，通过解析无障碍服务节点信息accessibilitynodeinfo对象的属性，将无障碍服务节点信息accessibilitynodeinfo的所有信息转化成xml格式的字符串。
19、优选地，所述步骤42)中将无障碍服务节点信息accessibilitynodeinfo的所有信息转化成xml格式的字符串具体包括：
20、421)对无障碍服务节点信息accessibilityservicenodeinfo中的节点node进行解析，并将解析结果转换成可变的字符序列stringbuilder；
21、422)调整可变的字符序列stringbuilder的结构，并对其对应的节点node的子节点childnod进行并行解析；
22、423)获取各个子节点childnod的解析结果并将其拼装进可变的字符序列stringbuilder中，并再次调整拼装后的可变的字符序列stringbuilder，以获得xml格式的字符串。
23、优选地，所述步骤5)中的拦截层是通过安卓android的windowmanager添加视图view创建的并且所述步骤5)具体包括：
24、51)监听视图view的ontouchevent()事件回调，回调类型为motionevent.action_down得到标注人员触摸手机屏幕按下时触碰点距离手机屏幕左上角的x、y值，回调类型为motionevent.action_up得到标注人员离开手机屏幕时触碰点距离手机屏幕左上角的x、y值；
25、52)存储标注人员触摸屏幕按下时触碰点距离手机屏幕左上角的x、y值和离开手机屏幕时触碰点距离手机屏幕左上角的x、y值，并上述两组x、y值通过无障碍服务accessibilityservive的dispatchgesture()方法执行模拟操作，以存储操作过程中产生的数据。
26、优选地，所述步骤5)中，标注人员触摸屏幕按下时触碰点距离手机屏幕左上角的x、y值和离开手机屏幕时触碰点距离手机屏幕左上角的x、y值以及操作过程中产生的数据存储在到trace.jsonl文件中。
27、此外，本专利技术还提供一种基于无障碍服务的训练数据获取系统，其特征在于，包括：
28、任务输入模块，其用于输入训练任务并基于输入的训练任务打开标注面板悬浮窗；
29、操作选择模块，其用于在所述标注面板悬浮窗上选择训练任务的操作类型并缩小所述标注面板悬浮窗；
30、数据获取模块，其用于基于无障碍服务获取当前界面的页面xml和页面截图；
31、操作执行模块，其用于供标注人员依据所述操作类型进行操作，由拦截层获取所述操作的数据并进行模拟操作以获取操作过程中产生的数据；
32、数据保存模块，其用于存储页面xml、页面截图和由拦截层获取的所述操作的数据及操作过程中产生的数据。
33、而且，本专利技术还提供一种基于无障碍服务的训练数据获取设备，其特征在于，包括：
34、一个或多个处理器；
35、存储器，用于存储一个或多个程序；
36、当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的基于无障碍服务的训练数据获取方法。
37、最后，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器本文档来自技高网
...
【技术保护点】
1.一种基于无障碍服务的训练数据获取方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于无障碍服务的训练数据获取方法，其特征在于，所述步骤1)包括：
3.根据权利要求2所述的基于无障碍服务的训练数据获取方法，其特征在于，所述步骤3)中缩小所述标注面板悬浮窗具体为：将所述标注面板悬浮窗上的所有按钮的View.GONE设置为不可见并将所述标注面板悬浮窗上的<的View.VISIBLE设置为可见。
4.根据权利要求3所述的基于无障碍服务的训练数据获取方法，其特征在于，所述步骤4)具体包括：
5.根据权利要求4所述的基于无障碍服务的训练数据获取方法，其特征在于，所述步骤42)中将无障碍服务节点信息AccessibilityNodeInfo的所有信息转化成XML格式的字符串具体包括：
6.根据权利要求1-5中任一项所述的基于无障碍服务的训练数据获取方法，其特征在于，所述步骤5)中的拦截层是通过安卓Android的WindowManager添加视图View创建的并且所述步骤5)具体包括：
7.根据权利要求6所述的基于无障碍服务的训练数据获取方法，其特征在于，所述步骤5)中，标注人员触摸屏幕按下时触碰点距离手机屏幕左上角的x、y值和离开手机屏幕时触碰点距离手机屏幕左上角的x、y值以及操作过程中产生的数据存储在到trace.jsonl文件中。
8.一种基于无障碍服务的训练数据获取系统，其特征在于，包括：
9.一种基于无障碍服务的训练数据获取设备，其特征在于，包括：
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于无障碍服务的训练数据获取方法的步骤。
...
【技术特征摘要】
1.一种基于无障碍服务的训练数据获取方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于无障碍服务的训练数据获取方法，其特征在于，所述步骤1)包括：
3.根据权利要求2所述的基于无障碍服务的训练数据获取方法，其特征在于，所述步骤3)中缩小所述标注面板悬浮窗具体为：将所述标注面板悬浮窗上的所有按钮的view.gone设置为不可见并将所述标注面板悬浮窗上的<的view.visible设置为可见。
4.根据权利要求3所述的基于无障碍服务的训练数据获取方法，其特征在于，所述步骤4)具体包括：
5.根据权利要求4所述的基于无障碍服务的训练数据获取方法，其特征在于，所述步骤42)中将无障碍服务节点信息accessibilitynodeinfo的所有信息转化成xml格式的字符串具体包括：
6.根据权利要求...
【专利技术属性】
技术研发人员：陈新颖，
申请(专利权)人：北京智谱华章科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。