一种云边协同的移动无障碍体验与评测系统及方法技术方案

本发明专利技术公开了一种云边协同的移动无障碍体验与评测系统及方法。所述系统及方法首先自动遍历启用了无障碍辅助技术的移动应用程序，获取应用程序的完整无障碍结构。然后，结合结构信息和无障碍标准的相关要求，生成针对无障碍的体验与评测众包任务。最后，从软硬件层面实现远程移动设备控制和实时语音视频直播，供残疾或健全用户进行远程体验和评测。概括来说，整个系统及方法包括以下功能步骤：首先，需求方向系统发起体验和评测任务。任务启动后，边端自动遍历启用了无障碍辅助技术的指定移动应用，以获取无障碍结构信息。云端结合结构信息和用户要求的无障碍标准条目，生成相应的体验与评测众包任务及其对应功能链路。接着，残障或健全用户在浏览器客户端上申请任务。众包任务绑定后，用户在界面上远程操控机械臂访问测试机上的移动应用，并实时接收设备语音与视频推流反馈，实现指定链路的体验与无障碍合规性评测，并提交结果。最后，系统整合所有评测结果，输出任务报告供需求方查阅。输出任务报告供需求方查阅。输出任务报告供需求方查阅。

【技术实现步骤摘要】
一种云边协同的移动无障碍体验与评测系统及方法
[0001]
：本专利技术涉及一种云边协同的移动无障碍体验与评测系统及方法，属于计算机技术软件领域。
[0002]
技术介绍
：“无障碍”来源于英文单词Accessibility，最早是指为各类残疾人提供可访问的产品、设备、服务、环境。在2000年的《实现全球信息化社会的冲绳宪章》中，“信息无障碍”的概念被首次正式提出，是指任何人(无论是健全人还是残疾人，无论是年轻人还是老年人)在任何情况下都能平等地、方便地理解、交互和利用信息。随着移动互联网的快速发展，当前大部分网络服务已全面转向移动应用，信息无障碍的研究工作热点也转向移动应用无障碍。据统计，2021年全球智能手机用户总数将达到39亿，同比增长6.1%。可以说，移动互联网已经成为人们日常生活中不可或缺的一部分。与此同时，根据世界卫生组织的估计，全球大约2.85亿人有各种程度的视觉障碍，其中约3900万为全盲。另外约有4.66亿人患有听力损失，两者分别约占全球人口的3.7%与6.1%。显然，如何帮助残障人士融入信息社会，弥合移动互联网“信息鸿沟”，让所有人群平等方便地享受移动互联网便利，是建设包容性社会的重要问题之一。
[0003]虽然移动应用无障碍辅助技术，包括安卓操作系统(Android)自带的朗读(TalkBack)功能和苹果操作系统(iOS)自带的旁白(VoiceOver)功能等，已经帮助提升了移动应用内容的可获取能力和可理解能力，但是无障碍辅助技术的使用依赖开发者对移动应用页面内组件准确的排序以及精准的替代文本生成，才能使用户可以准确、无障碍地获取移动应用内容。为了促进相关企事业单位开发无障碍友好的移动应用，移动应用无障碍合规性的残障或健全用户评测具有重要意义。目前市面上还没有针对移动应用残障或健全用户无障碍体验与评测的相关系统或产品，本专利是我们所知的第一个解决此问题的系统。又出于对残障或健全用户出行不便的考虑，如何让残障或健全用户足不出户即可远程体验世界各地的移动应用产品，同时体验的过程与结果又可以快速地反馈给应用开发方，帮助其优化应用的无障碍支持情况，是一个待解决的问题。此类系统的建设有以下主要难点：（1）如何实现自动化的移动应用遍历从而获得完整的应用无障碍结构信息用于生成体验与评测任务。（2）如何将无障碍标准相关要求与评测过程相结合以让评测结果对无障碍开发者更有指导价值。（3）如何从软硬件层面实现对残障或健全用户远程操控移动设备并实时接收设备反馈的支持。
技术实现思路
：针对以上问题和难点，本专利技术提出了一种云边协同的移动无障碍体验与评测系统及方法。
[0004]一种云边协同的移动无障碍体验与评测系统及方法的具体功能步骤如下：S101：需求方在系统上创建指定移动应用的体验与评测任务，并指定所要评测的无障碍标准条目范围。S102：需求方启动所建任务，系统云服务端将任务信息下发至边端设备，边端根据用户配置在移动设备上自动下载并安装指定应用。S103：边端控制测试机开启无障碍模式（Android 为Talkback，iOS为旁白），由上位机控制测试机对指定移动应用进行自动遍历，
获取应用结构信息。S104：云服务端根据边端遍历所得应用结构数据和用户配置，批量生成指定的无障碍标准条目及其相关应用功能链路的体验与评测任务。至此，体验与评测任务预生成完毕。S105：残障或健全用户从计算机浏览器客户端，打开指定页面，按界面流程申请体验与评测任务。S106：云服务端收到体验员申请任务的请求，随机分配体验与评测任务并将其绑定到边端。S107：边端接收到任务信息，控制机械臂访问移动应用，按照指定链路打开对应页面后进入就绪状态，等待体验员远程控制。S108：残障或健全用户收到边端准备就绪的信号，通过浏览器语音朗读获取所要评测的标准条目内容与方法后，通过键盘远程控制机械臂体验访问测试机上指定应用，并通过浏览器语音朗读获取测试机应用反馈信息，填写并提交评测结果与感受。S109：云服务端接收到所有预生成的体验与评测任务的结果后，整合数据，形成报告。S110：体验与评测任务需求方在评测任务完成后，可在系统页面查看和下载评测报告；具体所述步骤S101中创建指定移动应用的评测任务时需要提供的信息包括：S201：移动应用名、申请机构名、移动应用类型（Android或iOS）、移动应用下载方式、移动应用下载链接、测试规则范围、测试登录账号、测试登录密码和测试说明等。测试规则范围需要勾选《信息技术 互联网内容无障碍可访问性技术要求与测试方法》（GB/T 37668—2019）或Web Content Accessibility Guidelines (WCAG) 2.1 等无障碍标准的若干条目确定，测试登录账号、测试登录密码和测试说明为可选项；具体所述步骤S102，其中边端由以下设备与功能组成：S301：边端硬件设备组成包括上位机机箱、机械臂和测试机；S302：上位机功能为接收任务信息，下载指定移动应用安装包，安装移动应用至测试机，控制机械臂访问移动应用，截取移动应用页面并保存截图至云服务端，自动遍历移动应用，支持将移动应用的录屏与声音信息推流至云服务端；S303：机械臂功能包括模仿残障用户使用移动应用时的左滑、右滑、上滑、下滑、指定坐标单击和指定坐标多击等操作，实现对移动应用的访问；S304：测试机的功能包括接收上位机控制信号，实现无障碍模式访问控制，同时进行录屏并将音视频实时推流至云服务端；具体所述步骤S103，边端对指定移动应用的自动遍历过程包括单页顺序遍历与多页广度优先遍历，同时支持处理瀑布流或焦点陷入：S401：对单页面进行遍历，不仅要求遍历完某个页面的全部控件，同时需要识别或获取控件相应的属性信息。具体如下：进入页面，聚焦框处于当前页面首个可聚焦的控件处。调用视听觉智能算法等模块，得到并记录聚焦框的坐标等图像或语义属性。然后控制机械臂在屏幕上进行一次“右滑”，此时页面上的聚焦框将滑动到下一个可聚焦的控件上，再调用相应算法得到新聚焦框的属性信息。理想情况下，重复以上方式，让聚焦框从第一个控件移动到最后一个控件，就可完成该页面的顺序遍历；S402：在单页遍历的基础上，对于完整移动应用的多页广度优先遍历主要包含如下的基本步骤：（1）进入移动应用的某个页面，初始为首页，进行单页遍历：不断右滑，期间判断处理瀑布流或焦点陷入，直至达到设定的滑动次数阈值，遍历结束，将首页的所有聚焦框加入广度遍历队列中。（2）当广度遍历队列不为空时，从中取第一个聚焦框并出列，因为出列的聚焦框不一定在当前页面，所以先计算从当前所在页到目标聚焦框的路径，据此路径到达对应聚焦框。点击聚焦框后判断是否进入了一个全新的页面，如果是，重复（1）；否则，出列下一个聚焦框，重复（2），直到队列为空。（3）可以预先设置遍历停止的页面层数，若当前页层数小于设定的遍历停止层数则继续遍历过程，否则停止遍历。S403：在上述顺序遍历
过程中，可能存在有瀑布流的页面。瀑布流会在用户聚焦到最后的控件时动态加载新元素，导致将有接近无穷多的可聚焦控件被不停加载，常见于短视频移动应用和在线电商类移动应用。此类情况需要进行特殊处理，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种云边协同的移动无障碍体验与评测系统及方法，其特征在于包括以下步骤：S101：需求方在系统上创建指定移动应用的体验与评测任务，并指定所要评测的无障碍标准条目范围；S102：需求方启动所建任务，系统云服务端将任务信息下发至边端设备，边端根据用户配置在移动设备上自动下载并安装指定应用；S103：边端控制测试机开启无障碍模式（Android为Talkback，iOS为旁白），由上位机控制测试机对指定移动应用进行自动遍历，获取应用无障碍结构信息；S104：云服务端根据边端遍历所得应用结构数据和用户配置，批量生成指定的无障碍标准条目及其相关应用功能链路的体验与评测任务。至此，体验与评测任务预生成完毕；S105：残障或健全用户从计算机浏览器客户端，打开指定页面，按界面流程申请体验与评测任务；S106：云服务端收到体验员申请任务的请求，随机分配任务并将其绑定到边端；S107：边端接收到任务信息，控制机械臂访问移动应用，按照指定链路打开对应页面后进入就绪状态，等待体验员远程控制；S108：残障或健全用户收到边端准备就绪的信号，通过浏览器语音朗读获取所要评测的标准条目内容与方法后，通过键盘远程控制机械臂体验访问测试机上指定应用，并通过浏览器语音朗读获取测试机应用反馈信息，填写并提交评测结果与体验感受；S109：云服务端接收到所有预生成的体验与评测任务的结果后，整合数据，形成报告；S110：体验与评测任务需求方在评测任务完成后，可在系统页面查看和下载评测报告。2.根据权利1所述的一种云边协同的移动无障碍体验与评测系统及方法，其特征在于：所述步骤S101中创建指定移动应用的评测任务时需要提供的信息包括：S201：移动应用名、申请机构名、移动应用类型（Android或iOS）、移动应用下载方式、移动应用下载链接、测试规则范围、测试登录账号、测试登录密码和测试说明等。测试规则范围需要勾选《信息技术 互联网内容无障碍可访问性技术要求与测试方法》（GB/T 37668—2019）或Web Content Accessibility Guidelines (WCAG) 2.1等无障碍标准的若干条目确定，测试登录账号、测试登录密码和测试说明为可选项。3.根据权利1所述的一种云边协同的移动无障碍体验与评测系统及方法，其特征在于：所述步骤S102，其中边端由以下设备及其功能组成：S301：边端硬件设备组成包括上位机机箱、机械臂和测试机；S302：上位机功能为接收任务信息，下载指定移动应用安装包，安装移动应用至测试机，控制机械臂访问移动应用，截取移动应用页面并保存截图至云服务端，自动遍历移动应用，支持将移动应用的录屏与声音信息推流至云服务端；S303：机械臂功能包括模仿残障用户使用移动应用时的左滑、右滑、上滑、下滑、指定坐标单击和指定坐标多击等操作，实现对移动应用的访问；S304：测试机的功能包括接收上位机控制信号，实现无障碍模式访问控制，同时进行录屏并将音视频实时推流至云服务端并转推送至体验员客户端。4.根据权利1所述的一种云边协同的移动无障碍体验与评测系统及方法，其特征在于：所述步骤S103，边端对指定移动应用的自动遍历过程包括单页顺序遍历与多页广度优先遍历，同时支持处理瀑布流或焦点陷入，具体方法为：
S401：对单页面进行遍历，不仅要求遍历完某个页面的全部控件，同时需要识别或获取控件相应的属性信息。具体如下：进入页面，无障碍模式聚焦框处于当前页面首个可聚焦的控件处。调用视听觉智能算法等模块，得到并记录聚焦框的坐标等图像或语义属性。然后控制机械臂在屏幕上进行一次“右滑”操作，此时页面上的聚焦框将滑动到下一个可聚焦的控件上，再调用相应算法得到新聚焦框的属性信息。理想情况下，重复以上方式，让聚焦框从第一个控件移动到最后一个控件，就可完成该页面的顺序遍历；S402：在单页遍历的基础上，对于完整移动应用的多页广度优先遍历主要包含如下的基本步骤：（1）进入移动应用的某个页面，初始为首页，进行单页遍历：不断右滑，期间判断处理瀑布流或焦点陷入，直至达到设定的滑动次数阈值，遍历结束，将首页的所有聚焦框加入广度遍历队列中。（2）当广度遍历队列不为空时，从中取第一个聚焦框并出列，因为出列的聚焦框不一定在当前页面，所以先计算从当前所在页到目标聚焦框的路径，据此路径到达对应聚焦框。点击聚焦框后判断是否进入了一个全新的页面，如果是，重复（1）；否则，出列下一个聚焦框，重复（2），直到队列为空。（3）可以预先设置遍历停止的页面层数，若当前页层数小于设定的遍历停止层数则继续遍历过程，否则停止遍历；S403：在上述顺序遍历过程中，可能存在有瀑布流的页面。瀑布流会在用户聚焦到最后的控件时动态加载新元素，导致将有接近无穷多的可聚焦控件被不停加载，常见于短视频移动应用和在线电商类移动应用。此类情况需要进行特殊处理，否则遍历无法停止。具体处理流程如下：（1）遍历过程中，机械臂每右滑一次，生成一个新的聚焦框对象，识别或获取相应属性。用自增的方式给聚焦框编号后，将新生成的聚焦框对象加入此页面的聚焦框列表中。（2）若右滑次数达到预设阈值，则需要...

【专利技术属性】
技术研发人员：卜佳俊，顾铭，周晟，王炜，于智，马凌洲，
申请(专利权)人：浙江大学，
类型：发明
国别省市：