一种视障人员表单填写辅助方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种视障人员表单填写辅助方法、装置、设备及存储介质，涉及人工智能辅助技术领域。所述方法是在获取目标表单的当前展示页面截图、信息字段功能说明和信息字段填写规则后，先采用图像识别技术识别得到在截图中的且与各个信息字段一一对应的各个输入控件及所在位置，然后在检测到视障人员选定某个输入控件时，采用自然语言处理技术合成用于描述对应信息字段的功能说明内容和对应所在位置的音频数据，并根据对应信息字段的填写先验规则判断是否能为对应信息字段有效输入字段内容，若是，则播放该音频数据，以便指导视障人员输入字段内容，如此可减少视障人员在填写表单时的操作困难和理解困扰，提升他们的表单填写效率及用户体验。效率及用户体验。效率及用户体验。

【技术实现步骤摘要】
一种视障人员表单填写辅助方法、装置、设备及存储介质


[0001]本专利技术属于人工智能辅助
，具体涉及一种视障人员表单填写辅助方法、装置、设备及存储介质。

技术介绍

[0002]表单是用于存储数据的数字化介质，其包含有多种组件，用户可以根据自己的需求，设计并生成想要的表单。视障人群在使用互联网服务时，若需要频繁地填写各种形式的表单，则会由于视觉上的限制，使得他们在填写过程中遇到不小困难。
[0003]目前，现有的一些辅助工具虽然能够提供基本的朗读功能，帮助视障人群理解表单内容(例如，讯飞输入法等语音辅助工具已经实现了基础的语音输入和读出文本的功能)，但是对于表单布局、控件位置和字段功能等信息的描述却非常有限，这导致视障人群在填写表单时，仍然存在操作困难和理解困扰的问题。因此如何解决视障人群在填写表单时所遇到的困难，改善他们理解和操作表单的能力，是本领域技术人员亟需研究的课题。

技术实现思路

[0004]本专利技术的目的是提供一种视障人员表单填写辅助方法、装置、计算机设备及计算机可读存储介质，用以解决现有辅助工具因描述信息有限导致视障人群在填写表单时，仍然存在操作困难和理解困扰的问题。
[0005]为了实现上述目的，本专利技术采用以下技术方案：
[0006]第一方面，提供了一种视障人员表单填写辅助方法，包括：
[0007]获取目标表单的当前展示页面截图、信息字段功能说明和信息字段填写规则，其中，所述信息字段功能说明用于描述在所述目标表单中的各个信息字段的功能说明内容，所述信息字段填写规则用于描述所述各个信息字段的填写先验规则，所述填写先验规则是指用于在填写前判断是否能为对应信息字段有效输入字段内容的规则；
[0008]采用图像识别技术识别得到在所述当前展示页面截图中的且与所述各个信息字段一一对应的各个输入控件以及所述各个输入控件分别在所述当前展示页面截图中的所在位置；
[0009]在检测到视障人员选定识别出的某个输入控件时，采用自然语言处理技术合成第一音频数据，并根据与所述某个输入控件对应的信息字段的填写先验规则判断是否能为与所述某个输入控件对应的信息字段有效输入字段内容，其中，所述第一音频数据用于描述与所述某个输入控件对应的信息字段的功能说明内容和所述某个输入控件在所述当前展示页面截图中的所在位置；
[0010]若是，则播放所述第一音频数据，以便指导所述视障人员在所述某个输入控件中为与所述某个输入控件对应的信息字段输入字段内容。
[0011]基于上述
技术实现思路
，提供了一种基于图像识别技术和自然语言处理技术帮助视障人员填写表单的新辅助方案，即在获取目标表单的当前展示页面截图、信息字段功能说明
和信息字段填写规则后，先采用图像识别技术识别得到在截图中的且与各个信息字段一一对应的各个输入控件及所在位置，然后在检测到视障人员选定识别出的某个输入控件时，采用自然语言处理技术合成用于描述对应信息字段的功能说明内容和对应所在位置的音频数据，并根据对应信息字段的填写先验规则判断是否能为对应信息字段有效输入字段内容，若是，则播放该音频数据，以便指导视障人员输入字段内容，如此可为视障人员提供具有全面性和高准确性的表单布局、控件位置和功能等描述信息，利于改善他们理解和操作表单的能力，进而可减少视障人员在填写表单时的操作困难和理解困扰，提升他们的表单填写效率及用户体验，便于实际应用和推广。
[0012]在一个可能的设计中，在根据与所述某个输入控件对应的信息字段的填写先验规则判断是否能为与所述某个输入控件对应的信息字段有效输入字段内容之后，所述方法还包括：
[0013]若判定不能为与所述某个输入控件对应的信息字段有效输入字段内容，则根据与所述某个输入控件对应的信息字段的填写先验规则确定需要先输入有效字段内容的至少一个信息字段；
[0014]采用自然语言处理技术合成第二音频数据，其中，所述第二音频数据用于描述所述至少一个信息字段的功能说明内容和与所述至少一个信息字段一一对应的至少一个输入控件在所述当前展示页面截图中的所在位置；
[0015]播放所述第二音频数据，以便指导所述视障人员在所述至少一个输入控件中为所述至少一个信息字段输入字段内容。
[0016]在一个可能的设计中，当所述至少一个信息字段的字段数目为多个时，描述所述至少一个信息字段的功能说明内容和与所述至少一个信息字段一一对应的至少一个输入控件在所述当前展示页面截图中的所在位置，包括：
[0017]按照填写先后顺序依次描述在所述至少一个信息字段中的各个信息字段的功能说明内容，以及依次描述在与所述至少一个信息字段一一对应的至少一个输入控件中的各个输入控件在所述当前展示页面截图中的所在位置，其中，所述填写先后顺序根据所述至少一个信息字段的填写先验规则来确定。
[0018]在一个可能的设计中，采用图像识别技术识别得到在所述当前展示页面截图中的且与所述各个信息字段一一对应的各个输入控件以及所述各个输入控件分别在所述当前展示页面截图中的所在位置，包括：
[0019]针对所述各个信息字段，将所述当前展示页面截图导入对应的、基于目标检测算法的且已完成预训练的输入控件识别模型，识别得到对应的输入控件以及该输入控件在所述当前展示页面截图中的所在位置。
[0020]在一个可能的设计中，在播放所述第一音频数据之后，所述方法还包括：
[0021]根据所述视障人员的且针对与所述某个输入控件对应的信息字段预先确定的输入偏好，将在所述某个输入控件中输入的第一信息转换为匹配所述输入偏好的第二信息，并将所述第二信息作为与所述某个输入控件对应的信息字段的输入字段内容。
[0022]在一个可能的设计中，根据所述视障人员的且针对与所述某个输入控件对应的信息字段预先确定的输入偏好，将在所述某个输入控件中输入的第一信息转换为匹配所述输入偏好的第二信息，包括：
[0023]获取所述视障人员的且针对与所述某个输入控件对应的信息字段预先确定的输入偏好；
[0024]当所述输入偏好包含有所述视障人员喜欢用大写字母开头时，则判断在所述某个输入控件中输入的第一信息是否以大写字母开头；
[0025]若判定所述第一信息未以大写字母开头，则将所述第一信息转换为以大写字母开头的第二信息，否则直接将所述第一信息作为以大写字母开头的第二信息。
[0026]在一个可能的设计中，所述视障人员的且针对与所述某个输入控件对应的信息字段的输入偏好按照如下方式预先确定：
[0027]获取所述视障人员的且针对与所述某个输入控件对应的信息字段的历史输入数据；
[0028]将所述历史输入数据导入基于深度学习算法的且已完成预训练的输入偏好识别模型，识别得到所述视障人员的且针对与所述某个输入控件对应的信息字段的输入偏好。
[0029]第二方面，提供了一种视障人员表单填写辅助装置，包括有信息获取模块、控件识别模块、检测响应模块和音频播放模块；
[0030]所述信息获取模块，用于获取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视障人员表单填写辅助方法，其特征在于，包括：获取目标表单的当前展示页面截图、信息字段功能说明和信息字段填写规则，其中，所述信息字段功能说明用于描述在所述目标表单中的各个信息字段的功能说明内容，所述信息字段填写规则用于描述所述各个信息字段的填写先验规则，所述填写先验规则是指用于在填写前判断是否能为对应信息字段有效输入字段内容的规则；采用图像识别技术识别得到在所述当前展示页面截图中的且与所述各个信息字段一一对应的各个输入控件以及所述各个输入控件分别在所述当前展示页面截图中的所在位置；在检测到视障人员选定识别出的某个输入控件时，采用自然语言处理技术合成第一音频数据，并根据与所述某个输入控件对应的信息字段的填写先验规则判断是否能为与所述某个输入控件对应的信息字段有效输入字段内容，其中，所述第一音频数据用于描述与所述某个输入控件对应的信息字段的功能说明内容和所述某个输入控件在所述当前展示页面截图中的所在位置；若是，则播放所述第一音频数据，以便指导所述视障人员在所述某个输入控件中为与所述某个输入控件对应的信息字段输入字段内容。2.根据权利要求1所述的视障人员表单填写辅助方法，其特征在于，在根据与所述某个输入控件对应的信息字段的填写先验规则判断是否能为与所述某个输入控件对应的信息字段有效输入字段内容之后，所述方法还包括：若判定不能为与所述某个输入控件对应的信息字段有效输入字段内容，则根据与所述某个输入控件对应的信息字段的填写先验规则确定需要先输入有效字段内容的至少一个信息字段；采用自然语言处理技术合成第二音频数据，其中，所述第二音频数据用于描述所述至少一个信息字段的功能说明内容和与所述至少一个信息字段一一对应的至少一个输入控件在所述当前展示页面截图中的所在位置；播放所述第二音频数据，以便指导所述视障人员在所述至少一个输入控件中为所述至少一个信息字段输入字段内容。3.根据权利要求2所述的视障人员表单填写辅助方法，其特征在于，当所述至少一个信息字段的字段数目为多个时，描述所述至少一个信息字段的功能说明内容和与所述至少一个信息字段一一对应的至少一个输入控件在所述当前展示页面截图中的所在位置，包括：按照填写先后顺序依次描述在所述至少一个信息字段中的各个信息字段的功能说明内容，以及依次描述在与所述至少一个信息字段一一对应的至少一个输入控件中的各个输入控件在所述当前展示页面截图中的所在位置，其中，所述填写先后顺序根据所述至少一个信息字段的填写先验规则来确定。4.根据权利要求1所述的视障人员表单填写辅助方法，其特征在于，采用图像识别技术识别得到在所述当前展示页面截图中的且与所述各个信息字段一一对应的各个输入控件以及所述各个输入控件分别在所述当前展示页面截图中的所在位置，包括：针对所述各个信息字段，将所述当前展示页面截图导入对应的、基于目标检测算法的且已完成预训练的输入控件识别模型，识别得到对应的输入控件以及该输入控件在所述当前展示页面截图中的所在位置。
5.根据权利要求1所述的视障人员表单填写辅助方法，其特征在于，在播放所述第一音频数据之后，所述方法还包括：根据所述视障人员的且针对与所述某个输入控件对应的信息字段预先确定的输入偏好，将在所述某个输入...

【专利技术属性】
技术研发人员：王宇航，江伟，熊学武，韦利东，
申请(专利权)人：上海泛微软件有限公司，
类型：发明
国别省市：