基于自然语言处理的浏览器元素定位方法及系统技术方案

本发明专利技术提出基于自然语言处理的浏览器元素定位方法及系统，方法包括：获取用户输入的自然语言描述并进行预处理，进行特征提取和语义理解，获取用户的操作意图；利用自然语言处理技术对自然语言描述与上下文窗口结合进行解析与语义理解；启动WebDriver启动指定的浏览器，构建JavaScript脚本；对符合描述的元素进行高亮显示，对点击事件进行分类；将用户的自然语言描述和网页截图进行融合处理得到自然语言表述词向量，采用目标检测网络得到最终的目标元素定位。本发明专利技术不仅克服了传统硬编码和脚本方式的缺点，降低了用户的技术门槛，提高了系统的灵活性和智能化水平，还使得低代码平台能够更好地满足用户的个性化需求，提升用户体验，具有广泛的应用前景。

【技术实现步骤摘要】

本专利技术属于自然语言处理领域，尤其涉及基于自然语言处理的浏览器元素定位方法及系统。

技术介绍

1、随着机器人流程自动化(rpa)技术的发展，浏览器自动化已成为其核心应用之一。在实际应用中，浏览器自动化的主要挑战之一是如何准确、高效地定位浏览器中的界面元素，以便进行相应的控制和操作。现有的解决方案通常依赖浏览器插件来实现界面元素的定位。

2、具体而言，现有技术主要通过以下流程实现：在待控制的浏览器中安装插件，启动插件后监控由rpa设计器发出的定位请求。当rpa设计器发起元素定位请求时，浏览器插件接收请求并操纵浏览器的dom(documentobjectmodel)结构获取元素的定位信息，随后将这些信息回传给rpa设计器，设计器再进行显示和保存。

3、然而，这种插件依赖的方法存在显著的缺陷：

4、1.开发工作量大：不同浏览器(如chrome、ie、firefox、edge等)需要开发专用插件，由于各浏览器插件开发机制不同，导致开发工作量大且技术难度高。

5、2.部署和维护成本高：应用部署时需要手动在浏览器中添加本文档来自技高网...

【技术保护点】

1.基于自然语言处理的浏览器元素定位方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于自然语言处理的浏览器元素定位方法，其特征在于，所述预处理包括将用户输入的文本S进行清理，移除用户输入中的特殊字符、标点符号和多余空格得到清理后的句子S′，然后将清理后的句子S′进行分词处理，得到词汇序列W，对词汇序列W进行词性标注，生成词性序列P；

3.根据权利要求2所述的基于自然语言处理的浏览器元素定位方法，其特征在于，所述用户的操作意图I的验证表示如下：

4.根据权利要求2所述的基于自然语言处理的浏览器元素定位方法，其特征在于，根据词汇序列W获取上下文...

【技术特征摘要】

1.基于自然语言处理的浏览器元素定位方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于自然语言处理的浏览器元素定位方法，其特征在于，所述预处理包括将用户输入的文本s进行清理，移除用户输入中的特殊字符、标点符号和多余空格得到清理后的句子s′，然后将清理后的句子s′进行分词处理，得到词汇序列w，对词汇序列w进行词性标注，生成词性序列p；

3.根据权利要求2所述的基于自然语言处理的浏览器元素定位方法，其特征在于，所述用户的操作意图i的验证表示如下：

4.根据权利要求2所述的基于自然语言处理的浏览器元素定位方法，其特征在于，根据词汇序列w获取上下文窗口，其中，w＝{w1,w2,…,wi,wj,wn}，每个词wi的上下文窗口ci包含前后固定个数k的词，再根据上下文窗口ci构建词汇共现矩阵m，表示如下：

5.根据权利要求4所述的基于自然语言处理的浏览器元素定位方法，...

【专利技术属性】
技术研发人员：裴松海，
申请(专利权)人：广东九悦科技有限公司，
类型：发明
国别省市：