安卓系统控件意图识别方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种安卓系统控件意图识别方法，包括：从安卓应用程序(APK)包中提取控件对应的图像信息和文本信息；基于第一轻量级神经网络，提取所述图像信息中的图像特征；基于第二轻量级神经网络，提取所述文本信息中的文本特征；将所述图像特征和所述文本特征整合为联合特征；根据所述联合特征预测所述控件所属的至少一个意图类别；以及输出所述至少一个意图类别。对应上述方法，本公开还提供了安卓系统控件意图识别装置、电子设备以及计算机可读存储介质。存储介质。存储介质。

【技术实现步骤摘要】
安卓系统控件意图识别方法、装置、电子设备及存储介质


[0001]本公开的一个或多个实施例涉及信息安全
，尤其涉及一种安卓系统控件意图识别方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]在移动终端中，安卓(Android)系统是使用用户群体最为庞大的移动终端操作系统。在对Android系统敏感信息的保护中，分析应用的使用意图是提供精准保护的前提。此外，考虑到安卓系统控件是界面组成的主要元素，也是应用组成的主要元素，因此，在实际的应用中，可以首先对应用中包含的控件的意图进行识别，并将控件的意图识别结果作为对应用使用意图的分析基础，从而实现应用使用意图的精确分析。

技术实现思路

[0003]有鉴于此，本公开一个或多个实施例提出一种安卓系统控件意图识别方法。该方法可以包括：从安卓应用程序(APK)包中提取控件对应的图像信息和文本信息；基于第一轻量级神经网络，提取所述图像信息中的图像特征；基于第二轻量级神经网络，提取所述文本信息中的文本特征；将所述图像特征和所述文本特征整合为联合特征；根据所述联合特征预测所述控件所属的至少一个意图类别；以及输出所述至少一个意图类别。
[0004]其中，所述从APK包中提取控件对应的图像信息和文本信息包括：对所述APK包进行反编译，得到应用的源文件；对所述源文件进行解析，得到所述应用中所包含图片控件的映射关系；根据所述映射关系从所述源文件中提取图像信息和文本信息。
[0005]其中，所述对所述源文件进行解析，得到所述应用中所包含图片控件的映射关系包括：对所述源文件进行解析，得到所述应用中控件所包含的图片映射；对所述源文件中不同分辨率的可绘制对象文件夹下的用户接口控件相关可扩展标记语言xml文件进行解析，获得这些以xml形式保存的控件所包含的图片映射；对所述源文件进行分析，得到页面维度信息中的手柄Handler；确定控件、图片、布局文件和Handler之间的关联关系；使用静态调用图进行辅助分析，获得应用中Handler、敏感函数和敏感权限三者之间的映射关系；根据所述源文件产生静态调用图，生成包含敏感操作的Handler的调用图，并保存其中的调用关系；以及对所述关联关系、映射关系以及调用关系进行处理，得到所述应用中所包含图片控件的映射关系。
[0006]其中，所述第一轻量级神经网络包括基于移动端神经网络(MobileNetV3)模型；以及所述第二轻量级神经网络包括双向长短期记忆(BiLSTM)网络。
[0007]其中，所述将所述图像特征和所述文本特征整合为联合特征包括：依据共同注意机制，将所述图像特征和文本特征整合为所述联合特征。
[0008]其中，所述依据共同注意机制，将所述图像特征和文本特征整合为所述联合特征包括：根据图像特征和文本特征之间的相关性建立图像特征和文本特征的相关矩阵；根据所述相关矩阵双向更新图像特征和文本特征；以及将更新后的图像特征和文本特征相加，
得到所述联合特征。
[0009]其中，所述第一轻量级神经网络和所述第二轻量级神经网络通过下述方法进行联合训练：获取数据集，并对所述数据集进行数据分级，得到其中的图像信息和文本信息机器对应的意图种类；对所述图像信息进行预处理，并将预处理后的图像信息作为所述第一轻量级神经网络的输入；对所述文本信息进行预处理，并将预处理后的文本信息作为所述第二轻量级神经网络的输入；基于第一轻量级神经网络，提取所述图像信息中的图像特征；基于第二轻量级神经网络，提取所述文本信息中的文本特征；将所述图像特征和所述文本特征整合为联合特征；根据所述联合特征预测所述控件所属的至少一个意图类别，得到至少一个预测意图类别；将所述至少一个预测意图类别与所述意图种类进行比较，确定预测误差，并根据所述预测误差调整所述第一轻量级神经网络和所述第二轻量级神经网络的参数，直至收敛。
[0010]对应上述方法，本公开的一个或多个实施例还公开了一种安卓系统控件意图识别装置，包括：
[0011]信息分集模块，用于从APK包中提取控件对应的图像信息和文本信息；
[0012]第一轻量级神经网络，用于提取上述图像信息中的图像特征；
[0013]第二轻量级神经网络，用于提取上述文本信息中的文本特征；
[0014]特征联合模块，用于将上述图像特征和上述文本特征整合为联合特征；以及
[0015]分类模块，用于根据上述联合特征预测上述控件所属的至少一个意图类别，并输出上述至少一个意图类别。
[0016]本公开的一个或多个实施例还提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现上述安卓系统控件意图识别方法。
[0017]本公开的一个或多个实施例还提供了一种非暂态计算机可读存储介质，其中，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述安卓系统控件意图识别方法。
[0018]可以看出，上述方法和相关设备可以从控件的文本信息和图像信息两个维度提取图像特征和文本特征，并将提取的两个维度的特征联合起来进行控件的意图分析，从而可以大大提高控件意图分析的准确率。
[0019]进一步，在提取上述图像特征和文本特征采用的是轻量级的神经网络，可以在确保分类效果相当的同时，大幅降低模型训练时间成本，从而可以满足大规模数据训练与预测的需求。
附图说明
[0020]为了更清楚地说明本公开一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1为本公开一个或多个实施例所述的安卓系统控件意图识别方法的实现流程示意图；
[0022]图2为本公开一个或多个实施例所述的从APK中提取控件对应的图像信息和文本信息的方法流程示意图；
[0023]图3为本公开一个或多个实施例所述的长短期记忆(LSTM)模型内部结构示意图；
[0024]图4为本公开一个或多个实施例所述的对上述第一轻量级神经网络和第二轻量级神经网络进行联合训练的方法流程示意图；
[0025]图5为本公开一个或多个实施例所述的装置的内部结构示意图；以及
[0026]图6为本公开一个或多个实施例所述的电子设备的内部结构示意图。
具体实施方式
[0027]为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
[0028]需要说明的是，除非另外定义，本公开一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种安卓系统控件意图识别方法，包括：从安卓应用程序APK包中提取控件对应的图像信息和文本信息；基于第一轻量级神经网络，提取所述图像信息中的图像特征；基于第二轻量级神经网络，提取所述文本信息中的文本特征；将所述图像特征和所述文本特征整合为联合特征；根据所述联合特征预测所述控件所属的至少一个意图类别；以及输出所述至少一个意图类别。2.根据权利要求1所述的方法，其中，所述从APK包中提取控件对应的图像信息和文本信息包括：对所述APK包进行反编译，得到应用的源文件；对所述源文件进行解析，得到所述应用中所包含图片控件的映射关系；根据所述映射关系从所述源文件中提取图像信息和文本信息。3.根据权利要求2所述的方法，其中，所述对所述源文件进行解析，得到所述应用中所包含图片控件的映射关系包括：对所述源文件进行解析，得到所述应用中控件所包含的图片映射；对所述源文件中不同分辨率的可绘制对象文件夹下的用户接口控件相关可扩展标记语言xml文件进行解析，获得这些以xml形式保存的控件所包含的图片映射；对所述源文件进行分析，得到页面维度信息中的手柄Handler；确定控件、图片、布局文件和Handler之间的关联关系；使用静态调用图进行辅助分析，获得应用中Handler、敏感函数和敏感权限三者之间的映射关系；根据所述源文件产生静态调用图，生成包含敏感操作的Handler的调用图，并保存其中的调用关系；以及对所述关联关系、映射关系以及调用关系进行处理，得到所述应用中所包含图片控件的映射关系。4.根据权利要求1所述的方法，其中，所述第一轻量级神经网络包括基于移动端神经网络MobileNetV3模型；以及所述第二轻量级神经网络包括双向长短期记忆BiLSTM网络。5.根据权利要求1所述的方法，其中，所述将所述图像特征和所述文本特征整合为联合特征包括：依据共同注意机制，将所述图像特征和文本特征整合为所述联合特征。6.根据权利要求5所述的方法，其中，所述依据共同注意机制，将所述图像特征和文本特征整合...

【专利技术属性】
技术研发人员：徐国爱，王浩宇，徐国胜，王晨宇，齐春昊，刘书岑，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：