主动觉知式界面显示方法、系统和电子设备技术方案

本申请公开了一种主动觉知式界面显示方法、系统和电子设备，其通过基于词嵌入层的转换器模型和条件随机场模型以基于权限信息来对基于屏幕图像中的内容生成的特征向量的序列进行标注以确定屏幕中内容的主题标签，进一步通过密集预测模型架构来从具有标签的所述文本特征向量来生成屏幕图像，以在基于文本进行标签标注的基础上实现界面显示，通过这样的方式仅显示主题标签为可显示内容的部分，这样，可以实现端到端的主动觉知式界面显示，进而使得对于屏幕内容信息的安全性更好。而使得对于屏幕内容信息的安全性更好。而使得对于屏幕内容信息的安全性更好。

【技术实现步骤摘要】
主动觉知式界面显示方法、系统和电子设备


[0001]本专利技术涉及智能防窥视的领域，且更为具体地，涉及一种主动觉知式界面显示方法、系统和电子设备。

技术介绍

[0002]随着信息科学技术的发展，网络以及网络终端的各种电子产品已经与人的日常生活密不可分。虽然在人机交互方式上已经有了很大的变革，例如由早先的键盘式输入到现在的触摸屏输入，以传感器技术为支撑的可穿戴式设备和以谷歌眼镜为代表的新式显示设备，但目前电子产品的信息显示方式大多还是通过屏幕来传达给使用者，这就很容易导致使用者的信息被窥视和泄露，特别在某些保密性很强和要处理个人私密信息的时候。
[0003]实现电脑屏幕防窥视主要有主动防窥、被动防窥两种方法。被动防窥就是采用特殊屏幕贴膜，在一定角度下看不到屏幕内容。主动防窥则检测是否有人到达可视范围，有人则主动隐藏电脑窗口或者直接进入屏幕保护模式，以达到防窥视的目的。比较以上两种，显然主动防窥安全性更好一点，适用于一些保密性要求比较高的场合。
[0004]但是，大部分主动防窥的方法是一旦检测到有非使用者以外的人员在窥视屏幕的内容就让屏幕进入保护模式，但进入屏幕保护模式时，使用者也无法看到屏幕上的内容。
[0005]在实际的应用场景中，部分人员是拥有相关权限来查看屏幕内容的，相应地，在这部分人员查看屏幕时，不需要开始屏幕保护模式。并且，虽然部分人员有查看屏幕内容的权限，但不同人员的权限可能是不同的，也就是，部分人员可能仅允许查看一部分主题的内容，而另外一部分人员可能仅被允许查看另外一部分主题的内容。
[0006]因此，期待一种身份与屏幕显示内容协同的主动觉知式界面显示方案。

技术实现思路

[0007]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种主动觉知式界面显示方法、系统和电子设备，其通过基于词嵌入层的转换器模型和条件随机场模型以基于权限信息来对基于屏幕图像中的内容生成的特征向量的序列进行标注以确定屏幕中内容的主题标签，进一步通过密集预测模型架构来从具有标签的所述文本特征向量来生成屏幕图像，以在基于文本进行标签标注的基础上实现界面显示，通过这样的方式仅显示主题标签为可显示内容的部分，这样，可以实现端到端的主动觉知式界面显示，进而使得对于屏幕内容信息的安全性更好。
[0008]根据本申请的一个方面，提供了一种主动觉知式界面显示方法，其包括：
[0009]获取待显示设备的电子设备的屏幕图像；
[0010]从所述屏幕图像提取出文本数据；
[0011]对所述文本数据进行分词处理后通过包含词嵌入层的转换器模型以获得词特征向量的序列；
[0012]将所述词特征向量的序列通过条件随机场以基于权限信息对所述词特征向量的
序列中的各个词特征向量进行标注以获得每个所述词特征向量的类别标签；
[0013]基于每个所述词特征向量的类别标签，从所述词特征向量的序列中提取出标签类别属于可显示内容的多组一个或多个词特征向量；
[0014]将标签类别属于可显示内容的各组一个或多个词特征向量进行二维拼接以获得具有不同尺度的多个特征矩阵；
[0015]使用密集预测模型架构的投影重组功能将具有不同尺度的所述多个特征矩阵融合为投影矩阵，其中，所述密集预测模型架构的投影重组功能包括下将所有多个特征矩阵进行三维拼接以获得三维的特征图在将所述三维的特征图投影到二维的平面上；
[0016]将所述投影矩阵输入所述密集预测模型架构的生成器模型以生成电子设备的重构屏幕图像，其中，所述生成器模型的卷积层适于对于使用不同卷积核进行卷积运算得到的卷积特征图进行拼接和上采样；以及
[0017]将所述电子设备的重构屏幕图像显示于所述电子设备的屏幕。
[0018]在上述主动觉知式界面显示方法中，从所述屏幕图像提取出文本数据，包括：对所述屏幕图像进行文本识别处理以获得所述文本数据。
[0019]在上述主动觉知式界面显示方法中，对所述文本数据进行分词处理后通过包含词嵌入层的转换器模型以获得词特征向量的序列，包括：对所述文本数据进行分词处理后以获得对应于所述文本数据的词序列；将所述词序列中的每个词输入所述转化器模型的词嵌入层以将所述词序列中的每个词映射到词向量以获得词向量的序列；以及，将所述词向量的序列输入所述转换器模型的转换器以获得所述词特征向量的序列。
[0020]在上述主动觉知式界面显示方法中，使用密集预测模型架构的投影重组功能将具有不同尺度的所述多个特征矩阵融合为投影矩阵，包括：使用所述密集预测模型架构对具有不同尺度的所述多个特征矩阵进行三维拼接以获得所述三维的特征图；以及，使用所述密集预测模型架构将所述三维的特征图投影到二维的平面上以获得二维的所述投影矩阵。
[0021]在上述主动觉知式界面显示方法中，使用所述密集预测模型架构对具有不同尺度的所述多个特征矩阵进行三维拼接以获得所述三维的特征图，包括：使用所述密集预测模型架构对具有不同尺度的所述多个特征矩阵中各个特征矩阵进行基于线性变换的尺度调整以将所述多个特征矩阵的尺度统一。
[0022]在上述主动觉知式界面显示方法中，所述生成器模型为由卷积层、上采样层和激活层交替的卷积神经网络；其中，将所述投影矩阵输入所述密集预测模型架构的生成器模型以生成电子设备的重构屏幕图像，包括：使用所述生成器模型的卷积层对所述投影矩阵进行卷积处理以获得卷积特征图；使用所述生成器模型的与所述卷积层连接的上采样层对所述卷积特征图进行上采样以获得上采样特征图；以及，使用所述生成器模型的与所述上采样层连接的激活层对所述上采样特征图进行激活以生成激活特征图并输出至所述生成器模型的下一层的所述卷积层。
[0023]在上述主动觉知式界面显示方法中，在所述生成器模型中，不同层的所述卷积层使用不同的卷积核进行卷积运算。
[0024]根据本申请的另一方面，提供了一种主动觉知式界面显示系统，其包括：
[0025]屏幕图像获取单元，用于获取待显示设备的电子设备的屏幕图像；
[0026]文本数据提取单元，用于从所述屏幕图像获取单元获得的所述屏幕图像提取出文
本数据；
[0027]转换器处理单元，用于对所述文本数据提取单元获得的所述文本数据进行分词处理后通过包含词嵌入层的转换器模型以获得词特征向量的序列；
[0028]条件随机场单元，用于将所述转换器处理单元获得的所述词特征向量的序列通过条件随机场以基于权限信息对所述词特征向量的序列中的各个词特征向量进行标注以获得每个所述词特征向量的类别标签；
[0029]提取单元，用于基于每个所述条件随机场单元获得的所述词特征向量的类别标签，从所述转换器处理单元获得的所述词特征向量的序列中提取出标签类别属于可显示内容的多组一个或多个词特征向量；
[0030]二维拼接单元，用于将所述文本数据提取单元获得的所述标签类别属于可显示内容的各组一个或多个词特征向量进行二维拼接以获得具有不同尺度的多个特征矩阵；
[0031]融合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种主动觉知式界面显示方法，其特征在于，包括：获取待显示设备的电子设备的屏幕图像；从所述屏幕图像提取出文本数据；对所述文本数据进行分词处理后通过包含词嵌入层的转换器模型以获得词特征向量的序列；将所述词特征向量的序列通过条件随机场以基于权限信息对所述词特征向量的序列中的各个词特征向量进行标注以获得每个所述词特征向量的类别标签；基于每个所述词特征向量的类别标签，从所述词特征向量的序列中提取出标签类别属于可显示内容的多组一个或多个词特征向量；将标签类别属于可显示内容的各组一个或多个词特征向量进行二维拼接以获得具有不同尺度的多个特征矩阵；使用密集预测模型架构的投影重组功能将具有不同尺度的所述多个特征矩阵融合为投影矩阵，其中，所述密集预测模型架构的投影重组功能包括下将所有多个特征矩阵进行三维拼接以获得三维的特征图在将所述三维的特征图投影到二维的平面上；将所述投影矩阵输入所述密集预测模型架构的生成器模型以生成电子设备的重构屏幕图像，其中，所述生成器模型的卷积层适于对于使用不同卷积核进行卷积运算得到的卷积特征图进行拼接和上采样；以及将所述电子设备的重构屏幕图像显示于所述电子设备的屏幕。2.根据权利要求1所述的主动觉知式界面显示方法，其中，从所述屏幕图像提取出文本数据，包括：对所述屏幕图像进行文本识别处理以获得所述文本数据。3.根据权利要求2所述的主动觉知式界面显示方法，其中，对所述文本数据进行分词处理后通过包含词嵌入层的转换器模型以获得词特征向量的序列，包括：对所述文本数据进行分词处理后以获得对应于所述文本数据的词序列；将所述词序列中的每个词输入所述转化器模型的词嵌入层以将所述词序列中的每个词映射到词向量以获得词向量的序列；以及将所述词向量的序列输入所述转换器模型的转换器以获得所述词特征向量的序列。4.根据权利要求3所述的主动觉知式界面显示方法，其中，使用密集预测模型架构的投影重组功能将具有不同尺度的所述多个特征矩阵融合为投影矩阵，包括：使用所述密集预测模型架构对具有不同尺度的所述多个特征矩阵进行三维拼接以获得所述三维的特征图；以及使用所述密集预测模型架构将所述三维的特征图投影到二维的平面上以获得二维的所述投影矩阵。5.根据权利要求4所述的主动觉知式界面显示方法，其中，使用所述密集预测模型架构对具有不同尺度的所述多个特征矩阵进行三维拼接以获得所述三维的特征图，包括：使用所述密集预测模型架构对具有不同尺度的所述多个特征矩阵中各个特征矩阵进行基于线性变换的尺度调整以将所述多个特征矩阵的尺度统一。6.根据权利要求5所述的主动觉知式界面显示方法，其中，所述生成器模型为由卷积层、上采样层和激活层交替的卷积神经网络；其中，将所述投影矩阵输入所述密集预测模型架构的生成器模型以生成电子设备的重
构屏幕图像，包括：使用所述生成器模型的卷积层对所述投影矩阵进行卷积处理以获得卷积...

【专利技术属性】
技术研发人员：周鹏儿，唐小勇，李长叶，吴智灿，
申请(专利权)人：深圳市辰星瑞腾科技有限公司，
类型：发明
国别省市：