机器人视觉隐私行为识别与保护方法技术

本发明专利技术公开了一种机器人视觉隐私行为识别与保护方法，包括：机器人以图像数据为输入，采用融合注意力模型的卷积神经网络场景识别算法，获得用于识别隐私场景的特征模型；然后，以隐私场景的图像数据和隐私场景图像语义特征数据为输入，采用涉隐私图像语义特征描述算法，获得将图像信息转换为文本信息的语义特征模型；最后，以机器人摄像头视频流为输入，采用基于近似等价转换的视觉隐私识别与保护算法，将机器人摄像头视频流中包含隐私的片段用相应的监护要素文本信息进行替换，实现隐私场景的近似等价转换，从而实现对隐私场景的保护。本发明专利技术能采用文本的形式描述视觉所感知监护要素信息，以保护用户敏感隐私。

【技术实现步骤摘要】
机器人视觉隐私行为识别与保护方法
本专利技术涉及信息安全保护领域，具体涉及一种机器人视觉隐私行为识别与保护方法
技术介绍
利用智能家居以及服务机器人为失能与半失能老人提供协助与监护已取得较多成果，但此类设备因其摄像头、语音监听设备等而存在泄露用户隐私信息的风险。目前，在隐私数据保护方面，有研究者将用户数据所涉隐私级别与访问权限相关联，根据数据访问者与被监护者的亲密程度确定访问数据权限等级，这种分级方法在一定程度上非常有效，但当遭到非法入侵时，无法保证用户信息安全。有研究者设计了一种数据驱动的动态分析框架评估用户隐私泄露风险，但当系统受到攻击时，用户的隐私信息就会被泄露。在隐私识别与保护方面，为了估计图像的隐私程度，有研究者通过收集并标注Flickr上的公开照片构建训练数据集，并将图像的文本元数据与视觉特征相结合，提出了自动识别图片隐私和面向隐私内容搜索的方法。此方法中，利用训练获得的特征模型搜索个人照片，并将用户图像分为不涉及个人隐私的公共集和涉及隐私信息的私有集两部分，但这种方法并不能给出表明图像具体隐私程度的数据。针对摔倒监测过程中可能涉及的隐私内容，有研究者提出了一种具有隐私增强功能的家庭视频监测系统，在检测到人存在时在人体上面增加一个不透明的矩形框，进而实现保护用户隐私的目的。这种将人体全部遮挡的方法，可以实现隐私保护，但也会为监护的后续工作带来负面影响，遮挡后的被监护人在发生意外时难以及时发现。与此类似的是，有研究者通过对视频流中的特定对象进行隐藏来实现对隐私内容的保护，或利用多任务学习方法模糊化图片中的隐私部分。上述这些通过权限管理或者模糊化等手段处理涉及隐私信息的方法，虽然在一定程度上可以保护用户隐私，但是也会使重要信息丢失。而对于执行监护功能的家庭服务机器人，往往需要采集较全面的信息。
技术实现思路
本专利技术的目的在于克服上述缺点而提出了一种能实现隐私保护的同时保留更多的监护信息的近似等价转换的机器人视觉隐私行为识别与保护方法。本专利技术的一种机器人视觉隐私行为识别与保护方法，包括：机器人以图像数据为输入，采用融合注意力模型的卷积神经网络场景识别算法，获得用于识别隐私场景的特征模型，提取图像中的高维语义特征；然后，以隐私场景的图像数据和隐私场景图像语义特征数据为输入，采用涉隐私图像语义特征描述算法，以实现图像到文本的近似等价转换，最终输出与场景内容对应的具备监护要素的信息文本，获得将图像信息转换为文本信息的语义特征模型；最后，以机器人摄像头视频流为输入，采用基于近似等价转换的视觉隐私识别与保护算法，将机器人摄像头视频流中包含隐私的片段用相应的监护要素文本信息进行替换，实现隐私场景的近似等价转换，从而实现对隐私场景的保护；所述融合注意力模型的卷积神经网络场景识别算法：输入：图像训练数据集X；输出：图像训练数据集X的特征模型Mweight；步骤1.随机初始化Mweight；步骤2.判断图像Xi是否属于图像训练数据集X，若是则执行步骤2.1，否则执行步骤3；步骤2.1.输入的Xi进行线性滤波，统一图像的大小；步骤2.2.分别计算Xi的颜色特征、亮度特征和方向特征；步骤2.3.利用中央-周边差分算法和归一化处理计算Xi的特征显著图S(Xi)；步骤2.4.经过卷积池化操作提取特征显著图S(Xi)的局部高维语义特征；步骤2.5.经过全连接层将局部高维语义特征拼接成一维全局特征向量；步骤2.6.将所得的一维全局特征向量作为softmax层的输入，计算输出Xi预测标签的概率分布及其相应的损失值；步骤2.7.进行误差反向传播操作，更新特征模型Mweight中的权重参数；返回步骤2；步骤3.输出Mweight。所述涉隐私图像语义特征描述算法：输入：具有隐私场景的图像训练数据集I＝{i1,i2,…,ii,…,in}；隐私场景语义特征数据集S＝{s1,s2,…,si,…,sn}；输出：特征模型Fw；步骤1.初始化特征模型Fw，运用分词工具将场景语义数据集S中的si分割成词汇集W＝{W1,W2,…,Wi,…,Wm}，统计每个词Wi出现的次数，并过滤掉低于给定阈值频率Y的词，形成新的词汇集W＝{W1,W2,…,Wi,…,Wk}(k≤m)；步骤2.预处理训练数据集I，统一其图像大小及分辨率；步骤3.初始化网络模型参数；步骤4.将词语集W输入网络的Embeding层，生成相同维度的词向量W；步骤5.将I作为编码器的输入获取I的高维语义特征向量V；步骤6.将高维语义特征向量V与词向量W转换成相同的维度；步骤7.令i＝0到i＝k，判断i是否等于k，若不是执行步骤7.1，若是执行步骤8；步骤7.1.将Vi和Wi作为LSTM结构的初始状态输入，计算出词Wi的预测概率分布及其相应的损失值；其中Vi属于高维语义特征向量V，Wi属于词向量W；步骤7.2.执行误差反向传播操作，用Adam算法优化更新特征模型Fw；返回步骤7；步骤8.输出特征模型Fw。所述基于近似等价转换的视觉隐私识别与保护算法：输入:机器人摄像头视频流V；输出:去除了视觉隐私的视频流V*；步骤1.加载OpenCV库,隐私识别特征模型Mweight,涉隐私图像语义特征模型Fw、人脸识别特征库Fface；记临时帧ftemp＝Φ；时间序列位置Tbegin＝Φ；步骤2.读取摄像头视频流V；步骤3.判断读入帧数目n是否大于3，是执行步骤3.1，否则转步骤2；步骤3.1.将当前帧fi和前驱帧fi-1进行差分运算，计算差分值D(fi,fi-1)；步骤3.2.判断差分计算值D(fi,fi-1)是否大于预设阈值M：步骤3.3.运用所述融合注意力模型的卷积神经网络场景识别算法和所加载的隐私识别特征模型Mweight检测当前帧fi是否存在隐私，如果当前帧fi存在隐私转到步骤4，否则转到步骤8；步骤4.将当前帧fi的时间序列位置赋给时间序列位置Tbegin，运用所述涉隐私图像语义特征描述算法和语义特征模型Fw生成当前帧fi的自然语言场景语义描述di；步骤5.运用人脸识别方法识别fi中的人脸信息，获得人物身份信息Pi；步骤6.读取系统当前时间Ti,并通过感知到人物Pi的位置传感器获取其位置信息PP；步骤7.将四个关键要素信息合并成一条描述fi的文本信息fi*＝时间Ti∪地点PP∪人物Pi∪事件di，并以fi*为字幕生成替代fi的新帧fi′，ftemp＝fi′；步骤8.判断ftemp≠Φ，用ftemp代替视频流V中从Tbegin时刻开始到当前帧fi之间的帧，输出新的视频流V*；置ftemp＝Φ，Tbegin＝Φ；步骤9.如果收到了关闭机器人摄像头的指令，则转到步骤10，否则转到步骤2；步骤10.存储视频流V*。上述机器人视觉隐私行为识别与保护方法本文档来自技高网...

【技术保护点】
1.一种机器人视觉隐私行为识别与保护方法，包括：机器人以图像数据为输入，采用融合注意力模型的卷积神经网络场景识别算法，获得用于识别隐私场景的特征模型，提取图像中的高维语义特征；然后，以隐私场景的图像数据和隐私场景图像语义特征数据为输入，采用涉隐私图像语义特征描述算法，以实现图像到文本的近似等价转换，最终输出与场景内容对应的具备监护要素的信息文本，获得将图像信息转换为文本信息的语义特征模型；最后，以机器人摄像头视频流为输入，采用基于近似等价转换的视觉隐私识别与保护算法，将机器人摄像头视频流中包含隐私的片段用相应的监护要素文本信息进行替换，实现隐私场景的近似等价转换，从而实现对隐私场景的保护；/n所述基于近似等价转换的视觉隐私识别与保护算法：/n输入:机器人摄像头视频流

【技术特征摘要】
1.一种机器人视觉隐私行为识别与保护方法，包括：机器人以图像数据为输入，采用融合注意力模型的卷积神经网络场景识别算法，获得用于识别隐私场景的特征模型，提取图像中的高维语义特征；然后，以隐私场景的图像数据和隐私场景图像语义特征数据为输入，采用涉隐私图像语义特征描述算法，以实现图像到文本的近似等价转换，最终输出与场景内容对应的具备监护要素的信息文本，获得将图像信息转换为文本信息的语义特征模型；最后，以机器人摄像头视频流为输入，采用基于近似等价转换的视觉隐私识别与保护算法，将机器人摄像头视频流中包含隐私的片段用相应的监护要素文本信息进行替换，实现隐私场景的近似等价转换，从而实现对隐私场景的保护；
所述基于近似等价转换的视觉隐私识别与保护算法：
输入:机器人摄像头视频流V；
输出:去除了视觉隐私的视频流V*；
步骤1.加载OpenCV库、识别隐私场景的特征模型Mweight、涉隐私图像语义特征模型Fw、人脸识别特征库Fface；记临时帧ftemp=Φ；时间序列位置Tbegin=Φ;
步骤2.读取摄像头视频流V；
步骤3.判断读入帧数目n是否大于3，是执行步骤3.1，否则转步骤2；
步骤3.1.将当前帧fi和前驱帧fi-1进行差分运算，计算差分值D(fi,fi-1)；
步骤3.2.判断差分计算值D(fi,fi-1)是否大于预设阈值M：
步骤3.3.运用所述融合注意力模型的卷积神经网络场景识别算法和所加载的隐私识别特征模型Mweight检测当前帧fi是否存在隐私，如果当前帧fi存在隐私转到步骤4，否则转到步骤8；
步骤4.将当前帧fi的时间序列位置赋给时间序列位置Tbegin，运用所述涉隐私图像语义特征描述算法和语义特征模型Fw生成当前帧fi的自然语言场景语义描述di；
步骤5.运用人脸识别方法识别fi中的人脸信息，获得人物身份信息Pi；
步骤6.读取系统当前时间Ti,并通过感知到人物Pi的位置传感器获取其位置信息PP；
步骤7.将四个关键要素信息合并成一条描述fi的文本信息fi*=时间Ti∪地点PP∪人物Pi∪事件di，并以fi*为字幕生成替代fi的新帧fi′，ftemp=fi′；
步骤8.判断ftemp≠Φ，用ftemp代替视频流V中从Tbegin时刻开始到当前帧fi之间的帧，输出新的视频流V*；置ftemp=Φ，Tbegin=Φ；
步骤9.如果收到了关闭机器人摄像头的指令，则转到步骤10，否则转到步骤2；
步骤10.存储视频流V*。


2.如权利要求1所述的机器人视觉隐私行为识别与保护方法，其特征在于：所述基于近似等价转换的视觉隐私识别与保护算法，在步骤3.2中预设阈值M=25。


3.如权利要求1所述的机器人视觉隐私行为识别与保护方法，其特征在于：所述融合注意力模型的卷...

【专利技术属性】
技术研发人员：杨观赐，李中益，李国政，李杨，何玲，王越，蓝伟文，
申请(专利权)人：贵州大学，
类型：发明
国别省市：贵州;52