一种基于深度学习的社交网络图像源识别方法及系统技术方案

本发明专利技术公开了一种基于深度学习的社交网络图像源识别方法及系统，采用极大似然估计方式估计测试图片数据集所属相机的指纹集合，根据图片的噪声指纹特征与其相机源的相机指纹特征完成网络模型的训练，利用噪声图片值与估计出的相机指纹的相关系数实现社交网络图像源识别，计算出识别的准确率，本发明专利技术在原始图片数据集和社交网络上经过处理的数据集上都表现良好，有更为精确的相机源识别的准确率和较强的鲁棒性。解决了传统单一的移动取证或社交网络取证方法对于相机源识别的准确率低的问题。问题。问题。

【技术实现步骤摘要】
一种基于深度学习的社交网络图像源识别方法及系统


[0001]本方法属于深度学习和数字取证领域，涉及一种基于深度学习的社交网络图像源识别方法及系统。

技术介绍

[0002]近年来，随着Twitter、Facebook、微信、Instagram、新浪微博等社交网络平台的兴起，在线社会网络已经广泛应用于我们的日常生活，并正在改变我们的生活和交流方式。智能手机在用户利用社交平台发布和分享多媒体内容(图片、视频等)的行为中发挥了重要的作用，也为欺诈活动提供了媒介。因此，智能手机和社交网络平台相结合的取证方法成为数字取证的研究热点，特别是在执法人员在搜集犯罪证据中发挥极大的作用。
[0003]数字取证的一个常见问题是图像的设备来源识别。相机传感器指纹不仅成功地应用于相机识别和图像处理，而且还涉及到基于摄像机的盲图像聚类问题。在线社会网络中，图像通过智能手机拍摄并上传到社交网络平台上，上传成功后可与其他用户进行共享，以供查看和下载。目前，大多数社交网络平台允许用户使用智能手机拍摄图像同时进行上传。Facebook、微信和其他社交网络平台包含大量的照片，这些内容构成了有价值的实时信息源，利用这些信息源来匹配智能手机，解决执法人员面对海量社交网络数据取证困难的问题。
[0004]由于社交网络平台上数据信息的广泛性和异构性，以及大规模数据集对图像取证算法造成的计算复杂度高的困难，很少有研究将图像取证和社交网络取证相结合。

技术实现思路

[0005]本专利技术的目的在于提供一种基于深度学习的社交网络图像源识别方法及系统，以克服现有技术的不足。
[0006]为达到上述目的，本专利技术采用如下技术方案：
[0007]一种基于深度学习的社交网络图像源识别方法，包括以下步骤：
[0008]S1，采用极大似然估计方式估计测试图片数据集所属相机的指纹集合Kset；
[0009]S2，从测试图片数据集中随机抽选训练图片I，并按照预设大小从随机抽选的训练图片中任意位置截取一张子图I
′
，同时随机获取一个l∈{0,1}，当l＝1时，从指纹集合Kset中取出随机抽选的训练图片的源相机指纹图像M，并从源相机指纹图像M中截取与训练图片中任意位置截取的子图相同位置的子图M
′
，并将{1,I
′
,M
′
}作为一个组合对pair；当label＝0时，随机从指纹集Kset中取出不是训练图片I所属的源相机指纹图像，并从该图像中截取与I
′
大小相同的子图M
″
，并将{0，I
′
，M
″
}作为一个组合对pair；将获取的组合对pair输入到训练模型进行训练，重复从测试图片数据集中随机抽选训练图片进行训练，直至经过训练模型输出的噪声图片值与估计出的相机指纹的相关系数达到设定阈值，完成模型训练；
[0010]S3，采用训练后的模型对待验证社交网络图像进行处理得到待验证社交网络图像的噪声图像值，与得到的噪声图像值最接近的PRNU值所对应的相机即为待验证社交网络图
像的图像源。
[0011]进一步的，测试图片数据集为已知相机拍摄图片。
[0012]进一步的，采用极大似然估计的方式估计出图片数据集所属相机的PRNU值为K：
[0013][0014]W
k
为测试图片数据集中第k张图片的噪声残差，I
k
为测试图片数据集中第k张图片的噪声图片。
[0015]进一步的，训练模型采用CSI
‑
CNN网络结构，包括输入层，卷积层和输出层。
[0016]进一步的，输入层采用大小为3
×
3的128
×
3个卷积核进行卷积，并使用ReLU激活函数来实现神经元间的非线性输出；卷积层使用残差网络的瓶颈残差模块，依次经过1
×1×
128、3
×3×
32、1
×1×
32的卷积核进行卷积并执行批量归一化和ReLU激活函数来输出128维的特征矩阵；卷积层的前M层通过对训练集中图像的特征学习，得到去除加性噪声后的图像，并作为卷积层的后续层的输入，卷积层的后续层通过对去除加性噪声后的图像的特征学习，得到输入图像的噪声图像值；输出层采用大小为3
×3×
128的卷积核来输出图像乘性噪声指纹。
[0017]进一步的，设定阈值为80％。
[0018]进一步的，将获取的组合pair输入损失函数计算输出的噪声图片与估计出的相机指纹的相关系数loss(x，y，l)：
[0019][0020]其中，当l＝1时，ρ(x，y)相关系数越大表明，则损失越小，表明输入的x图片出自PRNU值为y所属相机。
[0021]进一步的，将测试图片数据集按比例划分为验证集，指纹估计集，训练集和测试集；
[0022]指纹估计集为图片集根据极大似然估计和小波滤波的方法估计相机指纹；
[0023]训练集为使用输入的训练集和相机指纹值训练网络，使得训练出来的网络输出为下载图片的噪声图片，并可与相机指纹K计算相关系数确定下载图片所属相机源；
[0024]验证集为验证输入训练出来的网络后，网络输出的噪声图像与相机指纹的相关系数是否符合实际相关性。
[0025]一种社交网络图像源识别系统，包括预训练模块和识别模块；
[0026]预训练模块用于估计测试图片数据集所属相机的指纹集合Kset，并从测试图片数据集中随机抽选训练图片I，并按照预设大小从随机抽选的训练图片中任意位置截取一张子图I
′
，同时随机获取一个l∈{0，1}，当l＝1时，从指纹集合Kset中取出随机抽选的训练图片的源相机指纹图像M，并从源相机指纹图像M中截取与训练图片中任意位置截取的子图相同位置的子图M
′
，并将{1,I
′
，M
′
}作为一个组合对pair；当label＝0时，随机从指纹集Kset中取出不是训练图片I所属的源相机指纹图像，并从该图像中截取与I
′
大小相同的子图M
″
，
并将{0，I
′
，M
″
}作为一个组合对pair；将获取的组合对pair输入到训练模型进行训练，重复从测试图片数据集中随机抽选训练图片进行训练，直至经过训练模型输出的噪声图片值与估计出的相机指纹的相关系数达到设定阈值，将训练完成的模型传输至识别模块；
[0027]识别模块用于根据训练后的模型对待验证社交网络图像进行处理得到待验证社交网络图像的噪声图像值，与得到的噪声图像值最接近的PRNU值所对应的相机即为待验证社交网络图像的图像源。
[0028]与现有技术相比，本专利技术具有以下有益的技术效果：
[0029]本专利技术一种基于深度学习的社交网络图像源识别方法，采用极大似然估计方式估计测试图片数据集所属相机的指纹集合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的社交网络图像源识别方法，其特征在于，包括以下步骤：S1，采用极大似然估计方式估计测试图片数据集所属相机的指纹集合Kset；S2，从测试图片数据集中随机抽选训练图片I，并按照预设大小从随机抽选的训练图片中任意位置截取一张子图I
′
，同时随机获取一个l∈{0,1}，当l＝1时，从指纹集合Kset中取出随机抽选的训练图片的源相机指纹图像M，并从源相机指纹图像M中截取与训练图片中任意位置截取的子图相同位置的子图M
′
，并将{1,I
′
,M
′
}作为一个组合对pair；当label＝0时，随机从指纹集Kset中取出不是训练图片I所属相机的指纹图像，并从该图像中截取与I
′
大小相同的子图M
″
,并将{0,I
′
,M
″
}作为一个组合对pair；将获取的组合对pair输入到训练模型进行训练，重复从测试图片数据集中随机抽选训练图片进行训练，直至经过训练模型输出的噪声图片值与估计出的相机指纹的相关系数达到设定阈值，完成模型训练；S3，采用训练后的模型对待验证社交网络图像进行处理得到待验证社交网络图像的噪声图像值，与得到的噪声图像值最接近的PRNU值所对应的相机即为待验证社交网络图像的图像源。2.根据权利要求1所述的一种基于深度学习的社交网络图像源识别方法，其特征在于，测试图片数据集为已知相机拍摄图片。3.根据权利要求1所述的一种基于深度学习的社交网络图像源识别方法，其特征在于，采用极大似然估计的方式估计出图片数据集所属相机的PRNU值为K：W
k
为测试图片数据集中第k张图片的噪声残差，I
k
为测试图片数据集中第k张图片的噪声图片。4.根据权利要求1所述的一种基于深度学习的社交网络图像源识别方法，其特征在于，训练模型采用CSI
‑
CNN网络结构，包括输入层，卷积层和输出层。5.根据权利要求4所述的一种基于深度学习的社交网络图像源识别方法，其特征在于，输入层采用大小为3
×
3的128
×
3个卷积核进行卷积，并使用ReLU激活函数来实现神经元间的非线性输出；卷积层使用残差网络的瓶颈残差模块,依次经过1
×1×
128、3
×3×
32、1
×1×
32的卷积核进行卷积并执行批量归一化和ReLU激活函数来输出128维的特征矩阵；卷积层的前M层通过对训练集中图像的特征学习，得到去除加性...

【专利技术属性】
技术研发人员：孙钦东，林凯，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：