【技术实现步骤摘要】
本专利技术属于图像处理，涉及一种多相机图像数据去重和时序校正的方法，特别涉及一种基于phash和lstm的多相机图像数据去重和时序校正的方法。
技术介绍
1、基于相机结构化数据开发业务功能时，一般需要结合多台相机，但因为各相机的监控范围有一定重叠，同时每台相机的时钟有一定误差，所以造成了一部分重复的、时序颠倒的数据，这些重复的、时序颠倒的数据会降低数据质量，增加数据处理的复杂度和耗时；同时这些数据可能会导致后序的算法模型的不稳定性，影响最终的业务分析结果，进而影响业务决策的准确性。所以在基于相机结构化数据开发业务功能时，需要重视处理这些问题，来确保数据的质量和时序的准确性。
2、目前有一些方法已经解决了图像数据去重和时序数据异常检测的问题。然而，现有的图像去重方法主要基于图像的特征提取和相似性比较，但在处理多监控相机产生的大规模数据时，计算成本高昂，效率低下，且容易受到光照、角度和尺度等因素的影响，准确性较差，而且针对由于多相机监控范围有一定重叠和每台相机的时钟有一定误差导致图像数据重复和时序颠倒问题的场景，还没有适用的方法来解决。
技术实现思路
1、本专利技术的目的在于克服现有技术存在的缺点，设计提供一种多相机图像数据去重和时序校正的方法，解决由于多台相机多相机监控范围有一定重叠和每台相机的时钟有一定误差导致的大量图像数据重复和时序颠倒的综合问题，来保证图像数据的质量和时序的准确性。
2、为了实现上述目的，本专利技术采用如下技术方案：
3、本专
4、s1、数据预处理：收集每个监控相机捕获的图像数据，并按照时间戳进行排序，针对每个监控相机的时钟误差，进行时间戳的校准，对多台监控相机的图像数据进行初步时序校正；
5、s2、检测与去除重复数据：按时间对步骤s1得到的图像数据进行分段，采用phash算去除图像的重复数据；
6、s3、合并数据：对数据进行去重后，将多台相机的有序图像数据按照合并有序链表的算法进行合并；
7、s4、检测并校正时序颠倒数据：采用lstm模型学习图像数据的时序特征，并对时序颠倒的数据进行检测，再根据检测的时序数据对实际数据的顺序进行调整，并将这些数据用于后续时序数据的预测，等所有需要进行时序性检测和校正的数据都处理完成后，返回所有处理后的数据。
8、作为本专利技术的进一步技术方案，步骤s2采用phash算去除图像重复数据的过程为：
9、s21、对于每个时间段内的图像数据，根据phash算法计算每张图像的哈希值；
10、s22、计算每个时间段内每两张图像phash值的汉明距离；
11、s23、计算出每个时间段内的每张图像与其它所有图像的汉明距离的和，若图像与其它所有图像汉明距离的和小于设定的阈值，则被视为重复数据，并进行去除。
12、作为本专利技术的进一步技术方案，步骤s22所述汉明距离为，其中，和分别表示图像和的phash值；表示一个指示函数，当和相等时为0， 不相等时为1；和分别表示二进制序列和在第个位置上的二进制位。
13、作为本专利技术的进一步技术方案，步骤s4的具体过程为：
14、s41、数据集构建：将合并前的每个相机的时序正确的图像数据作为模型的数据集，先确定好时间窗口和滑动窗口的步长的大小，根据滑动窗口的步长，在时序数据上移动，并从每个时间窗口中提取数据作为一个样本序列，再将时间窗口内的前一部分数据作为输入特征，将时间窗口内的后一部分数据作为标签，将上述步骤遍历完整个时序数据集，生成所有的样本数据，其中数据中的80%作为训练集，剩下的20%作为验证集；
15、s42、构建lstm模型：确定好lstm模型的超参数后，指定均方误差(mse)作为lstm模型的损失函数，指定随机梯度下降作为模型的优化器；
16、s43、训练模型：将训练集送入lstm模型，计算损失函数的值，利用随机梯度下降更新lstm模型的参数进行训练，直到训练轮次达到设定值或损失值呈现平稳趋势，保存其最小损失值时的lstm模型得到训练好的模型；
17、s44、验证模型：将验证集输入到训练好的模型中，得到模型的预测结果，通过计算模型的预测结果和真实值之间的均方误差验证模型；
18、s45、时序颠倒数据的检测：对合并后的多个相机的图像时序数据使用与步骤s41相同的滑动窗口的方法进行划分，为保证后面时序图像数据预测的准确性，人为对前几个时间窗口的图像数据进行调整，保证数据的有序性，将前几个时序正确的数据输入到训练好的模型中，获取模型的预测结果，即后序的数据，根据模型的输出结果，分析数据是否存在颠倒的情况；
19、s46、时序颠倒数据校正：若判断时序数据存在颠倒，根据模型输出结果对数据的顺序进行调整，并将这些数据用于后续数据时序性的检测；
20、s47、返回校正后的时序数据：等所有需要进行时序性检测和校正的数据都处理完成后，返回所有的校正后的时序数据。
21、本专利技术提供了一种基于phash和lstm的多相机图像数据去重和时序校正的方法，首先对多台相机的数据进行预处理，根据相机时钟误差对每台相机的时间戳进行初步校准；其次，基于phash算法对多相机图像数据进行哈希码的计算，进而计算它们之间的汉明距离，从而对相机与相机之间由于监控范围有一定重叠造成的重复数据进行去重；然后，对去重后的多台相机的图像数据进行合并；最后，采用lstm模型对合并后的图像数据进行时序性的检测和校正，保证后序业务功能开发中图像数据的质量和时序准确性；采用的phash算法是一种用于图像相似性比较的哈希算法，对于图像的光照、角度和尺度具有一定的不敏感性。它通过对图像进行频域转换，并将转换后的频域表示转化为哈希值，保留了图像的视觉特征，该哈希值在一定程度上能够反映图像的结构和内容，因此可以用于比较图像之间的相似性；lstm（long short-term memory）采用现有用于处理和预测时序数据的循环神经网络（rnn）架构， lstm的核心结构包括三个门控单元：输入门（input gate）、遗忘门（forget gate）和输出门（output gate），以及一个记忆单元（cell state）。这些门控单元能够根据当前输入、之前的状态和目标输出，动态地控制信息的流动和存储，学习数据之间的时序关系，从而用于检测时序颠倒的数据。
22、与现有技术相比，本专利技术的有益效果是：
23、本专利技术通过phash算法和lstm模型高效准确的对多相机的图像数据进行去重，并且进行了时序颠倒数据的检测和校正，为由于多相机监控范围有一定重叠和每台相机的时钟有一定误差导致图像数据重复和时序颠倒问题的场景提供了一个适用的解决方案。
本文档来自技高网...【技术保护点】
1.一种多相机图像数据去重和时序校正的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述多相机图像数据去重和时序校正的方法，其特征在于，步骤S2采用pHash算去除图像重复数据的过程为：
3.根据权利要求2所述多相机图像数据去重和时序校正的方法，其特征在于，步骤S22所述汉明距离为，其中，和分别表示图像和的pHash值；表示一个指示函数，当和相等时为0， 不相等时为1；和分别表示二进制序列和在第个位置上的二进制位。
4.根据权利要求1所述多相机图像数据去重和时序校正的方法，其特征在于，步骤S4的具体过程为：
【技术特征摘要】
1.一种多相机图像数据去重和时序校正的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述多相机图像数据去重和时序校正的方法，其特征在于，步骤s2采用phash算去除图像重复数据的过程为：
3.根据权利要求2所述多相机图像数据去重和时序校正的方法，其...
【专利技术属性】
技术研发人员：刘寒松，王国强，王永，刘瑞，李越，董玉超，
申请(专利权)人：松立控股集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。