The application discloses an image processing method, device, device and system, belonging to the field of artificial intelligence technology, in particular to machine learning technology. The device includes: acquisition module, which is used to acquire the video image stream of colorectal to be detected; detection module, which is used to detect the focus of each intestinal image frame in the video image stream in turn; processing module, which is used to detect the current intestinal image frame according to the first focus detection result of the previous intestinal image frame and the second focus detection result of the current intestinal image frame Channel image is classified; when the classification result indicates that there is a focus and the current intestinal image includes multiple focus center points, the focus center point with the highest confidence is determined as the final focus center point of the current intestinal image; the pre sequence intestinal image is at least one intestinal image before the current intestinal image in time sequence. The application improves the accuracy of image classification and ensures the consistency of prediction results.
【技术实现步骤摘要】
图像处理方法、装置、设备以及系统本申请为2019年03月01日提交的申请号为201910156660.1、专利技术名称为“图像处理方法、装置、存储介质、设备以及系统”的中国专利申请的分案申请，其全部内容通过引用结合在本申请中。
本申请涉及人工智能
，特别涉及一种图像处理方法、装置、设备以及系统。
技术介绍
机器学习技术作为人工智能的核心，其应用范围目前已经遍及各个领域，比如医疗领域便是其中一种。在医疗领域中，利用机器学习技术对医学影像图像进行处理，可实现对病人是否罹患某种疾病进行识别。以结直肠癌为例，时下肠镜检查已被广泛应用于结肠癌筛查，在得到病人结直肠部位的医学影像图像后，利用计算机辅助检测技术对该医学影像图像进行处理，检测肠壁是否存在息肉，进而实现根据息肉的存在情况来辅助医生识别病人是否罹患结直肠癌。继续以结直肠癌为例，相关技术在通过肠道图像处理进行息肉检测时，尽管采集到的是视频影像流，但是输入到息肉检测模型的是该视频影像流中的单帧肠道图像，即息肉检测模型在接收到单帧肠道图像后，首先对该帧肠道图像进行特征提取，之后，基于提取到的特征判断该帧肠道图像中是否存在息肉。上述肠道图像处理方式至少存在以下问题：第一、上述肠道图像处理方式对息肉检测模型的准确度有较高要求，而考虑到实际场景的复杂性，息肉检测模型的准确度存在瓶颈。例如，在肠镜检查时可能会出现遮挡、光线过亮或过暗、运动性模糊、失焦性模糊等，又例如，息肉大小、形态、颜色等也会根据病人不同、摄像头与息肉的距离不同、终端型号不同等发...
【技术保护点】
1.一种图像处理装置，其特征在于，所述装置包括：/n获取模块，用于获取待检测结直肠的视频影像流，所述视频影像流是通过图像采集设备对待检测结直肠进行图像采集形成的视频流；/n检测模块，用于对所述视频影像流中的每一帧肠道图像依次进行病灶检测；/n处理模块，用于对于当前帧肠道图像，根据前序帧肠道图像的第一病灶检测结果和所述当前帧肠道图像的第二病灶检测结果，对所述当前帧肠道图像进行分类；当分类结果指示存在病灶且所述当前帧肠道图像中包括多个病灶中心点时，将置信度最高的病灶中心点确定为所述当前帧肠道图像最终的病灶中心点；其中，所述前序帧肠道图像为时序上位于所述当前帧肠道图像之前的至少一帧肠道图像。/n
【技术特征摘要】
1.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取待检测结直肠的视频影像流，所述视频影像流是通过图像采集设备对待检测结直肠进行图像采集形成的视频流；
检测模块，用于对所述视频影像流中的每一帧肠道图像依次进行病灶检测；
处理模块，用于对于当前帧肠道图像，根据前序帧肠道图像的第一病灶检测结果和所述当前帧肠道图像的第二病灶检测结果，对所述当前帧肠道图像进行分类；当分类结果指示存在病灶且所述当前帧肠道图像中包括多个病灶中心点时，将置信度最高的病灶中心点确定为所述当前帧肠道图像最终的病灶中心点；其中，所述前序帧肠道图像为时序上位于所述当前帧肠道图像之前的至少一帧肠道图像。
2.根据权利要求1所述的装置，其特征在于，所述检测模块，还用于将所述当前帧肠道图像输入检测模型中，获取所述检测模型输出的第一分割图像，所述第一分割图像中每个像素点表示所述当前帧肠道图像中相应位置上的像素点为病灶的概率值；对所述第一分割图像进行调整，并对调整后的第一分割图像进行后处理；计算后处理的第一分割图像中至少一个前景区域的连通分量；按照大小对所述至少一个连通分量进行排序，并按照与目标形状的相似程度对所述至少一个连通分量进行排序；当最大的连通分量、与最接近所述目标形状的连通分量一致时，将所述最大的连通分量指示的前景区域，确定为所述当前帧肠道图像的病灶中心点。
3.根据权利要求2所述的装置，其特征在于，所述检测模块，还用于获取与上一帧肠道图像匹配的调整后的第二分割图像，求取所述第一分割图像和所述调整后的第二分割图像的平均值，得到所述调整后的第一分割图像；以指定数值为阈值，对所述调整后的第一分割图像进行二值化处理；去除二值化处理后的第一分割图像中的噪声点并平滑前景边缘。
4.根据权利要求1所述的装置，其特征在于，所述处理模块，还用于根据所述前序帧肠道图像中至少一帧肠道图像的病灶中心点的运动向量，通过线性拟合预测所述当前帧肠道图像的病灶中心点的运动向量，所述前序帧肠道图像中至少一帧肠道图像的病灶中心点是基于所述第一病灶检测结果得到的；基于所述当前帧肠道图像的预测病灶中心点的运动向量，追踪在所述当前帧肠道图像中所述预测病灶中心点的位置坐标；当追踪得到的预测位置坐标位于所述当前帧肠道图像的图像范围内时，基于分类器对所述预测位置坐标进行判定，得到第三病灶检测结果；基于所述第二病灶检测结果和所述第三病灶检测结果，对所述当前帧肠道图像进行分类。
5.根据权利要求4所述的装置，其特征在于，该装置还包括：
训练模块，用于获取所述当前帧肠道图像的上一帧肠道图像输入检测模型中得到的第三分割图像；基于所述第三分割图像，生成目标数量的正样本和目标数量的负样本；基于所述目标数量的正样本和所述目标数量的负样本，对所述分类器进行在线训练。
6.根据权利要求5所述的装置，其特征在于，训练模块，还用于在所述第三分割图像中确定病灶区域；在所述第三分割图像中，裁剪与所述病灶区域重叠范围大于第一取值的图像区域，得到所述目标数量的正样本；在所述第三分割图像中，裁剪与所述病灶区域重叠范围小于第二取值的图像区域，得到所述目标数量的负样本。
7.根据权利要求4所述的装置，其特征在于，所述处理模块，还用于当所述预测位置坐标超出所述当前帧肠道图像的图像范围时，在下一帧肠道图像中对所述预测位置坐标对应的预测病灶中心点停止追踪；或，当所述分类器将所述预测位置坐标对应的预测病灶中心点判定为背景时，在下一帧肠道图像中对所述预测位置坐标对应的预测病灶中心点停止追踪。
8.根据权利要求4至7中任一权利要求所述的装置，其特征在于，所述处理模块，还用于当对任意一个病灶中心点的追踪帧数大于第一数量时，停止对所述病灶中心点进行追踪；或，当在第二数量的连续肠道图像中追踪一个病灶中心点失败时，停止对所述...
【专利技术属性】
技术研发人员：郑贺，姚建华，韩骁，黄俊洲，
申请(专利权)人：腾讯医疗健康深圳有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。