本发明专利技术涉及检测坏点的集成电路装置。其处理装置用以随机在选取训练数据的特定像素作为基准像素；以基准像素为中心，选取基准像素周围特定范围内的像素；从基准像素及特定范围内的像素中随机挑选至少一个像素为坏点；将坏点的信息更新至训练数据中；基于更新后的训练数据对神经网络模型进行训练。其计算装置用以将图像数据输入至训练后的神经网络模型以执行推理任务，以获得校正坏点后的计算结果。以获得校正坏点后的计算结果。以获得校正坏点后的计算结果。
【技术实现步骤摘要】
涉及检测坏点的集成电路装置及板卡
[0001]本专利技术一般地涉及神经网络领域。更具体地，本专利技术涉及检测坏点的集成电路装置及板卡。
技术介绍
[0002]图像坏点指的是摄像头上的像素阵列存在工艺上的缺陷，或在光信号转化为电信号的过程中出现错误，导致图像中的像素值不准确。
[0003]图像坏点分为以下两种。第一种是静态坏点，又分为静态亮点和静态暗点。静态亮点的亮度值明显大于入射光乘以相应比例，并且随着曝光时间的增加，该点的亮度会一直处于全亮状态；静态坏点则是无论入射光的强度为何，该点的值接近于0，也就是全暗状态。第二种是动态坏点，其在一定像素范围内表现正常，但超过这范围，该点表现会比周围像素要亮或暗，比周围亮的是动态亮点，比周围暗的是动态暗点。
[0004]如果图像中存在坏点的话，由于在影像信号处理中进行插值和滤波处理时，坏点会影响周围的像素值，因此现有技术在插值和滤波之前对坏点进行校正。坏点校正通常在拜耳(Bayer)域进行。
[0005]现有技术在进行静态坏点校正时，基于历史静态坏点表，比较当前点的坐标是否与静态坏点表中的某个坐标一致，若一致则判定为坏点，接着对其进行校正。现有技术在进行动态坏点校正时，一般分为两阶段进行：第一阶段为坏点检测，基于梯度变化，找出亮度相对于周围窗口变化巨大的像素值；第二阶段是坏点校正，对检测出的坏点使用插值算法校正。
[0006]现有技术的坏点校正难以去除所有的静态坏点，而去除动态坏点又需要额外的计算。再者，拜耳域去噪的对坏点较为敏感，甚至于会放大坏点，使得坏点更难以去除。
[0007]因此，一种改良式的坏点校正方案是迫切需要的。
技术实现思路
[0008]为了至少部分地解决
技术介绍
中提到的技术问题，本专利技术的方案提供了一种涉及检测坏点的集成电路装置及板卡。
[0009]在一个方面中，本专利技术揭露一种检测坏点的集成电路装置，包括处理装置及计算装置。处理装置用以：随机在选取训练数据的特定像素作为基准像素；以基准像素为中心，选取基准像素周围特定范围内的像素；从基准像素及特定范围内的像素中随机挑选至少一个像素为坏点；将坏点的信息更新至训练数据中；基于更新后的训练数据对神经网络模型进行训练。计算装置用以将图像数据输入至训练后的神经网络模型以执行推理任务，以获得校正坏点后的计算结果。
[0010]在另一个方面，本专利技术揭露一种板卡，包括前述的集成电路装置。
[0011]本专利技术提出了一种基于深度学习的坏点校正方案，在具有特定任务的神经网络训练中额外模拟静态和动态坏点。通过添加坏点仿真，神经网络模型在训练过程中一方面可
以优化原本任务，另一方面还能对坏点进行去除或者抑制。
附图说明
[0012]通过参考附图阅读下文的详细描述，本专利技术示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本专利技术的若干实施方式，并且相同或对应的标号表示相同或对应的部分其中：
[0013]图1是示出本专利技术实施例的板卡的结构图；
[0014]图2是示出本专利技术实施例的集成电路装置的结构图；
[0015]图3是示出本专利技术实施例的计算装置的内部结构示意图；以及
[0016]图4是示出本专利技术实施例的处理器核的内部结构示意图。
具体实施方式
[0017]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0018]应当理解，本专利技术的权利要求、说明书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。本专利技术的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0019]还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本专利技术。如在本专利技术说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本专利技术说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0020]如在本说明书和权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。
[0021]下面结合附图来详细描述本专利技术的具体实施方式。
[0022]本专利技术提出一种利用训练数据在神经网络模型中校正坏点的方案，此神经网络模型原本用来执行与计算机视觉有关的特定任务，例如图像识别、目标检测、语义分割、视频理解、图像生成、去噪、去马赛克等。在训练此神经网络模型的同时仿真静态和动态坏点，使得此神经网络模型在训练过程中，除了优化原特定任务外，还可以通过参数的更新抑制坏点对图像的影响。
[0023]本专利技术的实施例是一种应用于具有摄像头以实现计算机视觉的网络架构中，该网络架构具有如图1所示的板卡10。如图1所示，板卡10包括芯片101，其是一种系统级芯片(System on Chip，SoC)，或称片上系统，集成有一个或多个组合处理装置，组合处理装置是一种人工智能运算单元，用以支持各类深度学习和机器学习算法，满足计算机视觉领域复杂场景下的智能处理需求。特别是深度学习技术大量应用在云端智能领域，云端智能应用的一个显著特点是输入数据量大，对平台的存储能力和计算能力有很高的要求，此实施例
的板卡10适用在云端智能应用，具有庞大的片外存储、片上存储和强大的计算能力。
[0024]芯片101通过对外接口装置102与外部设备103相连接。在此实施例中，外部设备103为摄像头。待处理的图像数据可以由外部设备103通过对外接口装置102传递至芯片101。根据不同的应用场景，对外接口装置102可以具有不同的接口形式，例如PCIe接口等。
[0025]板卡10还包括用于存储数据的存储器件104，其包括一个或多个存储单元105。存储器件104通过总线与控制器件106和芯片101进行连接和数据传输。板卡10中的控制器件106配置用于对芯片101的状态进行调控。为此，在一个应用场景中，控制器件106可以包括单片机(Micro Controller Unit，MCU)。
[0026]图2是示出此实施例的芯片101中的组合处理装置的结构图。如图2中所示，组合处理装置20包括计算装置201、接口装置202、处理装置203和DRAM 204。
[0027]计算装置201配置成执行用户指定的操作，主要实现为单核智能处理器或者多核智能处理器，用以执行深度学习或机器学习的计本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种检测坏点的集成电路装置，所述集成电路装置包括：处理装置，用以：随机在选取训练数据的特定像素作为基准像素；以所述基准像素为中心，选取所述基准像素周围特定范围内的像素；从所述基准像素及所述特定范围内的像素中随机挑选至少一个像素为坏点；将所述坏点的信息更新至所述训练数据中；基于更新后的训练数据对神经网络模型进行训练；以及计算装置，用以将图像数据输入至训练后的神经网络模型以执行推理任务，以获得校正坏点后的计算结果。2.根据权利要求1所述的集成电路装置，其中所述特定范围是以所述基准像素为中心的特定大小的矩阵。3.根据权利要求1所述的集成电路装置，其中所述多个坏点包括静态坏点及动态坏点，所述更新后的训练数据载有所述静态坏点及所述动态坏点的信息。4.根据权利要求3所述的集成电路装置，其中所述处理装置还用以：设定第一阈值及第一概率；判断所述坏点是否为所述动态坏点；如是，判断所述第一概率是否被满足；如被满足，判断...
【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：上海寒武纪信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。