服务器装置及程序制造方法及图纸

服务器装置具有：接收单元，其从终端接收RAW图像；以及图像流水线处理单元，其使所述RAW图像显像，所述图像流水线处理单元具有：第一图像处理单元，其对所述RAW图像执行至少包含像素值的调节在内的1个或多个图像处理，输出被进行了图像处理的RAW图像；以及第二图像处理单元，其对被所述第一图像处理单元进行了图像处理的RAW图像执行至少包含去马赛克在内的1个或多个图像处理，输出显像后的图像。输出显像后的图像。输出显像后的图像。

【技术实现步骤摘要】
【国外来华专利技术】服务器装置及程序


[0001]本公开涉及执行图像处理的服务器装置和程序。

技术介绍

[0002]智能手机、平板电脑等边缘设备大多具备摄像头。用户能够在边缘设备上享受所拍摄的图像的阅览等。在资源有限的边缘设备中，将从图像传感器输出的RAW图像作为输入，实施一系列的图像处理组，生成显像后的RGB图像、编码后的JPEG图像。这样的一系列的图像处理组被设置成以使前段的图像处理中的输出成为后段的图像处理中的输入的方式依次进行处理，一般称之为图像流水线处理。专利文献1公开了由搭载于边缘设备的图像信号处理器(ISP：Image Signal Processor)执行图像流水线处理的情形。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1：日本特表2017
‑
514384号公报

技术实现思路

[0006]专利技术所要解决的课题
[0007]近年来，在图像流水线处理中，不是在去马赛克后的RGB图像的阶段，而是在RAW图像的阶段进行像素值的调节等图像处理。与RGB图像等相比，RAW图像具有更多的信息量，因此在RAW图像的阶段进行图像处理有助于画质提高。然而，由于图像流水线处理较复杂，因此对作为其平台的ISP也要求较高的处理能力。
[0008]本公开是鉴于上述课题而完成的，其目的在于提供一种能够简单地实施可输出高品质的图像的图像流水线处理的服务器装置。
[0009]用于解决课题的手段
[0010]本公开的服务器装置具有：接收单元，其从终端接收RAW图像；以及图像流水线处理单元，其使所述RAW图像显像，所述图像流水线处理单元具有：第一图像处理单元，其对所述RAW图像执行至少包含像素值的调节在内的1个或多个图像处理，输出被进行了图像处理的RAW图像；以及第二图像处理单元，其对被所述第一图像处理单元进行了图像处理的RAW图像执行至少包含去马赛克在内的1个或多个图像处理，输出显像后的图像。
[0011]专利技术效果
[0012]根据本公开，实现了能够容易地实施可输出高质量图像的图像流水线处理的效果。
附图说明
[0013]图1是表示现有技术的图像信号处理器的功能的一部分的框图。
[0014]图2是示出实施方式的系统结构的一例的框图。
[0015]图3是示出实施方式的终端和服务器的硬件结构的框图。
[0016]图4是示出实施方式1的终端的功能的一例的框图。
[0017]图5是示出实施方式1的服务器的功能的示例的框图。
[0018]图6是示出实施方式1的虚拟图像流水线处理工序的流程图。
[0019]图7是示出实施方式2的服务器的功能的一例的框图。
[0020]图8是示出实施方式2的合成处理和插值处理的情况的示意图。
[0021]图9是示出实施方式2的虚拟图像流水线处理工序的流程图。
[0022]图10是示出实施方式3的终端的功能的一例的框图。
[0023]图11是示出实施方式3的服务器的功能的一例的框图。
[0024]图12是示出实施方式3的参数表的一例的图。
[0025]图13是示出实施方式3的参数表的一例的图。
[0026]图14是示出实施方式3的虚拟图像流水线处理工序的流程图。
具体实施方式
[0027][现有技术例][0028]在说明实施方式之前，将参照图1说明现有技术中的图像流水线处理的概要。图1是表示现有技术的图像信号处理器1的功能例的框图。图像信号处理器1具备预处理部11、白平衡调节部12、去马赛克部13、颜色校正部14以及后处理部15。预处理部11、白平衡调节部12、去马赛克部13、颜色校正部14、后处理部15按此顺序被连接，对输入的RAW图像信号进行流水线处理。图像信号处理器1是ASIC(Application Specific Integrated Circuit：专用集成电路)、FPGA(Field
‑
Programmable Gate Array：现场可编程门阵列)等半导体芯片。
[0029]在预处理部11中，与搭载有图像信号处理器1的装置的动作相对应地依次输入RAW图像信号。例如，在该装置是智能手机的情况下，从未图示的图像传感器输出的RAW图像信号被依次输入到预处理部11。预处理部11对所输入的RAW图像信号执行预处理。预处理是用于根据RAW图像信号生成适于阅览的图像数据的处理，例如是缺陷像素校正处理、黑电平调节处理。从预处理部11输出的RAW图像信号被依次输入到白平衡调节部12。白平衡调节部12对所输入的RAW图像信号执行白平衡调节处理。从白平衡调节部12输出的RAW图像信号被依次输入到去马赛克部13。去马赛克部13根据所输入的RAW图像信号生成R、G、B这3个通道的图像信号。向颜色校正部14依次输入从去马赛克部13输出的RGB图像信号。颜色校正部14对所输入的RGB图像信号执行颜色校正处理。颜色校正处理是用于调节图像传感器的灵敏度与人眼的感觉的差异的处理，例如是颜色矩阵校正处理、伽马校正处理。向后处理部15依次输入从颜色校正部14输出的RGB图像信号。后处理部15对输入的RGB图像信号执行后处理。后处理是用于生成适于智能手机中的操作以及显示的图像数据的处理，例如是从RGB图像信号向YUV图像信号的变换处理、噪声去除处理、边缘强调处理。智能手机能够通过对YUV图像信号进行编码来生成JPEG图像。JPEG图像的压缩率高，能够应用于智能手机中的操作和显示。
[0030][实施方式1][0031]以下，参照附图对各种实施方式进行详细说明。
[0032]图2是示出根据第一实施例的实现虚拟图像流水线处理的系统2的配置示例的框图。系统2构成为终端A400、终端B420、服务器500(服务器装置的一例)能够经由网络NW相互
通信。终端A400和终端B420是信息处理装置，例如是移动电话、数码相机、PDA(Personal Digital Assistant：个人数字助理)等资源有限的移动终端或计算机系统。在图2的示例中，假定终端A400和终端B420是不同的机型，并且终端A400和终端B420分别搭载有不同的图像传感器。服务器500响应于来自终端A400和终端B420的请求执行预定处理。服务器500将该处理结果经由网络NW发送到终端A400、终端B420。这样，服务器500可以是提供所谓的云服务的云服务器。此外，图2所示的系统2的结构是一个例子，终端的台数以及服务器的台数并不限定于此。
[0033]图3是示出第一实施例的终端A400、终端B420和服务器500的硬件结构的框图。如图3所示，终端A400、终端B420以及服务器500构成为包括CPU(Central Processing Unit：中央处理单元)300、RAM(Random Access Memory：随机存取存储器)301以及ROM(Read Only Memory：只读存储器)302等主存储装本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种服务器装置，其具有：接收单元，其从终端接收RAW图像；以及图像流水线处理单元，其使所述RAW图像显像，所述图像流水线处理单元具有：第一图像处理单元，其对所述RAW图像执行至少包含像素值的调节在内的1个或多个图像处理，输出被进行了图像处理的RAW图像；以及第二图像处理单元，其对被所述第一图像处理单元进行了图像处理的RAW图像执行至少包含去马赛克在内的1个或多个图像处理，输出显像后的图像。2.根据权利要求1所述的服务器装置，其特征在于，所述第一图像处理单元包括白平衡调节或黑电平调节。3.一种服务器装置，其具有：接收单元，其从终端接收多个RAW图像；以及图像流水线处理单元，其使所述多个RAW图像显像，所述图像流水线处理单元具有：第一图像处理单元，其执行至少包含所述多个RAW图像的合成在内的1个或多个图像处理，输出被进行了图像处理的1个RAW图像；以及第二图像处理单元，其对被所述第一图像处理单元进行了图像处理的1个RAW图像执行至少包含去马赛克在内的1个或多个图像处理，输出显像后的图像。4.根据权利要求3所述的服务器装置，其特征在于，与所述多个RAW图像相比，被所述第一图像处理单元进行了图像处理的1个RAW图像的噪声被降低。5.根据权利要求3或4所述的服务器装置，其特征在于，所述多个RAW图像的合成包括像素的插值，与所述多个RAW图像相比，被所述第一图像处理单元进行了图像处理的1个RAW图像的分辨率提高。6.根据权利要求1至5中的任意一项所述的服务器装置，其特征在于，所述第二图像处理单元包括将颜色空间从去马赛克后的RGB图像向YUV图像变换的颜色空间变换。7.根据权利要求1至6中的任意一项所述的服务器装置，其中，...

【专利技术属性】
技术研发人员：小林理弘，
申请(专利权)人：株式会社摩如富，
类型：发明
国别省市：