电子设备及其操作方法技术

本公开涉及一种电子设备及其操作方法。该电子设备包括图像感测设备，其包括图像传感器和图像处理器。图像传感器被配置为感测源自对象的光以及生成图像层。图像处理器被配置为通过对图像层和固定尺寸核执行卷积运算来生成特征图，通过对可变尺寸核和特征图执行卷积运算来生成最终特征图，以及生成包括通道的图像数据，所述最终特征图针对每种颜色以所述通道被分类。被分类。被分类。

【技术实现步骤摘要】
电子设备及其操作方法
[0001]相关申请的交叉引用
[0002]本申请要求于2021年8月18日提交至韩国知识产权局的申请号为10
‑
2021
‑
0109019的韩国专利申请的优先权，其整体公开内容通过引用并入本文。


[0003]本公开涉及一种电子设备及其操作方法，更具体地涉及一种能够将对象的光源转换为图像层以及将图像层转换为图像数据的电子设备及其操作方法。

技术介绍

[0004]随着内容处理技术和内容处理设备的发展，图像被更频繁地用于内容。图像是通过视觉将关于对象的信息传递给用户的手段，并且具有比正常文本或仅使用听觉的语音的传递效率更高的传递效率。图像可以通过诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)的图像传感器来捕获，并且由图像传感器生成的图像层可以通过图像处理器被转换为图像数据。

技术实现思路

[0005]本公开的实施例提供了一种电子设备及其操作方法，该电子设备能够通过根据对象的尺寸调整核和接受域的尺寸来降低用于生成图像数据的运算的复杂度并缩短运算时间。
[0006]根据本公开的实施例，电子设备包括图像传感器和图像处理器。图像传感器被配置为感测源自对象的光以及生成图像层。图像处理器被配置为通过对图像层和固定尺寸核执行卷积运算来生成特征图，通过对可变尺寸核和特征图执行卷积运算来生成最终特征图，以及生成包括针对每种颜色对最终特征图进行分类的通道的图像数据。
[0007]根据本公开的实施例，操作电子设备的方法包括：将对象的图像转换为图像层；通过使用固定尺寸核执行卷积运算来生成所述图像层作为初始特征图；以及将包括在初始特征图中的所述对象的尺寸与接受域的尺寸进行比较。该方法还包括：通过根据比较结果调整可变尺寸核和接受域的尺寸来生成多个特征图，以及生成通道并生成包括通道的特征数据，多个特征图中的最终特征图针对每种颜色以所述通道被分类。
[0008]根据本技术，可以根据对象的尺寸来精确地检测图像，并且可以改善用于将图像层转换为图像数据的运算的复杂度和运算时间。
附图说明
[0009]图1是示出根据本公开的实施例的电子设备的图。
[0010]图2是示出根据本公开的实施例的图像传感器的图。
[0011]图3是示出根据本公开的实施例的图像处理器的图。
[0012]图4是示出根据本公开的实施例的固定网络的图。
[0013]图5是示出根据本公开的实施例的可变网络的图。
[0014]图6A、图6B和图6C是示出生成特征图的方法的图。
[0015]图7A和图7B是示出根据本公开的实施例的通过尺寸确定组件设置可变值的方法的图。
[0016]图8A和图8B是示出当接受域具有最小值时改变接受域的方法的图。
[0017]图9A和图9B是示出当接受域具有最大值时改变接受域的方法的图。
[0018]图10A、图10B和图10C是示出当接受域具有中间值时改变接受域的方法的图。
[0019]图11是示出根据本公开的实施例的操作图像检测器的方法的图。
具体实施方式
[0020]根据本说明书或申请中公开的构思的实施例的具体结构或功能描述仅用于描述根据本公开的构思的实施例。根据本公开的构思的实施例可以以各种形式来执行，并且不应被解释为限于在本说明书或申请中描述的实施例。
[0021]图1是示出根据本公开的实施例的电子设备的图。
[0022]参考图1，电子设备1000可以被配置为获得对象100的图像。电子设备1000可被配置为将通过处理图像而获得的图像数据DATA_IMG进行存储、显示或输出到外部设备。根据实施例的电子设备1000可以根据从主机110接收到的请求将图像数据DATA_IMG输出到主机110。
[0023]在一实施例中，电子设备1000可以以封装模块、组件等的形式实现。在这种情况下，电子设备1000可以安装在主机110上。主机110可以被实现为各种电子设备。例如，主机110可以被实现为数码相机、移动设备、智能电话、个人计算机(PC)、平板PC、笔记本、个人数字助理(PDA)、企业数字助理(EDA)、便携式多媒体播放器(PMP)、可穿戴设备、黑匣子、机器人、自动驾驶车辆等。
[0024]在另一实施例中，电子设备1000可以被实现为与主机110分离的电子设备。例如，电子设备1000可以是成像设备、数码相机、摄像机、闭路电视(CCTV)、网络摄像机、安保相机、工业视觉相机、移动设备、智能电话、PC、平板PC、笔记本计算机、个人数字助理(PDA)、企业数字助理(EDA)、便携式多媒体播放器(PMP)、可穿戴设备、黑匣子、机器人、自动驾驶车辆、车内视觉相机、机顶盒、游戏控制台、电子词典、电子书阅读器、台式计算机、服务器、MP3播放器、智能医疗设备、电视机、DVD播放器、音箱、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、空气净化器、智能镜、智能窗、电子钥匙、电子画框、数字广告牌、安全控制面板等。这里，可穿戴设备可以是智能手表、戒指、手镯、踝环、项链、眼镜、隐形眼镜、头戴式设备(HMD)、皮肤垫、电子纹身、生物移植型电路等。
[0025]电子设备1000可以被配置为将从对象100反射的光源LS(即，源自对象100的光)转换为图像数据DATA_IMG。这里，对象100可以包括要拍摄的所有生物或物体。
[0026]电子设备1000可以接收用于对象100的光源LS、分析所接收的光源LS以及输出该光源作为图像数据DATA_IMG。例如，电子设备1000可以包括图像传感器200和图像处理器300。
[0027]图像传感器200可以被配置为将光源LS转换为作为数字数据的图像层IMG_LA。图像处理器300可被配置为通过压缩图像层IMG_LA来输出图像数据DATA_IMG。例如，图像处理
器300可以通过使用深度学习技术来处理图像层IMG_LA，并且生成图像数据DATA_IMG作为操作的结果。
[0028]从图像处理器300输出的图像数据DATA_IMG可以被传送到能够存储数据的存储设备2000。尽管在图1中存储设备2000被示为用于存储对象100的图像的实施例，但是根据电子设备1000的目的，图像数据DATA_IMG可以被传送到不同于存储设备2000的储存设备。
[0029]根据实施例的图像处理器300可以被配置为分析来自图像层IMG_LA的对象100的尺寸，并且根据对象100的尺寸来确定接受域的尺寸。此外，根据实施例的图像处理器300可以被配置为根据尺寸被调整的接受域来生成特征图，并且基于该特征图来输出图像数据DATA_IMG。
[0030]图2是示出根据本公开的实施例的图像传感器的图。
[0031]参照图2，图像传感器200可以实现为电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器。
[0032]CCD图像传感器比CMOS图像传感器具有更少的噪声和更好的图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电子设备，包括：图像传感器，其感测源自对象的光并生成图像层；以及图像处理器，其：通过对所述图像层和固定尺寸核执行卷积运算来生成特征图；通过对可变尺寸核和所述特征图执行卷积运算来生成最终特征图；以及生成包括通道的图像数据，所述最终特征图针对每种颜色以所述通道被分类。2.根据权利要求1所述的电子设备，其中，所述图像传感器包括：第一转换器，其接收所述对象的光源并输出模拟图像信号；以及第二转换器，其将所述模拟图像信号转换为作为数字信号的所述图像层。3.根据权利要求1所述的电子设备，其中，所述图像处理器包括：固定网络，其通过对所述固定尺寸核和所述图像层执行所述卷积运算来生成初始特征图；可变网络，其通过使用所述可变尺寸核执行所述卷积运算来生成多个特征图；图像检测器，其从所述多个特征图之中的所述最终特征图检测针对每种颜色分类的通道，以及生成包括所述通道的特征数据；以及数据输出电路，其原样输出所述特征数据，或者通过处理、压缩或加密所述特征数据来输出所述图像数据。4.根据权利要求3所述的电子设备，其中，所述固定网络通过使用卷积神经网络技术中的甚深卷积网络技术来生成所述初始特征图。5.根据权利要求3所述的电子设备，其中，所述固定网络：执行卷积运算以及使用所述固定尺寸核作为滤波器进行池化；以及生成所述初始特征图作为所述池化的结果。6.根据权利要求3所述的电子设备，其中，所述可变网络包括多个可变层组，所述多个可变层组通过使用所述可变尺寸核作为滤波器来生成所述多个特征图。7.根据权利要求6所述的电子设备，其中，所述多个可变层组中的每一个可变层组包括：尺寸确定组件，其将输入特征图的图像尺寸与预设接受域的尺寸进行比较，以及输出补偿值；以及可变卷积层，其根据所述补偿值来调整所述可变尺寸核的尺寸和所述接受域的尺寸，以及使用调整的可变尺寸核和调整的接受域来生成下一个特征图。8.根据权利要求7所述的电子设备，其中，所述多个可变层组中的第一可变层组接收所述初始特征图以及生成输出特征图，以及除所述第一可变层组之外的其余可变层组中的每一个可变层组接收在前一可变层组中生成的特征图，以及生成要输入到下一可变层组的输出特征图。9.根据权利要求7所述的电子设备，其中，所述尺寸确定组件：当所述输入特征图的图像尺寸小于所述预设接受域的尺寸时，输出用于减小所述可变尺寸核的尺寸的所述补偿值；以及当所述输入特征图的图像尺寸大于所述预设接受域的尺寸时，输出用于增大所述可变尺寸核的尺寸的所述补偿值。
10.根据权利要求7所述的电子设备，其中，当所述预设接受域的尺寸处于最小值时，所述尺寸确定组件：当所述输入特征图的图像尺寸等于或小于所述预设接受域的尺寸时，输出用于保持所述可变尺寸核的尺寸的所述补偿值；以及当所述输入特征图的图像尺寸大于所述预设接受域的尺寸时，输出用于增大所述可变尺寸核的...

【专利技术属性】
技术研发人员：金镇寿，
申请(专利权)人：爱思开海力士有限公司，
类型：发明
国别省市：