为什么图像处理如此困难?

深圳运维 监控运维 608

慧天地”关注我们

文章转载自微信公众号计算机视觉与机器学习, 来源:小白学视觉, 原文作者:Zbigatron,翻译作者:小白,版权归原作者及刊载媒体所有。

编者荐语

常会有人问“图像处理中的开放的领域是什么?”

但为什么会这样呢?你认为经过几十年的研究,我们会很自然地说“这里的问题已经解决了,让我们专注于别的事情”。在某种程度上,我们可以这样说,但仅适用于狭窄和简单的用例(例如,在空的白板上放置红色勺子),而不是一般的计算机视觉(例如,在所有可能的场景中找到一把红色的勺子,就像一个大盒子满了五颜六色的玩具)。

在我们深入研究我认为计算机视觉如此严峻的主要原因之前,我首先需要解释机器如何“看到”图像。当我们人类观看图像时,我们会感知物体,人物或景观。当机器“查看”图像时,他们看到的只是代表单个像素的数字。

一个例子可以解释这一点。假设你有一个灰度图像。然后,每个像素由一个通常在0到255之间的数字表示(我在这里抽象压缩,颜色空间等等),其中0表示黑色(无颜色),255表示白色(全强度) )。0到255之间的任何一个都是灰色阴影,如下图所示。

因此,对于要任何获取图像内容的机器来说,它必须以某种方式处理这些数字。这正是图像/视频处理和计算机视觉的全部 - 处理数字!

接下来将从四个方面来解释,解决这个问题非常困难的主要原因。

数据量大

固有的信息丢失

伴随噪音

理解图像含义困难

数据量大

正如我上面所说,当涉及到图像时,所有计算机都看到数字...... 很多数字!许多数字意味着需要处理的大量数据才能被理解。

我们举一个例子来说明图像的数据量究竟有多大。如果您具有1920 x 1080分辨率的灰度(黑白)图像,则表示您的图像由200万个数字(1920 * 1080 = 2,073,600像素)描述。现在,如果切换到彩色图像,则需要三倍的数字,因为通常情况下,当您表示彩色像素时,您可以指定它所包含的读数,蓝色和绿色。然后,如果你试图分析来自视频/摄像机流的图像,例如30帧/秒的帧速率(现在是标准的帧速率),你突然处理1.8亿个数字每秒(3 * 2,073,600 * 30~ = 1.8亿像素/秒)。这是需要处理的大量数据!即使拥有当今功能强大的处理器和相对较大的内存大小,机器也很难做出有意义的事情,每秒有1.8亿个数字。

信息丢失

数字化过程中的信息丢失是造成计算机视觉难度的另一个主要因素。图像处理的本质是从3D世界(如果我们处理视频流中的数据则是4D)投影到2D平面(即平面图像)上获取信息。这意味着在此过程中会丢失大量信息。

我们的大脑可以非常出色的推断出丢失的数据是什么,但是对于计算机来说却是极其困难的挑战。下图显示的是一个凌乱的房间

我们可以很容易地看出,绿色健身球比桌子上的黑色平底锅更大更远。但是如果黑色平底锅比绿色球占据更多的像素,机器应该如何推断呢?这不是一件容易的事。当然,我们可以尝试通过同时拍摄两张照片并从中提取3D信息来模拟我们用两只眼睛看到的方式,这被称为立体视觉。然而,将图像拼接在一起也不是一项微不足道的任务,因为同样是一个开放的研究领域。

伴随噪声

数字化过程中经常伴随着噪音。例如,没有相机会拍摄出一个完美的不含噪声的现实图片,特别是当我们用手机上的相机进行拍照时,他们会通过调整强度等级,色彩饱和度等去尝试捕捉我们美丽的世界。同时在图像拍摄过程中肯能会出现“镜头光晕”的现象,我们可以轻松的判断光晕后面是什么场景,而对于计算机来说确实非常困难的。

虽然已经有很多去除光晕的算法,但是去除光晕的算法本身也是开放的领域。

理解图像含义困难

最后也是最重要的是就是对图像内容的理解。对于机器来说,这绝对是计算机视觉环境中最难处理的事情。当我们观看图像时,我们会用累积的学习和记忆(称为先验知识)来分析它。

例如,我们知道,我们可以坐在健身球上,而平底锅通常用在厨房里,因为这些东西我们过去已经了解过。如果有一些东西看起来像天空中的平底锅,很可能它不是平底锅(除非是红太狼把打灰太狼的平底锅扔天上了),因此我们可以进一步仔细检查,以确定对象可能是什么(例如飞盘!)。或者如果有人围着绿球踢球,很可能是小孩子的球而不是健身球。

但机器没有这种知识。他们不了解我们的世界,不了解其中固有的复杂性,以及我们在数千年的进化中创造的众多工具,商品,设备等。也许有一天机器将能够获得维基百科并从那里了解有关对象的信息,但目前我们离这种情况很远。

有些人会争辩说,我们永远不会达到机器能够完全理解我们现实的阶段 - 因为意识总是对他们来说是遥不可及的。

但是在未来的发展中谁又说的好呢。

荐读

数字图像处理必备基本知识总结

综述:一文详解50多种多模态图像融合方法

芬兰ICEYE公司将向乌克兰提供SAR卫星图像

《慧天地》敬告

《慧天地》公众号聚焦国内外时空信息科技前沿、行业发展动态、跨界融合趋势,发现企业核心竞争力,传播测绘地理信息文化,为时空信息类相关专业学子提供日常学习、考研就业一站式服务,打造政产学研金服用精准对接的平台。

《慧天地》借鉴《读者》办刊理念,把时空信息领域的精华内容汇聚到平台上。我们高度重视版权,对于精选的每一篇推文,都会在文章开头显著注明出处,以表达对作者和推文引用平台版权的充分尊重和感谢;对于来源于网络作者不明的优质作品,转载时如出现侵权,请后台留言,我们会及时删除。感谢大家一直以来对《慧天地》的关注和支持!

——《慧天地》运营团队

投稿、转载、商务等合作请联系

微信号:huitiandi321

邮箱:geomaticshtd@163.com

编辑:林政 审核:黄青学

指导:万剑华教授

标签: 监控无图像

抱歉,评论功能暂时关闭!