图像处理知多少？准大厂算法工程师30+场秋招后总结的面经问题

作者庙会为21届中部985研究生，凭着自己整理的面经，今年在腾讯优图暑假实习数字图像处理的应用，七月份将入职百度cv算法工程师。在今年灰飞烟灭的算法求职季中，经过30+场不同公司以及不同部门的笔试中积累出了CV总备考系列，此为传统图象处理篇。

图象检波

图象检波：在尽量保留图象细节特点的条件下对目标图象的噪音进行抑制。

平滑：称作模糊,是一项简单且使用频度很高的图象处理方式。平滑的一种作用就是拿来减小噪音。

1.列举常见的线性混频器

低通混频器容许低频通过

骁龙混频器容许高频通过

带通混频器容许一定范围的频度通过

带阻混频器容许一定范围的频度通过并制止其他的频度通过

全通混频器容许所有频度通过，只改变相位

陷波混频器制止一个窄小频度范围通过

2.线性混频与非线性混频

线性混频：方框混频均值混频高斯混频非线性混频：中值混频双边混频

①方框混频（函数）：每一个输出象素的是内核邻域象素值的平均值得到

②均值混频（Blur函数）：均值混频实际上就是用均值取代原图像中的各个象素值。

把每位象素都用周围的8个象素来做均值操作

原理：在图象上，对待处理的象素给定一个模板，该模板包括了其周围的毗邻象素。将模板中的全体象素的均值来代替原先的象素值的方式。

方式：对待处理的当前象素，选择一个模板，该模板为其近邻的若干象素组成，

用模板中象素的均值来取代原象素值的方式。

优点：把每位象素都用周围的8个象素做均值操作，平滑图象速率快、算法简单。

缺点：1、在减少噪音的同时，使图象形成模糊，非常是边沿和细节处，并且模糊规格越大，图象模糊程度越大。2、对虾酱噪音的平滑处理疗效不理想。（难以去除噪音）

不能挺好地保护图象细节，在图象去噪的同时也破坏了图象的细节部份，进而使图象变模糊，不能挺好消除噪音点。

③高斯混频（Gauss）

高斯混频是一种线性平滑检波，适用于去除高斯噪音，广泛应用于图象处理的减噪过程。

高斯检波就是对整幅图象进行加权平均的过程，每一个象素点的值，都由其本身和邻域内的其他象素值经过加权平均后得到。

高斯混频的具体操作是：用一个模板（或称频域、掩模）扫描图象中的每一个象素，用模板确定的邻域内象素的加权平均灰度值去代替模板中心象素点的值用。

高斯平滑混频器对于抑制服从正态分布的噪音十分有效。

④中值混频（）

中值混频是一种典型的非线性混频技术，基本思想是用象素点邻域灰度值的中值来取代该象素点的灰度值，该方式在清除脉冲噪音、椒盐噪音的同时又能保留图象边沿细节。

⑤双边混频

双边混频（）是一种非线性的混频方式，是结合图象的空间毗邻度和象素值相像度的一种折衷处理，同时考虑空域信息和灰度相像性，达到保边去噪的目的。具有简单、非迭代、局部的特性。

用在对边沿信息重要，须要保留的图象去噪。缺点是因为双边混频保证了边沿信息，所以其保存了过多的高频信息，对于彩色图象里的高频噪音，双边混频器不能否干净地滤去，只能对于低频信息进行较好地混频。

⑥维纳混频

维纳混频是一种自适应最小均残差混频器。维纳混频的方式是一种统计方式，它用的最优准则是基于图象和噪音各自相关的相关矩阵，它能依据图象的局部残差调整混频器的输出，局部残差越大，混频器的平滑作用就越强。

酱汁噪音用哪些混频？中值混频

边沿检查

边沿检查的目的就是找到图象中色温变化剧烈的象素点构成的集合，表现下来常常是轮廓。假如图象中边沿才能精确的检测和定位，这么，就意味着实际的物体才能被定位和检测，包括物体的面积、物体的半径、物体的形状等才能被检测。

边沿检查算子有什么：

一阶：Cross算子,算子,Sobel算子,Canny算子，罗盘算子

二阶：算子，Marr-,在梯度方向的二阶行列式过零点。

1.介绍canny边沿检查

Canny边沿检查是一种十分流行的边沿检查算法，是JohnCanny在1986年提出的。它是一个多阶段的算法，即由多个步骤构成。

1.图象降噪2.估算图象梯度3.非极大值抑制4.阀值筛选

首先，图象降噪。我们晓得梯度算子可以用于提高图象，本质上是通过提高边沿轮廓来实现的，也就是说是可以测量到边沿的。并且，它们受噪音的影响都很大。这么，我们第一步就是想到要先除去噪音，由于噪音就是灰度变化很大的地方，所以容易被辨识为伪边沿。

第二步，估算图象梯度，得到可能边沿。我们在后面的关于《图像梯度》文章中有所介绍，估算图象梯度才能得到图象的边沿，由于梯度是灰度变化显著的地方，而边沿也是灰度变化显著的地方。其实这一步只能得到可能的边沿。由于灰度变化的地方可能是边沿，也可能不是边沿。这一步就有了所有可能是边沿的集合。

第三步，非极大值抑制。一般灰度变化的地方都比较集中，将局部范围内的梯度方向上，灰度变化最大的保留出来，其它的不保留，这样可以剔除掉一大部份的点。将有多个象素宽的边沿弄成一个单象素宽的边沿。即“胖边沿”变成“瘦边沿”。

第四步，双阀值筛选。通过非极大值抑制后数字图像处理的应用，依然有好多的可能边沿点，进一步的设置一个双阀值，即低阀值（low），高阀值（high）。灰度变化小于high的，设置为强边沿象素，高于low的，剔除。在low和high之间的设置为弱边沿。进一步判定，假如其领域内有强边沿象素，保留，假如没有，剔除。

这样做的目的是只保留强边沿轮廓的话，有些边沿可能不闭合，须要从满足low和high之间的点进行补充，致使边沿尽可能的闭合。

canny算子是怎样做的？阐述Canny算子的估算步骤

①将彩色图象转化为灰度图；②使用高斯混频器平滑图象；③计算图象梯度的幅值和方向；④对梯度幅值进行非极大值抑制；⑤使用双阀值进行边沿的测量和联接；Canny算子使用滞后阀值，滞后阀值须要两个阀值(高阀值和低阀值)。假如某一象素位置的幅值超过高阀值,该象素被保留为边沿象素。假如某一象素位置的幅值大于低阀值,该象素被排除。假如某一象素位置的幅值在两个阀值之间,该象素仅仅在联接到一个低于高阀值的象素时被保留。

2.阐述一下sobel算子

Sobel算子是一个主要用作边沿检查的离散微分算子()。它Sobel算子结合了高斯平滑和微分导数，拿来估算图象灰度函数的近似梯度。在图象的任何一点使用此算子，将会形成对应的梯度矢量或是其法矢量。

当内核大小为3时,我们的Sobel内核可能形成比较显著的偏差(虽然，Sobel算子只是求取了行列式的近似值而已)。为解决这一问题，提供了函数，但该函数仅作用于大小为3的内核。该函数的运算与Sobel函数一样快，但结果却愈发精确。

3.阐述传统算法中边沿检查的通常步骤

①滤波：混频消除噪音；②增强：提高边沿的特点；③将边沿通过某种方法提取下来，完成边沿监测。

4.怎么求边沿，45°边缘

Sobel算子实现水平边沿检查、垂直边沿检查；45度、135度角边沿检查。

5.SIFT

尺度不变特点变换(Scale-,SIFT)是计算机视觉中一种测量、描述和匹配图象局部特点点的方式，通过在不同的尺度空间中测量极值点或特点点(Point,Point)，提取出其位置、尺度和旋转不变量，并生成特点描述子，最后用于图象的特点点匹配。

SIFT特点是怎样保持旋转不变性的？

sift特点通过将座标轴旋转至关键点的主方向来保持旋转不变性，关键点的主方向是通过统计关键点局部邻域内象素梯度的方向分布直方图的最大值得到的

SIFT特点匹配

对两幅图象中测量到的特点点，可采用特点向量的欧式距离作为特点点相像性的测度，取图象1中某个关键点，并在图象2中找到与其距离近来的两个关键点，若近来距离与次近距离的比值大于某个阀值，则觉得距离近来的这一对关键点为匹配点。增加比列阀值，SIFT匹配点数目会降低，但相对而言会愈加稳定。阀值ratio的取值范围通常为0.4~0.6。

SIFT特点的特征

SIFT是一种测量、描述、匹配图象局部特点点的算法，通过在尺度空间中测量极值点，提取位置、尺度、旋转不变量，并具象成特点向量加以描述，最后用于图象特点点的匹配。SIFT特点对灰度、对比度变换、旋转、尺度缩放等保持不变性，对视角变化、仿射变化、噪声也具有一定的鲁棒性。但其实时性不高，对边沿光滑的目标难以确切提取特点点。

6.SURF特点匹配

加速鲁棒特点(SpeedUp,SURF)和SIFT特点类似，同样是一个用于监测、描述、匹配图象局部特点点的特点描述子。SIFT是被广泛应用的特点点提取算法，但其实时性较差，假若不依靠于硬件的加速和专用图形处理器(GPUs)的配合，很难达到实时的要求。对于一些实时应用场景，如基于特点点匹配的实时目标跟踪系统，每秒要处理数十帧的图象，须要在微秒级完成特点点的搜索定位、特征向量的生成、特征向量的匹配以及目标锁定等工作，SIFT特点很难满足这些需求。SURF借鉴了SIFT中近似简化(DoG近似代替LoG)的思想，将矩阵的高斯二阶微分模板进行了简化，依靠于积分图，致使模板对图象的混频只须要进行几次简单的加减法运算，而且这些运算与检波模板的规格无关。SURF相当于SIFT的加速改进版本，在特点点测量取得相像性能的条件下，提升了运算速率。整体来说，SUFR比SIFT在运算速率上要快数倍，综合性能更优。

7.LBP特点

局部二值模式(Local,LBP)是一种拿来描述图象局部纹理特点的算子，LBP特点具有灰度不变性和旋转不变性等明显优点，它将图象中的各个象素与其邻域象素值进行比较，将结果保存为二补码数，并将得到的二补码比特串作为中心象素的编码值，也就是LBP特点值。LBP提供了一种评判象素间邻域关系的特点模式，因而可以有效地提取图象的局部特点，但是因为其估算简单，可用于基于纹理分类的实时应用场景，诸如目标测量、人脸辨识等。

8.图象特点提取之HOG特点

方向梯度直方图(of,HOG)特点是一种在计算机视觉和图象处理中拿来进行物体测量的特点描述子。它通过估算和统计图象局部区域的梯度方向直方图来构成特点。Hog特点结合SVM分类器早已被广泛应用于图象辨识中，尤其在行人检查中获得了极大的成功。

9.简略探讨一下SIFT和SURF算法的优缺点

①尺度空间：SIFT使用DoG金字塔与图象进行频域操作，并且对图象有做降取样处理；SURF是用近似DoH金字塔(即不同尺度的box)与图象做频域，利用积分图，实际操作只涉及到数次简单的加减运算，并且不改变图象大小。

②特征点测量：SIFT是先进行非极大值抑制，除去对比度低的点，再通过矩阵剔除边沿点。而SURF是估算矩阵的导数值(DoH)，再进行非极大值抑制。

③特征点主方向：SIFT在圆形邻域窗口内统计梯度方向直方图，并对梯度幅值加权，取最大峰对应的方向；SURF是在方形区域内，估算各个扇形范围内x、y方向的Haar小波响应值，确定响应累加和值最大的扇形方向。

④特征描述子：SIFT将关键点附近的邻域界定为4×4的区域，统计每位子区域的梯度方向直方图，联接成一个4×4×8=128维的特点向量；SURF将20s×20s的邻域界定为4×4个子块，估算每位子块的Haar小波响应，并统计4个特点量，得到4×4×4=64维的特点向量。

总体来说，SURF和SIFT算法在特点点的测量取得了相像的性能，SURF利用积分图，将模板频域操作近似转换为加减运算，在估算速率方面要优于SIFT特点。

10.比较一下SIFT，HOG和LBP这三个特点提取算法

11.说出几种传统算法中常用的特点检查算法

①FAST：Fast

②STAR：Star

③SIFT:Scale

④SURF:UP加速版的具有鲁棒性的特点检查算法

⑤ORB:是Brief的简称，是brief算法的改进版，综合性能相对较好的算法。

12.阐述霍夫变换的原理

使用极座标表示一条直线，可以由参数极径和极角（r,θ）表示。霍夫变换就采用这些表示直线的形式。即r=xcosθ+ysinθ意味着每一对（r,θ）代表一条通过点（x，y）的直线，假如对于一个给定点（x,y）,我们在极座标对极径极角平面绘出通过它的直线，可以到一条余弦曲线（r>0and0