SIFT特征

参考了几位大佬的博文：

参考1

参考2

SIFT特征也叫做尺度不变特征，SIFT特征最后是把输入的图像表现成为以128维的特征向量集合，SIFT特征具有 旋转，缩放，平移，光照 不变形，SIFT特征检测的步骤：

1. 尺度空间的极值检测：高斯金字塔-DOG-极值检测

2. 关键点的准确定位：二阶泰勒展开+边缘点过滤

3. 关键点主方向确定

4. 生成特征向量

目的：我们的目的是要找到一些特征，这些特征具有尺度不变形，也就是说一张图在不同的尺寸下面，我们仍然可以找到这些特征

方法：我们可以通过对图像连续的尺度变化，生成图像的尺度空间，具体的做法就是对图像进行多次的高斯模糊，为什么用高斯核呢，因为高斯核：是唯一可以产生多尺度的核，那么在这里，我们其实也可以直接通过计算图像的二阶导数，可以在不同尺度下找到比较稳定的极值点（图像的高斯拉普拉斯算子LOG），但是LOG的计算复杂，我们可以通过计算高斯差分（DOG）的方法来近似LOG，下面是证明过程

高斯函数：

LOG(高斯拉普拉斯算子LoG(Laplacian of G***ssian):

再看DOG：

 --(1)

同时：

--(2)

令(1)=(2)，可得：

以上可以证明，我们可以用DOG来近似LOG

其中Octave成为组，组数一般取4，但实际上跟输入图像的大小(M*N)有关

每一个组中的层数s，一般为3～5，模型的初始参数 ，高斯金字塔的形成过程是这样的：

1. 由原始的输入图像开始进行高斯模糊，生成第0组的隔层图像  ,其中

2. 第1组的的第0层图像由第0组的倒数第三层图像下采样得到，第0层的倒数第三层图像：

所以第1组的第0层图像尺度为： ,于是我们可以得到规律，第o组的第r层图像相对于输入的图像的尺度可以用用下面的计算公式得到：

3. 之后就可以根据高斯金字塔，计算DOG，也就是根据高斯金字塔连续的两层相减得到，若高斯金字塔中的一组有s+2 层，那么DOG对应的组就有s+2层

4. 最后计算尺度空间的极值点，对于每个点，对比其周围的8个点以及上下两层的共18个点，如果是***值/最小值，则被选定为极值点

上一部找到的极值点是在离散空间找到的，离散空间的极值点并不一定是真真的连续空间的极值点，对此我们可以对尺度空间的DOG函数函数进行曲线拟合，从而找到极值点的更准确的定位，同时我们还需要对边缘位置进行处理提高关键点的稳定性。

利用已知的离散空间点插值得到的连续空间极值点的方法叫做子像素插值，利用尺度空间DOG函数进行曲线拟合，然后对其函数利用泰勒展开式，求得一个偏移量，从而实现对行（x），列（y）以及尺度（sigma）进行修正，一般认为，偏移量小于0.5则调整完毕.

之后我们还要对边缘点进行过滤，SIFT认为边缘点容易受到噪音的影响，因此需要剔除，对于边缘点的检测是通过曲率来判读的，边缘点在横跨边缘的地方曲率较大，而在垂直边缘的方向有较小的曲率，候选特征点的曲率与2*2的海森矩阵的特征值成正比,可以通过以下的公式进行筛选：

其中Tr表示海森矩阵对角线元素之和，Det表示海森矩阵的行列式，Tgamma表示一个阀值，默认取10，如果上式成立，那我们就可以剔除该候选关键点

上面找到的关键点保证了尺度不变形，为了实现旋转不变形，我们需要给特征点的方向进行赋值，利用特征点周围的像素点的梯度分布，统计生成一个梯度直方图从而方便来确定特征点的主方向，我们上面已经找到了特征点的尺度，那也就可以得到特征点所在的尺度图像：

对于一个特征点，我们要去计算以该特征点为中心， 为半径的区域内的像素点的梯度向量的幅度和方向：

之后统计一个梯度直方图，我们以10度为一个bin，共分了36个bin，每个采样点按照其梯度方向加权统计到直方图中，权重为幅度m和贡献因子的乘积，贡献因子是采样点到关键点的距离的反比。

当直方图确定以后，任何大于峰值80%的的方向，可以看作是该特征点的辅助方向，以此来提高匹配的稳定性。 最后我们可以用方向的峰值和左右两个幅值拟合二次曲线，来更准确的定位峰值的位置。

通过之前的步骤，我们已经得到了特征点的尺度，位置已经方向信息，这一步我们需要用一个特征向量来表示它。我们可以通过三步来生成特征向量：

我们以关键点为中心，取一个16*16的window，对于里面的每一个像素点，我们都要计算其幅度和角度，然后我们以4*4作为一个种子点，把里面的像素点的梯度进行统计并生成一个梯度直方图，对于每一个梯度直方图，我们以45度作为一个bin在360度的范围内共有8个方向区间，于是，对每个关键点，我们取4*4共16个种子点来描述，每个描述子由8个方向的梯度信息，所以对于每个特征点，我们生成了一个4*4*8=128维的向量

最后我们对生成的特征向量进行归一化处理，该处理可以去除光照的影响

通过SIFT提取的特征有着旋转平移不变形，尺度不变形，光照不变形，其中：

1. 旋转不变形是因为在生成特征向量之前，我们需要将坐标轴做一个映射使其旋转到主方向，因此有了一定的旋转不变形

2. 平移不变形是因为SIFT在计算特征向量的时候，提取关键点周围的区域的样本点，所以如果该特征点移动到任何处于该区域内的位置都可以被提取出来，这就有点像CNN中的pooling

3. 尺度不变形是首先因为我们通过DOG拟合LOG，而LOG又经前人的证明可以在不同尺度下检测到图像的特征，其次通过DOG我们可以拟合出来不同的尺度的情况，在这种情况下求出来的关键点，自然是具有尺度不变形的

4.光照不变形是因为我们对最后的特征向量进行了归一化

1. SIFT高度依赖局部区域像素的梯度，有可能这个区域取得不合适，导致我们找的主方向不准确，从而导致计算出来的特征向量误差很大，从而不能成功匹配

2. 另外我们在进行SIFT特征选取之前，可以看一下图像的像素值分布，如果像素值分布过于集中，那么SIFT的表现也不会很好，对此我们可以做一些图像均衡化的处理

什么叫尺度空间？

特征尺度理论

特征尺度概念最早由昝廷全(1993)运用于系统经济学,他认为特征尺度是经济系统的一个基本特征,是特征时间尺度和特征空间尺度的统称。所谓特征时间尺度是指能够体现经济系统过程特征的最小时间跨度;与特征时间尺度相对应的空间范围称为系统的特征空间尺度。系统每一变化过程的特征时间尺度从客观上决定我们研究它所需资料系列的最短长度和研究周期。特征时间尺度越长,涉及的空间范围越广。

怎么理解空间尺度的概念

空间尺度体现在比例、对称、均衡、节奏韵律、对比统一等原则的运用，使道路、广场、建筑、设施等与绿地交错分割，充分发挥点、线、面等构成要素的造型作用，勾勒出明确的平面形态轮廓，表现出极具视觉美感的布局形式。尺度控制是设计的基本，在设计时要充分了解各种场地、设施、小品等的尺寸控制标准及舒适度

SIFT特征的原理

SIFT特征不只具有尺度不变性，即使改变图像的旋转角度，亮度或拍摄视角，仍然能够得到好的检测效果。

这是一个初始化操作，尺度空间理论目的是模拟图像数据的多尺度特征。高斯卷积核是实现尺度变换的唯一线性核，于是一副二维图像的尺度空间定义为：

下图所示不同σ下图像尺度空间：

关于尺度空间的理解说明：2kσ中的2是必须的，尺度空间是连续的。在 Lowe的论文中 ，将第0层的初始尺度定为1.6（最模糊），图片的初始尺度定为0.5（最清晰）. 在检测极值点前对原始图像的高斯平滑以致图像丢失高频信息，所以 Lowe 建议在建立尺度空间前首先对原始图像长宽扩展一倍，以保留原始图像信息，增加特征点数量。尺度越大图像越模糊。

图像金字塔的建立：对于一幅图像I,建立其在不同尺度(scale)的图像，也成为子八度（octave），这是为了scale-invariant，也就是在任何尺度都能够有对应的特征点，***个子八度的scale为原图大小，后面每个octave为上一个octave降采样的结果，即原图的1/4（长宽分别减半），构成下一个子八度（高一层金字塔）。

注意：使用Difference of G***ssian图像的极大极小值近似寻找特征点计算简单，是尺度归一化的LoG算子的近似

为了寻找尺度空间的极值点，每一个采样点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。

一个点如果在DOG尺度空间本层以及上下两层的26个领域中是***或最小值时，就认为该点是图像在该尺度下的一个特征点,如图所示。

整个高斯金字塔如下图所示，其中每个Octave代表一个金字塔，同一个金字塔内图像尺寸一样，同一个金字塔内每张图通过不同的高斯卷积核产生。

在极值比较的过程中，每一组图像的首末两层是无法进行极值比较的，为了满足尺度变化的连续性，我们在每一组图像的顶层继续用高斯模糊生成了 3 幅图像，高斯金字塔有每组S+3层图像。DOG金字塔每组有S+2层图像。

使用Laplacian of G***ssian能够很好地找到找到图像中的兴趣点，但是需要大量的计算量，所以使用Difference of G***ssian图像的极大极小值近似寻找特征点.DOG算子计算简单，是尺度归一化的LoG算子的近似,有关DOG寻找特征点的介绍及方法详见 ，极值点检测用的Non-Maximal Suppression。

这一步本质上要去掉DoG局部曲率非常不对称的像素。（不理解）

通过拟和三维二次函数以精确确定关键点的 位置 和 尺度 （达到亚像素精度），同时去除低对比度的关键点和不稳定的边缘响应点(因为DoG算子会产生较强的边缘响应)，以增强匹配稳定性、提高抗噪声能力，在这里使用近似Harris Corner检测器。

计算过程摘录如下：（还没有自行推导）

①空间尺度函数泰勒展开式如下：

的值在两个特征值相等的时候最小，随着r的增大而增大，因此，为了检测主曲率是否在某域值r下，只需检测

if (α+β)/ αβ (r+1)2

/r, throw it out. 在Lowe的文章中，取r＝10。

上一步中确定了每幅图中的特征点，为每个特征点计算一个方向，依照这个方向做进一步的计算， 利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。

梯度直方图的范围是0～360度，其中每10度一个柱，总共36个柱。随着距 中心点越远的领域其对直方图的贡献也响应减小。Lowe论文中还提到要使用高斯函数对直方图进行平滑，减少突变的影响。这主要是因为SIFT算法只考虑了尺度和旋转不变形，没有考虑仿射不变性。通过高斯平滑，可以使关键点附近的梯度幅值有较大权重，从而部分弥补没考虑仿射不变形产生的特征点不稳定。

通常离散的梯度直方图要进行插值拟合处理，以求取更精确的方向角度值。

在实际计算时，我们在以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。梯度直方图的范围是0～360度，其中每45度一个柱，总共8个柱, 或者每10度一个柱，总共36个柱。Lowe论文中还提到要使用高斯函数对直方图进行平滑，减少突变的影响。直方图的峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向。

直方图中的峰值就是主方向，其他的达到***值80%的方向可作为辅助方向

Identify peak and assign orientation and sum of magnitude to key point.

** The user m*** choose a threshold to exclude key points based on their** assigned sum of magnitudes.

直方图峰值代表该关键点处邻域内图像梯度的主方向，也就是该 关键点的主方向 。在梯度方向直方图中，当存在另一个相当于主峰值 80%能量的峰值时，则将这个方向认为是该 关键点的辅方向 。所以一个关键点可能检测得到多个方向，这可以增强匹配的鲁棒性。Lowe的论文指出大概有15%关键点具有多方向，但这些点对匹配的稳定性至为关键。

获得图像关键点主方向后，每个关键点有三个信息(x,y,σ,θ)：位置、尺度、方向。由此我们可以确定一个SIFT特征区域。通常使用一个带箭头的圆或直接使用箭头表示SIFT区域的三个值：中心表示特征点位置，半径表示关键点尺度（r=2.5σ）,箭头表示主方向。具有多个方向的关键点可以复制成多份，然后将方向值分别赋给复制后的关键点。如下图：

通过对关键点周围图像区域分块，计算块内梯度直方图，生成具有独特性的向量，这个向量是该区域图像信息的一种抽象，具有唯一性。

首先将坐标轴旋转为关键点的方向，以确保旋转不变性。以关键点为中心取8×8的窗口。

Figure.16*16的图中其中1/4的特征点梯度方向及scale，右图为其加权到8个主方向后的效果。

图左部分的中央为当前关键点的位置，每个小格代表关键点邻域所在尺度空间的一个像素，利用公式求得每个像素的梯度幅值与梯度方向，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值，然后用高斯窗口对其进行加权运算。

图中蓝色的圈代表高斯加权的范围（越靠近关键点的像素梯度方向信息贡献越大）。然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，如图右部分示。此图中一个关键点由2×2共4个种子点组成，每个种子点有8个方向向量信息。这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。

计算keypoint周围的16*16的window中每一个像素的梯度，而且使用高斯下降函数降低远离中心的权重。

在每个4 4的1/16象限中，通过加权梯度值加到直方图8个方向区间中的一个，计算出一个梯度方向直方图。

这样就可以对每个feature形成一个4 4 8=128维的描述子，每一维都可以表示4 4个格子中一个的scale/orientation. 将这个向量归一化之后，就进一步去除了光照的影响。

生成了A、B两幅图的描述子，（分别是k1 128维和k2 128维），就将两图中各个scale（所有scale）的描述子进行匹配，匹配上128维即可表示两个特征点match上了。

实际计算过程中，为了增强匹配的稳健性，Lowe建议对每个关键点使用4×4共16个种子点来描述，这样对于一个关键点就可以产生128个数据，即最终形成128维的SIFT特征向量。此时SIFT特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则可以进一步去除光照变化的影响。 当两幅图像的SIFT特征向量生成后，下一步我们采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量。取图像1中的某个关键点，并找出其与图像2中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点。降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定。为了排除因为图像遮挡和背景混乱而产生的无匹配关系的关键点,Lowe提出了比较最近邻距离与次近邻距离的方法,距离比率ratio小于某个阈值的认为是正确匹配。因为对于错误匹配,由于特征空间的高维性,相似的距离可能有大量其他的错误匹配,从而它的ratio值比较高。Lowe推荐ratio的阈值为0.8。但作者对大量任意存在尺度、旋转和亮度变化的两幅图片进行匹配，结果表明ratio取值在0. 4~0. 6之间***，小于0. 4的很少有匹配点，大于0. 6的则存在大量错误匹配点。(如果这个地方你要改进，***给出一个匹配率和ration之间的关系图，这样才有说服力)作者建议ratio的取值原则如下:

ratio=0. 4　对于准确度要求高的匹配；ratio=0. 6　对于匹配点数目要求比较多的匹配； ratio=0. 5　一般情况下。也可按如下原则:当最近邻距离200时ratio=0. 6，反之ratio=0. 4。ratio的取值策略能排分错误匹配点。

当两幅图像的SIFT特征向量生成后，下一步我们采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量。取图像1中的某个关键点，并找出其与图像2中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点。降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定。

什么叫空间尺度

空间尺度一般是指开展研究所采用的空间大小的量度。

按面积分为部分地区、局部地区和大部地区，按纬度分为副热带或亚热带。

空间尺度在建筑学领域又有不同的意思，广泛应用于室内设计、园林建筑等。

中文名

空间尺度

外文名

Space scale

按面积分

部分地区、局部地区和大部地区

按纬度分

副热带或亚热带

部分地区

占总区域的30-60%

局部地区

小于总区域的30%

大部地区

大于总区域的60%

尺度空间的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于尺度空间设计、尺度空间的信息别忘了在本站进行查找喔。