卷积

维基百科，自由的百科全书
跳转到导航 跳转到搜索
File:Comparison convolution correlation.svg
卷积、互相关和自相关的图示比较。运算涉及函数<math>f</math>，并假定<math>f</math>的高度是1.0，在5个不同点上的值，用在每个点下面的阴影面积来指示。<math>f</math>的对称性是卷积<math>g*f</math>和互相关<math>f \star g</math>在这个例子中相同的原因。

在泛函分析中，卷积（convolution），或译为叠积、褶积或旋积，是透过两个函数<math>f</math>和<math>g</math>生成第三个函数的一种数学算子，表征函数<math>f</math>与经过翻转和平移的<math>g</math>的乘积函数所围成的曲边梯形的面积。如果将参加卷积的一个函数看作区间的指示函数，卷积还可以被看作是“移动平均”的推广。

定义[编辑]

卷积是数学分析中一种重要的运算。设：<math> f(t)</math>和<math>g(t)</math>是实数<math>\mathbb{R}</math>上的两个可积函数，定义二者的卷积<math>(f * g)(t)</math>为如下特定形式的积分变换：

<math>(f * g)(t) \triangleq \int_{-\infty}^{\infty} f(\tau) g(t - \tau)\, \mathrm{d}\tau</math>

<math>(f * g)(t)</math>仍为可积函数，并且有着：

<math>(f * g)(t) \triangleq \int_{-\infty}^\infty f(t - \tau) g(\tau)\, d\tau = (g * f)(t)</math>

函数<math>f</math>和<math>g</math>，如果只支撑在<math>[0, \infty]</math>之上，则积分界限可以截断为：

<math>(f * g )(t) = \int_{0}^{t} f(\tau) g(t - \tau)\, d\tau \quad</math>对于<math>\ f, g : [0, \infty) \to \mathbb{R}</math>

对于两个得出复数值的多元实变函数（英语：Function of several real variables），可以定义二者的卷积为如下形式的多重积分：

<math>\begin{align}

(f * g)(t_1,t_2,\cdots,t_n) &\triangleq \int\int\cdots\int_{\Reals^n} f(\tau_1,\tau_2,\cdots,\tau_n) g(t_1 - \tau_1,t_2 - \tau_2,\cdots,t_n - \tau_n,)\, d\tau_1 d\tau_2 \cdots d\tau_n \\ 

                            &\triangleq \int_{\Reals^n} f(\tau)g(t-\tau)\,d^n\tau

\end{align}</math>

卷积有一个通用的工程上的符号约定[1]：

<math> f(t) * g(t) \triangleq \underbrace{\int_{-\infty}^\infty f(\tau) g(t - \tau)\, d\tau}_{(f * g )(t)}</math>

它必须被谨慎解释以避免混淆。例如：<math>f(t) * g(t- t_0)</math>等价于<math>(f*g) (t - t_0) </math>，而<math>f(t - t_0)*g(t - t_0)</math>却实际上等价于<math>(f*g)(t - 2 t_0)</math>[2]。

历史[编辑]

卷积运算的最早使用出现在达朗贝尔于1754年出版的《宇宙体系的几个要点研究》中对泰勒定理的推导之中[3]。还有西尔维斯特·拉克鲁瓦（英语：Sylvestre François Lacroix），将<math display="inline">\int f(u)\cdot g(x - u) \, du</math>类型的表达式，用在他的1797年–1800年出版的著作《微分与级数论文》中[4]。此后不久，卷积运算出现在皮埃尔-西蒙·拉普拉斯、约瑟夫·傅里叶和西梅翁·泊松等人的著作中。这个运算以前有时叫做“Faltung”（德语中的折叠）、合成乘积、叠加积分或卡森积分[5]。

“卷积”这个术语早在1903年就出现了，然而其定义在早期使用中是相当生僻的[6][7]，直到1950年代或1960年代之前都未曾广泛使用。

简介[编辑]

如果<math>f</math>和<math>g</math>都是在Lp 空间<math>L^1(\Reals^n)</math>内的勒贝格可积函数，则二者的卷积存在，并且在这种情况下<math>f * g</math>也是可积的[8]。这是托内利定理的结论。对于在<math>L^1</math>中的函数在离散卷积下，或更一般的对于在任何群的上的卷积，这也是成立的。同样的，如果<math>f \in L^1(\Reals^n)</math>而<math>g \in L^p(\Reals^n)</math>，这里的<math>1 \le p \le \infty</math>，则<math>f * g \in L^p(\Reals^n)</math>，并且其Lp 范数间有着不等式：

<math>\|{f}* g\|_p\le \|f\|_1\|g\|_p</math>

在<math>p=1</math>的特殊情况下，这显示出<math>L^1</math>是在卷积下的巴拿赫代数（并且如果<math>f</math>和<math>g</math>几乎处处非负则两边间等式成立）。

卷积与傅里叶变换有着密切的关系。例如两函数的傅里叶变换的乘积等于它们卷积后的傅里叶变换，利用此一性质，能简化傅里叶分析中的许多问题。

由卷积得到的函数<math>f*g</math>，一般要比<math>f</math>和<math>g</math>都光滑。特别当<math>g</math>为具有紧支集的光滑函数，<math>f</math>为局部可积时，它们的卷积<math>f * g</math>也是光滑函数。利用这一性质，对于任意的可积函数<math>f</math>，都可以简单地构造出一列逼近于<math>f</math>的光滑函数列<math>f_s</math>，这种方法称为函数的光滑化或正则化。

函数<math>f(t)</math>和<math>g(t)</math>的互相关<math>(f \star g)(\tau)</math>，等价于<math>f(-\tau)</math>的共轭复数<math>\overline{f(-\tau)}</math>与<math>g(\tau)</math>的卷积：

<math>(f \star g)(\tau) \triangleq \int_{-\infty}^{\infty} \overline{f(t-\tau)} g(t)\,dt = \overline{f(-\tau)} * g(\tau) </math>

这里的<math>\tau</math>叫做移位（displacement）或滞后（lag）。

对于单位脉冲函数<math>\delta(t)</math>和某个函数<math>h(t)</math>，二者得到的卷积就是<math>h(t)</math>本身，此<math>h(t)</math>被称为冲激响应：

<math>(\delta * h)(t) = \int_{-\infty}^\infty \delta(\tau) h(t - \tau)\, d\tau = h(t)</math>

在连续时间线性非时变系统中，输出信号<math>y(t)</math>被描述为输入信号<math>x(t)</math>与冲激响应<math>h(t)</math>的卷积[9]：

<math>y(t) = (x * h)(t) \ \triangleq \ \int\limits_{-\infty}^{\infty} x(t - \tau)\cdot h(\tau) \, \mathrm{d}\tau = \int\limits_{-\infty}^\infty x(\tau)\cdot h(t - \tau) \,\mathrm{d}\tau</math>

两个独立的随机变量<math>U</math>和<math>V</math>，每个都有一个概率密度函数，二者之和的概率密度，是它们单独的密度函数的卷积：

<math>f_{U+V}(x) = \int_{-\infty}^\infty f_U(y) f_V(x - y)\,dy = \left( f_{U} * f_{V} \right) (x)</math>

图解[编辑]

  1. 已知右侧第一行图中两个函数<math>f(t)</math>和<math>g(t)</math>。
  2. 首先将两个函数都用约束变量<math>\tau</math>来表示，并将<math>g(\tau)</math>翻转至纵轴另一侧，从而得到右侧第二行图中<math>f(\tau)</math>和<math>g(-\tau)</math>。
  3. 向函数<math>g(-\tau)</math>增加一个时间偏移量<math>t</math>，得到函数<math>g(-(\tau-t))=g(t-\tau)</math>。<math>t</math>不是常数而是自由变量，当<math>t</math>取不同值时，<math>g(t-\tau)</math>能沿着<math>\tau</math>轴“滑动”。如果<math>t</math>是正值，则<math>g(t-\tau)</math>等于<math>g(-\tau)</math>沿着<math>\tau</math>轴向右（朝向<math>+\infty</math>）滑动数量<math>t</math>。如果<math>t</math>是负值，则<math>g(t-\tau)</math>等价于<math>g(-\tau)</math>向左（朝向<math>-\infty</math>）滑动数量<math>|t|</math>。
  4. 让<math>t</math>从<math>-\infty</math>变化至<math>+\infty</math>，当两个函数交会时，计算交会范围中两个函数乘积的积分值。换句话说，在时间<math>t</math>，计算函数<math>f(\tau)</math>经过权重函数<math>g(t - \tau)</math>施以权重后其下的面积。右侧第三、第四和第五行图中，分别是<math>t=0</math>、<math>t=2.5</math>和<math>t=5.5</math>时的情况，从<math>t > 1</math>时开始有交会，例如在第四行图中，<math>\tau=0</math>则<math>g(t-\tau)=g(2.5)</math>，<math>\tau=1.5</math>则<math>g(t-\tau)=g(1)</math>，对于<math>\tau \notin [0, 1.5]</math>有着<math>f(\tau)g(t-\tau)=0</math>。
最后得到的波形（未包含在此图中）就是<math>f</math>和<math>g</math>的卷积。
 File:Convolution3.svg
两个矩形脉冲波的卷积。其中函数<math>g</math>首先对<math>\tau=0</math>反射，接着平移<math>t</math>，成为<math>g(t-\tau)</math>。那么重叠部分的面积就相当于<math>t</math>处的卷积，其中横坐标代表待变量<math>\tau</math>以及新函数<math>f\ast g</math>的自变量<math>t</math>。 File:Convolution of box signal with itself2.gif
矩形脉冲波和指数衰减脉冲波的卷积（后者可能出现于RC电路中），同样地重叠部分面积就相当于<math>t</math>处的卷积。注意到因为<math>g</math>是对称的，所以在这两张图中，反射并不会改变它的形状。 File:Convolution of spiky function with box2.gif

周期卷积[编辑]

主条目：圆周卷积
File:Splotc2.gif
File:Splotc1.gif
矩形脉冲波和指数衰减脉冲波的周期卷积

两个<math>T</math>周期的函数<math>h_{_T}(t)</math>和<math>x_{_T}(t)</math>的“周期卷积”定义为[10][11]：

<math>\int_{t_0}^{t_0+T} h_{_T}(\tau) x_{_T}(t - \tau)\,d\tau</math>

这里的<math>t_0</math>是任意参数。

任何可积分函数（英语：Absolutely integrable function）<math>s(t)</math>，都可以通过求函数<math>s(t)</math>的所有整数倍<math>P</math>的平移的总和，从而制作出具有周期<math>P</math>的周期函数 <math>s_{_P}(t)</math>，这叫做周期求和（英语：Periodic summation）：

<math>s_{_P}(t) \triangleq \sum_{m=-\infty}^\infty s(t + mP) = \sum_{m=-\infty}^\infty s(t - mP), \quad m \in \mathbb{Z}</math>

对于无周期函数<math>h</math>与<math>x</math>，其周期<math>T</math>的周期求和分别是<math>h_{_T}(t)</math>与<math>x_{_T}(t)</math>，<math>h</math>与<math>x</math>的周期卷积，可以定义为<math>h(t)</math>与<math>x_{_T}(t)</math>的常规卷积，或<math>x(t)</math>与<math>h_{_T}(t)</math>的常规卷积，二者都等价于<math>h_{_T}(t)</math>与<math>x_{_T}(t)</math>的周期积分：

<math>(h *x_{_T})(t) \ \triangleq\ \ \int_{-\infty}^\infty h(\tau) x_{_T}(t - \tau)\,d\tau \ = \ \int_{t_0}^{t_0+T} h_{_T}(\tau) x_{_T}(t - \tau)\,d\tau</math>
<math>(h *x_{_T})(t) = (x * h_{_T})(t) </math>

圆周卷积是周期卷积的特殊情况[11][12]，其中函数<math>h</math>和<math>x</math>二者的非零部分，都限定在区间<math>[0,T]</math>之内，此时的周期求和称为“周期延拓”。<math>h *x_{_T}</math>中函数<math>x_{_T}</math>可以通过取非负余数的模除运算表达为“圆周函数”：

<math>x_{_T}(t) = x(t_{\mathrm{mod}\ T}), \quad t\in\mathbb{R}</math>

而积分的界限可以缩简至函数<math>h</math>的长度范围<math>[0,T]</math>：

<math>(h *x_{_T})(t) = \int_{0}^{T} h(\tau) x((t - \tau)_{\mathrm{mod}\ T})\ d\tau</math>

离散卷积[编辑]

File:Konvolutsioon.png
离散卷积示意图

对于定义在整数<math>\mathbb{Z}</math>上且得出复数值的函数<math>f[n]</math>和<math>g[n]</math>，离散卷积定义为[13]：

<math>(f * g)[n]\ \ \triangleq \ \sum_{m=-\infty}^{\infty} {f[m] g[n-m]} = \sum_{m=-\infty}^\infty f[n-m]\, g[m]</math>

这里一样把函数定义域以外的值当成零，所以可以扩展函数到所有整数上（如果本来不是的话）。两个有限序列的卷积的定义，是将这些序列扩展成在整数集合上有限支撑的函数。在这些序列是两个多项式的系数之时，这两个多项式的普通乘积的系数，就是这两个序列的卷积。这叫做序列系数的柯西乘积。

当<math> g[n] </math>的支撑集为有限长度的<math>\{-M,-M+1,\dots,M-1,M\}</math>之时，上式会变成有限求和：

<math>(f*g)[n]=\sum_{m=-M}^M f[n-m]g[m]</math>

多维离散卷积[编辑]

主条目：多维离散卷积（英语：Multidimensional discrete convolution）
File:2D Convolution Animation.gif
用离散二维卷积对图像进行锐化（英语：Kernel (image processing)）处理的动画

类似于一维情况，使用星号表示卷积，而维度体现在星号的数量上，<math>M</math>维卷积就写为<math>M</math>个星号。下面是<math>M</math>维信号的卷积的表示法：

<math>y(n_1,n_2,...,n_{_M})=h(n_1,n_2,...,n_{_M})* \overset{M}{\cdots} *x(n_1,n_2,...,n_{_M})</math>

对于离散值的信号，这个卷积可以直接如下这样计算：

<math>\sum_{k_1=-\infty}^{\infty} \sum_{k_2=-\infty}^{\infty}...\sum_{k_{_M}=-\infty}^{\infty} h(k_1,k_2,...,k_{_M})x(n_1-k_1,n_2-k_2,...,n_{_M}-k_{_M})</math>

结果的离散多维卷积所支撑的输出区域，基于两个输入信号所支撑的大小和区域来决定。

File:Picture1 wiki.png
在两个二维信号之间的卷积的可视化

离散周期卷积[编辑]

File:Aperiodisch periodische Faltung.svg
对比离散无周期卷积（左列）与离散圆周卷积（右列）

对于离散序列和一个参数<math>N</math>，无周期函数<math>h</math>和<math>x</math>的“周期卷积”是为：

<math>(h * x_{_N})[n] \ \triangleq \ \sum_{m=-\infty}^\infty h[m] \underbrace{x_{_N}[n-m]}_{\sum_{k=-\infty}^\infty x[n -m -kN]} \ = \ \sum_{m=0}^{N-1} \left(\sum_{k=-\infty}^\infty {h}[m - kN]\right) x_{_N}[n - m]</math>

这个函数有周期<math>N</math>，它有最多<math>N</math>个唯一性的值。<math>h</math>和<math>x</math>的非零范围都是<math>[0, N-1]</math>的特殊情况叫做圆周卷积：

<math>(h * x_{_N})[n] = \sum_{m=0}^{N-1} h[m] x_{_N}[n - m] = \sum_{m=0}^{N-1} h[m] x[(n - m)_\bmod{N}]</math>

离散圆周卷积可简约为矩阵乘法，这里的积分变换的核函数是循环矩阵:

<math> \begin{bmatrix} y_0 \\ y_1 \\ \vdots \\ y_{_{N-1}}\end{bmatrix} =
        \begin{bmatrix}
        h_0     &  h_{_{N-1}} & \cdots &  h_{1} \\
        h_1     &  h_0     & \cdots &  h_2   \\
        \vdots  & \vdots   & \ddots & \vdots    \\
        h_{_{N-1}} & h_{_{N-2}} & \cdots &  h_{0}
        \end{bmatrix} 
        \begin{bmatrix} x_0 \\ x_1 \\ \vdots \\ x_{_{N-1}}\end{bmatrix}
</math>

圆周卷积最经常出现的快速傅里叶变换的实现算法比如雷德算法之中。

性质[编辑]

代数[编辑]

主条目：卷积代数（英语：Convolution algebra）

各种卷积算子都满足下列性质：

交换律
<math>f * g = g * f \,</math>
结合律
<math>f * (g * h) = (f * g) * h \,</math>
分配律
<math>f * (g + h) = (f * g) + (f * h) \,</math>
数乘结合律
<math>a (f * g) = (a f) * g = f * (a g) \,</math>

其中<math>a</math>为任意实数（或复数）。

复数共轭
<math>\overline{f * g} = \overline{f} * \overline{g}</math>
微分有关
<math>(f * g)' = f' * g = f * g'</math>
积分有关
如果<math display="inline">F(t) = \int^t_{-\infty} f(\tau) d\tau</math>，并且<math display="inline">G(t) = \int^t_{-\infty} g(\tau) \, d\tau</math>，则有：
<math>(F * g)(t) = (f * G)(t) = \int^t_{-\infty}(f * g)(\tau)\,d\tau</math>

积分[编辑]

如果<math>f</math>和<math>g</math>是可积分函数，则它们在整个空间上的卷积的积分，简单的就是它们积分的乘积[14]：

<math>\int_{\Reals^n}(f * g)(t) \, d^nt=\left(\int_{\Reals^n}f(t) \, d^nt\right) \left(\int_{\Reals^n}g(t) \, d^nt\right)</math>

这是富比尼定理的结果。如果<math>f</math>和<math>g</math>只被假定为非负可测度函数，根据托内利定理，这也是成立的。

微分[编辑]

在一元函数情况下，<math>f</math>和<math>g</math>的卷积的导数有着：

<math>\frac{d}{dt}(f * g) = \frac{df}{dt} * g = f * \frac{dg}{dt}</math>

这里的<math>\frac{d}{dt}</math>是微分算子。更一般的说，在多元函数的情况下，对偏导数也有类似的公式：

<math>\frac{\partial}{\partial t_i}(f * g) = \frac{\partial f}{\partial t_i} * g = f * \frac{\partial g}{\partial t_i}</math>

这就有了一个特殊结论，卷积可以看作“光滑”运算：<math>f</math>和<math>g</math>的卷积可微分的次数，是<math>f</math>和<math>g</math>的总数。

这些恒等式成立的严格条件，为<math>f</math>和<math>g</math>是绝对可积分的，并且至少二者之一有绝对可积分（<math>L^1</math>）弱导数，这是Young卷积不等式（英语：Young's convolution inequality）的结论。

在离散情况下，差分算子<math> \Delta[f](n) = f(n+1)-f(n)</math>满足类似的关系：

<math>\Delta(f * g) = (\Delta f) * g = f * (\Delta g)</math>

卷积定理[编辑]

主条目：卷积定理

卷积定理指出[15]，在适当的条件下，两个函数（或信号）的卷积的傅里叶变换，是它们的傅里叶变换的逐点乘积。更一般的说，在一个域（比如时域）中的卷积等于在其他域（比如频域）逐点乘法。

设两个函数<math>g(x)</math>和<math>h(x)</math>，分别具有傅里叶变换<math>G(s)</math>和<math>H(s)</math>：

<math>\begin{align}

G(s) &\triangleq \mathcal{F}\{g\}(s) = \int_{-\infty}^{\infty}g(x) e^{-i 2 \pi s x} \, dx, \quad s \in \mathbb{R}\\ H(s) &\triangleq \mathcal{F}\{h\}(s) = \int_{-\infty}^{\infty}h(x) e^{-i 2 \pi s x} \, dx, \quad s \in \mathbb{R} \end{align}</math> 这里的<math>\mathcal{F}</math>算子指示傅里叶变换。

卷积定理声称：

<math>\mathcal{F}\{g * h\}(s) = G(s) H(s) , \quad s \in \mathbb{R}</math>
<math>\mathcal{F}\{g \cdot h\}(s) = G(s)*H(s), \quad s \in \mathbb{R}</math>

应用逆傅里叶变换<math>\mathcal{F}^{-1}</math>产生推论：

<math>(g * h)(s) = \mathcal{F}^{-1}\{G\cdot H\} , \quad s \in \mathbb{R}</math>
<math>(g \cdot h)(s) = \mathcal{F}^{-1} \{G * H\} , \quad s \in \mathbb{R}</math>

这里的算符<math>\, \cdot \, </math>指示逐点乘法。

这一定理对拉普拉斯变换、双边拉普拉斯变换、Z变换、梅林变换和Hartley变换（英语：Hartley transform）等各种傅里叶变换的变体同样成立。在调和分析中还可以推广到在局部紧致的阿贝尔群上定义的傅里叶变换。

周期卷积[编辑]

对于周期为<math>P</math>的函数<math>g_{_P}(x)</math>和<math>h_{_P}(x)</math>，可以被表达为二者的周期求和（英语：Periodic summation）：

<math>\begin{align}

g_{_P}(x)\ &\triangleq \sum_{m=-\infty}^{\infty} g(x-mP), \quad m \in \mathbb{Z}\\ h_{_P}(x)\ &\triangleq \sum_{m=-\infty}^{\infty} h(x-mP), \quad m \in \mathbb{Z} \end{align}</math> 它们的傅里叶级数系数为：

<math>\begin{align}
  G[k] &\triangleq \mathcal{F}\{g_{_P}\}[k] = \frac{1}{P} \int_P g_{_P}(x) e^{-i 2\pi k x/P} \, dx, \quad k \in \mathbb{Z} \\
  H[k] &\triangleq \mathcal{F}\{h_{_P}\}[k] = \frac{1}{P} \int_P h_{_P}(x) e^{-i 2\pi k x/P} \, dx, \quad k \in \mathbb{Z}
\end{align}</math>

这里的<math>\mathcal{F}</math>算子指示傅里叶级数积分。

逐点乘积<math>g_{_P}(x)\cdot h_{_P}(x)</math>的周期也是<math>P</math>，它的傅里叶级数系数为：

<math>\mathcal{F}\{g_{_P}\cdot h_{_P}\}[k] = (G*H)[k]</math>

周期卷积<math>(g_{_P} * h)(x)</math>的周期也是<math>P</math>，周期卷积的卷积定理为：

<math> \mathcal{F}\{g_{_P} * h\}[k] =\ P\cdot G[k]\ H[k]</math>

离散卷积[编辑]

对于作为两个连续函数采样的序列<math>g[n]</math>和<math>h[n]</math>，它们具有离散时间傅里叶变换<math>G(s)</math>和<math>H(s)</math>：

<math>\begin{align}

G(s) &\triangleq \mathcal{F}\{g\}(s) = \sum_{n=-\infty}^{\infty} g[n]\cdot e^{-i 2\pi s n}\;, \quad s \in \mathbb{R} \\ H(s) &\triangleq \mathcal{F}\{h\}(s) = \sum_{n=-\infty}^{\infty} h[n]\cdot e^{-i 2\pi s n}\;, \quad s \in \mathbb{R} \end{align}</math> 这里的<math>\mathcal {F}</math>算子指示离散时间傅里叶变换（DTFT）。

离散卷积的卷积定理为：

<math>\mathcal{F}\{g * h\}(s) =\ G(s) H(s)</math>

离散周期卷积[编辑]

对于周期为<math>N</math>的序列<math>g_{_N}[n]</math>和<math>h_{_N}[n]</math>：

<math>\begin{align}

g_{_N}[n]\ &\triangleq \sum_{m=-\infty}^{\infty} g[n-mN], \quad m,n \in \mathbb{Z} \\ h_{_N}[n]\ &\triangleq \sum_{m=-\infty}^{\infty} h[n-mN], \quad m,n \in \mathbb{Z} \end{align}</math> 相较于离散时间傅里叶变换<math>G(s)</math>和<math>H(s)</math>的周期是<math>1</math>，它们是按间隔<math>1/N</math>采样<math>G(s)</math>和<math>H(s)</math>，并在<math>N</math>个采样上进行了逆离散傅里叶变换（DFT-1或IDFT）的结果。

离散周期卷积<math>(g_{_N} * h)[n]</math>的周期也是<math>N</math>。离散周期卷积定理为：

<math>\mathcal{F}\{g_{_N} * h\}[k] =\ \underbrace{\mathcal{F}\{g_{_N}\}[k]}_{G(k/N)} \cdot \underbrace{\mathcal{F}\{h_{_N}\}[k]}_{H(k/N)}, \quad k,n \in \mathbb{Z}</math>

这里的<math>\mathcal{F}</math>算子指示长度<math>N</math>的离散傅里叶变换（DFT）。

它有着推论：

<math>(g_{_N} * h)[n] =\ \mathcal{F}^{-1}\{\mathcal{F}\{g_{_N}\} \cdot \mathcal{F}\{h_{_N}\}\}</math>

对于其非零时段小于等于<math>N</math>的<math>g</math>和<math>h</math>，离散圆周卷积的卷积定理为：

<math>(g_{_N} * h)[n] =\ \mathcal{F}^{-1}\{\mathcal{F}\{g\} \cdot \mathcal{F}\{h\}\}</math>

推广[编辑]

卷积的概念还可以推广到数列、测度以及广义函数上去。函数<math>f,g</math>是定义在<math>\mathbb{R}^n</math>上的可测函数（measurable function），<math>f</math>与<math>g</math>存在卷积并记作<math>f * g</math>。如果函数不是定义在<math>\mathbb{R}^n</math>上，可以把函数定义域以外的值都规定成零，这样就变成一个定义在<math>\mathbb{R}^n</math>上的函数。

若G是有某m 测度的群（例如豪斯多夫空间上哈尔测度下局部紧致的拓扑群），对于G上m-勒贝格可积的实数或复数函数f和g，可定义它们的卷积：

<math>(f * g)(x) = \int_G f(y)g(xy^{-1})\,dm(y) \,</math>

对于这些群上定义的卷积同样可以给出诸如卷积定理等性质，但是这需要对这些群的表示理论以及调和分析的彼得-外尔定理。

离散卷积的计算方法[编辑]

计算卷积<math>f[n]*g[n]</math>有三种主要的方法，分别为

  1. 直接计算（Direct Method）
  2. 快速傅里叶变换（FFT）
  3. 分段卷积（sectioned convolution）

方法1是直接利用定义来计算卷积，而方法2和3都是用到了FFT来快速计算卷积。也有不需要用到FFT的作法，如使用数论变换。

方法1：直接计算[编辑]

  • 作法：利用卷积的定义
<math> y[n] = f[n]*g[n] = \sum_{m=0}^{M-1} f[n-m]g[m] </math>
  • 若<math> f[n] </math>和<math> g[n] </math>皆为实数信号，则需要<math> MN </math>个乘法。
  • 若<math> f[n] </math>和<math> g[n] </math>皆为更一般性的复数信号，不使用复数乘法的快速算法，会需要<math> 4MN </math>个乘法；但若使用复数乘法的快速算法，则可简化至<math> 3MN </math>个乘法。
因此，使用定义直接计算卷积的复杂度为<math> O(MN) </math>。

方法2：快速傅里叶变换[编辑]

  • 概念：由于两个离散信号在时域（time domain）做卷积相当于这两个信号的离散傅里叶变换在频域（frequency domain）做相乘：
<math> y[n] = f[n]*g[n] \leftrightarrow Y[f] = F[f]G[f] </math>
，可以看出在频域的计算较简单。
  • 作法：因此这个方法即是先将信号从时域转成频域：
<math> F[f] = DFT_P(f[n]), G[f] = DFT_P(g[n]) </math>
，于是
<math> Y[f] = DFT_P(f[n])DFT_P(g[n]) </math>
，最后再将频域信号转回时域，就完成了卷积的计算：
<math> y[n] = IDFT_P{DFT_P(f[n])DFT_P(g[n])} </math>
总共做了2次DFT和1次IDFT。
  • 特别注意DFT和IDFT的点数<math>P</math>要满足<math> P \ge M+N-1 </math>。
  • 由于DFT有快速算法FFT，所以运算量为<math> O(P\log_{2}P) </math>
  • 假设<math> P </math>点DFT的乘法量为<math> a </math>，<math> f[n] </math>和<math> g[n] </math>为一般性的复数信号，并使用复数乘法的快速算法，则共需要<math> 3a + 3P </math>个乘法。

方法3：分段卷积[编辑]

  • 概念：将<math> f[n] </math>切成好几段（section），每一段分别和<math> g[n] </math>做卷积后，再将结果相加。
  • 作法：先将<math> f[n] </math>切成每段长度为<math> L </math>的区段（<math> L > M </math>），假设共切成S段：
<math> f[n](n=0,1,...,N-1) \to f_1[n], f_2[n], f_3[n], ..., f_S[n] (S= \left \lceil \frac{N}{L} \right \rceil)</math>
Section 1: <math> f_1[n] = f[n] , n=0,1,...,L-1</math>
Section 2: <math> f_2[n] = f[n+L], n=0,1,...,L-1</math>
<math> \vdots </math>
Section r: <math> f_r[n] = f[n+(r-1)L], n=0,1,...,L-1 </math>
<math> \vdots </math>
Section S: <math> f_S[n] = f[n+(S-1)L], n=0,1,...,L-1</math>
，<math> f[n] </math>为各个section的和
<math> f[n] = \sum_{r=1}^{S} f_r[n+(r-1)L] </math>。
因此，
<math> y[n] = f[n]*g[n] = \sum_{r=1}^{S} \sum_{m=0}^{M-1} f_r[n+(r-1)L-m]g[m] </math>，
每一小段作卷积则是采用方法2，先将时域信号转到频域相乘，再转回时域：
<math> y[n] = IDFT( \sum_{r=1}^{S} \sum_{m=0}^{M-1} DFT_P(f_r[n+(r-1)L-m])DFT_P(g[m])), P \ge M+L-1 </math>。
  • 总共只需要做<math> P </math>点FFT <math>2S+1</math>次，因为<math> g[n] </math>只需要做一次FFT。
  • 假设<math> P </math>点DFT的乘法量为<math> a </math>，<math> f[n] </math>和<math> g[n] </math>为一般性的复数信号，并使用复数乘法的快速算法，则共需要<math>(2S+1)a+3SP </math>个乘法。
  • 运算量：<math> \frac{N}{L}3(L+M-1)[\log_{2}(L+M-1)+1] </math>
  • 运算复杂度：<math> O(N)</math>，和<math> N </math>呈线性，较方法2小。
  • 分为 Overlap-Add 和 Overlap-Save 两种方法。

分段卷积: Overlap-Add

欲做<math> x[n]*h[n] </math>的分段卷积分，<math> x[n] </math> 长度为 <math> N 

</math>，<math> h[n] </math> 長度為 <math> M
</math>,

Step 1: 将<math> x[n] </math>每 <math> L </math> 分成一段

Step 2: 再每段 <math> L </math> 点后面添加 <math> M-1 </math> 个零，变成长度 <math> L+M-1 </math>

Step 3: 把 <math> h[n] </math> 添加 <math> L-1 </math>个零，变成长度 <math> L+M-1 </math>的 <math> h'[n] </math>

Step 4: 把每个 <math> x[n] </math> 的小段和 <math> h'[n] </math> 做快速卷积，也就是<math> IDFT_{L+M-1}\{{DFT_{L+M-1}(x[n])DFT_{L+M-1}(h'[n])} \} </math>，每小段会得到长度 <math> L+M-1 </math> 的时域信号

Step 5: 放置第 <math> i </math> 个小段的起点在位置 <math> L\times i </math> 上, <math> i=0, 1, ...,\lceil \frac{N}{L} \rceil-1 </math>

Step 6: 会发现在每一段的后面 <math> M-1 </math> 点有重叠，将所有点都相加起来，顾名思义 Overlap-Add，最后得到结果

举例来说:

<math> x[n]=[1, 2, 3, 4, 5, -1, -2, -3, -4, -5, 1, 2, 3, 4, 5] </math>, 长度 <math> N=15 </math>

<math> h[n]=[1, 2, 3] </math>, 长度 <math> M=3 </math>

令 <math> L=5 </math>

令 <math> L=5 </math> 切成三段，分别为 <math> x_0[n], x_1[n], x_2[n] </math>, 每段填 <math> M-1 </math> 个零，并将 <math> h[n] </math> 填零至长度 <math> L+M-1 </math>

将每一段做<math> IDFT_{L+M-1}\{{DFT_{L+M-1}(x[n])DFT_{L+M-1}(h'[n])} \} </math>

若将每小段摆在一起，可以注意到第一段的范围是 <math> 0\thicksim6 </math> ，第二段的范围是 <math> 5\thicksim 11 </math>，第三段的范围是 <math> 10\thicksim 16 </math>，三段的范围是有重叠的

最后将三小段加在一起，并将结果和未分段的卷积做比较，上图是分段的结果，下图是没有分段并利用快速卷积所算出的结果，验证两者运算结果相同。

分段卷积: Overlap-Save

欲做<math> x[n]*h[n] </math>的分段卷积分，<math> x[n] </math> 长度为 <math> N 

</math>，<math> h[n] </math> 長度為 <math> M
</math>,

Step 1: 将 <math> x[n] </math> 前面填 <math> M-1 </math> 个零

Step 2: 第一段 <math> i=0 </math>, 从新的 <math> x[n] </math> 中 <math> L\times i- (M-1)\times i </math> 取到 <math> L\times (i+1)- (M-1)\times i -1 </math> 总共 <math> L </math> 点当做一段，因此每小段会重复取到前一小段的 <math> M-1 </math> 点，取到新的一段全为零为止

Step 3: 把 <math> h[n] </math> 添加 <math> L-M </math> 个零，变成长度 <math> L </math> 的 <math> h'[n] </math>

Step 4: 把每个 <math> x[n] </math> 的小段和 <math> h'[n] </math> 做快速卷积，也就是<math> IDFT_{L}\{{DFT_{L}(x[n])DFT_{L}(h'[n])} \} </math>，每小段会得到长度 <math> L </math> 的时域信号

Step 5: 对于每个 <math> i </math> 小段，只会保留末端的 <math> L-(M-1) </math> 点，因此得名 Overlap-Save

Step 6: 将所有保留的点合再一起，得到最后结果

举例来说:

<math> x[n]=[1, 2, 3, 4, 5, 6,7, 8, 9, 10, 11, 12, 13, 14, 15] </math>, 长度 <math> N=15 </math>

<math> h[n]=[1, 2, 3] </math>, 长度 <math> M=3 </math>

令 <math> L=7 </math>

将 <math> x[n] </math> 前面填 <math> M-1 </math> 个零以后，按照 Step 2 的方式分段，可以看到每一段都重复上一段的 <math> M-1 </math> 点

再将每一段做 <math> IDFT_{L}\{{DFT_{L}(x[n])DFT_{L}(h'[n])} \} </math>以后可以得到

保留每一段末端的 <math> L-(M-1) </math> 点，摆在一起以后，可以注意到第一段的范围是 <math> 0\thicksim 4 </math> ，第二段的范围是 <math> 5\thicksim 9 </math>，第三段的范围是 <math> 10\thicksim 14 </math>，第四段的范围是 <math> 15\thicksim 16 </math>，四段的范围是没有重叠的

将结果和未分段的卷积做比较，下图是分段的结果，上图是没有分段并利用快速卷积所算出的结果，验证两者运算结果相同。

至于为什么要把前面 <math> M-1 </math> 丢掉?

以下以一例子来阐述:

<math> x[n]=[1, 2, 3, 4, 5, 6,7, 8, 9, 10] </math>, 长度 <math> L=10 </math>，

<math> h[n]=[1, 2, 3, 4, 5] </math>, 长度 <math> M=5 </math>,

第一条蓝线代表 <math> y </math> 轴，而两条蓝线之间代表长度 <math> L </math>，是在做快速卷积时的周期

当在做快速卷积时<math> IDFT_{L}\{{DFT_{L}(x[n])DFT_{L}(h'[n])} \} </math>，是把信号视为周期 <math> L </math>，在时域上为循环卷积分,

而在一开始前 <math> M-1 </math> 点所得到的值，是 <math> h[0], h[6], h[7], h[8], h[9] </math> 和 <math> x[0], x[6], x[7], x[8], x[9] </math> 内积的值，

然而 <math> h[6], h[7], h[8], h[9] </math> 这 <math> M-1 </math> 个值应该要为零，以往在做快速卷积时长度为 <math> L+M-1 </math> 时不会遇到这些问题，

而今天因为在做快速卷积时长度为 <math> L </math> 才会把这 <math> M-1 </math> 点算进来，因此我们要丢弃这 <math> M-1 </math> 点内积的结果

为了要丢弃这 <math> M-1 </math> 点内积的结果，位移 <math> h[-n] </math> <math> M-1 </math> 点，并把位移以后内积合的值才算有效。

应用时机

以上三种方法皆可用来计算卷积，其差别在于所需总体乘法量不同。基于运算量以及效率的考量，在计算卷积时，通常会选择所需总体乘法量较少的方法。

以下根据<math> f[n] </math>和<math> g[n] </math>的长度（<math> N, M </math>）分成5类，并列出适合使用的方法：

  1. <math> M </math>为一非常小的整数 - 直接计算
  2. <math> M \ll N </math> - 分段卷积
  3. <math> M \approx N </math> - 快速傅里叶变换
  4. <math> M \gg N </math> - 分段卷积
  5. <math> N </math>为一非常小的整数 - 直接计算

基本上，以上只是粗略的分类。在实际应用时，最好还是算出三种方法所需的总乘法量，再选择其中最有效率的方法来计算卷积。

例子

Q1：当<math> N = 2000, M = 17 </math>，适合用哪种方法计算卷积?

Ans：

方法1：所需乘法量为<math> 3MN = 102000 </math>
方法2：<math> P \ge M+N-1 = 2016 </math>，而2016点的DFT最少乘法数<math> a = 12728 </math>，所以总乘法量为<math> 3(a+P) = 44232 </math>
方法3：
若切成8块（<math> S = 8 </math>），则<math> L = 250, P \ge M+L-1=266 </math>。选<math> P = 288 </math>，则总乘法量为<math>(2S+1)a+3SP = 26632 </math>，比方法1和2少了很多。
但是若要找到最少的乘法量，必须依照以下步骤
(1)先找出<math> L </math>:解<math> L</math> : <math> \frac{\partial {\frac{N}{L}3(L+M-1)[\log_{2}(L+M-1)+1]}}{\partial L}=0 </math>
(2)由<math>P \ge L+M-1</math>算出点数在<math> P </math>附近的DFT所需最少的乘法量，选择DFT的点数
(3)最后由<math>L = P+1-M</math>算出<math> L_{opt} </math>
因此，
(1)由运算量对<math> L </math>的偏微分为0而求出<math> L = 85 </math>
(2)<math> P \ge L+M-1 = 101 </math>，所以选择101点DFT附近点数乘法量最少的点数<math>P = 96 </math>或<math>P = 120</math>。
(3-1)当<math> P = 96 \to a = 280, L = P+1-M = 80 \to S = 25</math>，总乘法量为<math>(2S+1)a+3SP = 21480 </math>。
(3-2)当<math> P = 120 \to a = 380, L = P+1-M = 104 \to S = 20</math>，总乘法量为<math>(2S+1)a+3SP = 22780 </math>。
由此可知，切成20块会有较好的效率，而所需总乘法量为21480。
  • 因此，当<math> N = 2000, M = 17 </math>，所需总乘法量：分段卷积<快速傅里叶变换<直接计算。故，此时选择使用分段卷积来计算卷积最适合。

Q2：当<math> N = 1024, M = 3 </math>，适合用哪种方法计算卷积?

Ans：

方法1：所需乘法量为<math> 3MN = 9216 </math>
方法2：<math> P \ge M+N-1 = 1026 </math>，选择1026点DFT附近点数乘法量最少的点数，<math> \to P = 1152, a = 7088 </math>。
因此，所需乘法量为<math> 3(a+P) = 24342 </math>
方法3：
(1)由运算量对<math> L </math>的偏微分为0而求出<math> L = 5 </math>
(2)<math> P \ge L+M-1 = 7 </math>，所以选择7点DFT附近点数乘法量最少的点数<math>P = 8</math>或<math>P = 6</math>或<math>P = 4</math>。
(3-1)当<math> P = 8 \to a = 4, L = P+1-M = 6 \to S = 171</math>，总乘法量为<math>(2S+1)a+3SP = 5476 </math>。
(3-2)当<math> P = 6 \to a = 4, L = P+1-M = 4 \to S = 256</math>，总乘法量为<math>(2S+1)a+3SP = 6660 </math>。
(3-3)当<math> P = 4 \to a = 0, L = P+1-M = 2 \to S = 512</math>，总乘法量为<math>(2S+1)a+3SP = 6144 </math>。
由此可知，切成171块会有较好的效率，而所需总乘法量为5476。
  • 因此，当<math> N = 1024, M = 3 </math>，所需总乘法量：分段卷积<直接计算<快速傅里叶变换。故，此时选择使用分段卷积来计算卷积最适合。
  • 虽然当<math>M </math>是个很小的正整数时，大致上适合使用直接计算。但实际上还是将3个方法所需的乘法量都算出来，才能知道用哪种方法可以达到最高的效率。

Q3：当<math> N = 1024, M = 600 </math>，适合用哪种方法计算卷积?

Ans：

方法1：所需乘法量为<math> 3MN = 1843200 </math>
方法2：<math> P \ge M+N-1 = 1623 </math>，选择1026点DFT附近点数乘法量最少的点数，<math> \to P = 2016, a = 12728 </math>。
因此，所需乘法量为<math> 3(a+P) = 44232 </math>
方法3：
(1)由运算量对<math> L </math>的偏微分为0而求出<math> L = 1024 </math>
(2)<math> P \ge L+M-1 = 1623 </math>，所以选择1623点DFT附近点数乘法量最少的点数<math>P = 2016</math>。
(3)当<math> P = 2016 \to a = 12728, L = P+1-M = 1417 \to S = 1</math>，总乘法量为<math>(2S+1)a+3SP = 44232 </math>。
由此可知，此时切成一段，就跟方法2一样，所需总乘法量为44232。
  • 因此，当<math> N = 1024, M = 600 </math>，所需总乘法量：快速傅里叶变换 = 分段卷积<直接计算。故，此时选择使用分段卷积来计算卷积最适合。

应用[编辑]

File:Halftone, Gaussian Blur.jpg
高斯模糊可被用来从半色调印刷品复原出光滑灰度数字图像。

卷积在科学、工程和数学上都有很多应用：

参见[编辑]

引用[编辑]

  1. ^ Smith, Stephen W. 13.Convolution. The Scientist and Engineer's Guide to Digital Signal Processing 1. California Technical Publishing. 1997 [22 April 2016]. ISBN 0-9660176-3-3. （原始内容存档于2023-06-26）. 
  2. ^ Irwin, J. David. 4.3. The Industrial Electronics Handbook 1. Boca Raton, FL: CRC Press. 1997: 75. ISBN 0-8493-8343-9. 
  3. ^ Dominguez-Torres, p 2
  4. ^ on page 505 of his book entitled Treatise on differences and series, which is the last of 3 volumes of the encyclopedic series: Traité du calcul différentiel et du calcul intégral, Chez Courcier, Paris, 1797–1800. Dominguez-Torres, p 4
  5. ^ R. N. Bracewell, Early work on imaging theory in radio astronomy, W. T. Sullivan (编), The Early Years of Radio Astronomy: Reflections Fifty Years After Jansky's Discovery, Cambridge University Press: 172, 2005, ISBN 978-0-521-61602-7 
  6. ^ John Hilton Grace and Alfred Young, The algebra of invariants, Cambridge University Press: 40, 1903 
  7. ^ Leonard Eugene Dickson, Algebraic invariants, J. Wiley: 85, 1914 
  8. ^ (Stein & Weiss 1971，Theorem 1.3)
  9. ^ Crutchfield, Steve, The Joy of Convolution, Johns Hopkins University, October 12, 2010 [November 21, 2010], （原始内容存档于2013-09-11） 
  10. ^ Jeruchim, Michel C.; Balaban, Philip; Shanmugan, K. Sam. Simulation of Communication Systems: Modeling, Methodology and Techniques 2nd. New York: Kluwer Academic Publishers. October 2000: 73–74. ISBN 0-30-646267-2. 
  11. ^ 11.0 11.1 Udayashankara, V. Real Time Digital Signal Processing. India: Prentice-Hall. June 2010: 189. ISBN 978-8-12-034049-7. 
  12. ^ Priemer, Roland. Introductory Signal Processing. Advanced Series in Electrical and Computer Engineering 6. Teaneck,N.J.: World Scientific Pub Co Inc. July 1991: 286–289 [2023-10-26]. ISBN 9971-50-919-9. （原始内容存档于2023-10-11）. 
  13. ^ Damelin & Miller 2011，第219页
  14. ^ Weisstein, Eric W. Convolution. mathworld.wolfram.com. [2021-09-22]. （原始内容存档于2002-01-14） （English）. 
  15. ^ Weisstein, Eric W. From MathWorld--A Wolfram Web Resource. [2023-10-23]. （原始内容存档于2000-07-11）. 
  16. ^ Zhang, Yingjie; Soon, Hong Geok; Ye, Dongsen; Fuh, Jerry Ying Hsi; Zhu, Kunpeng. Powder-Bed Fusion Process Monitoring by Machine Vision With Hybrid Convolutional Neural Networks. IEEE Transactions on Industrial Informatics. September 2020, 16 (9): 5769–5779 [2023-10-24]. ISSN 1941-0050. S2CID 213010088. doi:10.1109/TII.2019.2956078. （原始内容存档于2023-07-31）. 
  17. ^ Chervyakov, N.I.; Lyakhov, P.A.; Deryabin, M.A.; Nagornov, N.N.; Valueva, M.V.; Valuev, G.V. Residue Number System-Based Solution for Reducing the Hardware Cost of a Convolutional Neural Network. Neurocomputing. September 2020, 407: 439–453 [2023-10-24]. S2CID 219470398. doi:10.1016/j.neucom.2020.04.018. （原始内容存档于2023-06-29） （English）. Convolutional neural networks represent deep learning architectures that are currently used in a wide range of applications, including computer vision, speech recognition, time series analysis in finance, and many others. 
  18. ^ Atlas, Homma, and Marks. An Artificial Neural Network for Spatio-Temporal Bipolar Patterns: Application to Phoneme Classification (PDF). Neural Information Processing Systems (NIPS 1987). （原始内容存档 (PDF)于2021-04-14）. 

延伸阅读[编辑]

外部链接[编辑]

File:Commons-logo.svg
维基共享资源上的相关多媒体资源：Module:Commons_link第64行Lua错误：attempt to index field 'wikibase' (a nil value)
检索自“https://arolstar52-zhtest.hf.space/index.php?title=卷积&oldid=39548”