网站地图
范数 发布于:

范数(norm)是数学中的一种基本概念。在泛函分析中,它定义在赋范线性空间中,并满足一定的条件,即①非负性;②齐次性;③三角不等式。它常常被用来度量某个向量空间(或矩阵)中的每个向量的长度或大小。

范数

范数,是具有“长度”概念的函数。在线性代数、泛函分析及相关的数学领域,范数是一个函数,是矢量空间内的所有矢量赋予非零的正长度大小。半范数可以为非零的矢量赋予零长度。

定义范数的矢量空间是赋范矢量空间;同样,定义半范数的矢量空间就是赋半范矢量空间。

注:在二维的欧氏几何空间 R中定义欧氏范数,在该矢量空间中,元素被画成一个从原点出发的带有箭头的有向线段,每一个矢量的有向线段的长度即为该矢量的欧氏范数。

半范数

假设

范数=半范数+额外性质

赋范线性空间

(1)正定性:

(2)正齐次性:

(3)次可加性(三角不等式):

那么,

如果线性空间上定义了范数,则称之为赋范线性空间

当且仅当

内积、度量、拓扑和范数的关系

(1) 范数

(2) 如果赋范线性空间作为(由其范数自然诱导度量

(3) 内积

(4) 如果去掉范数定义中的正定性,那么得到的泛函称为半范数(seminorm或者叫准范数),相应的线性空间称为赋准范线性空间

对于X上的两种范数

那么称

可以证明,有限维空间上的范数都等价,无限维空间上至少有阿列夫(实数集的基数)种不等价的范数。

如果

根据定义容易证明:

对于多个空间之间的复合算子,也有,

如果一个线性算子T的范数满足

那么称T是有界线性算子,否则称T是无界线性算子。

如,在常用的范数下,积分算子是有界的,微分算子是无界的。

容易证明,有限维空间的所有线性算子都有界。

有限维空间上的范数具有良好的性质,主要体现在以下几个定理:

性质1

对于有限维赋范线性空间的任何一组基,范数是元素(在这组基下)的坐标的连续函数。

性质2(Minkowski定理)

有限维线性空间的所有范数都等价。

性质3(Cauchy收敛原理)

实数域(或复数域)上的有限维线性空间(按任何范数)必定完备。

性质4

有限维赋范线性空间中的序列按坐标收敛的充要条件是它按任何范数都收敛。

这里以C空间为例,R空间类似。

最常用的范数就是p-范数。若

可以验证p-范数确实满足范数的定义。其中三角不等式的证明不是平凡的,这个结论通常称为闵可夫斯基(Minkowski)不等式。

当p取

1-范数:x1=│x1│+│x2│+…+│xn

2-范数:x2=(│x1│+│x2│+…+│xn│)

∞-范数:x∞=max(│x1│,│x2│,…,│xn│)

其中2-范数就是通常意义下的距离。

对于这些范数有以下不等式:x ≤ x2 ≤ x1 ≤ nx2 ≤ nx

另外,若p和q是赫德尔(Hölder)共轭指标,即1/p+1/q=1,那么有赫德尔不等式:

|<x,y>| = ||x*y| ≤ xpyq

当p=q=2时就是柯西-许瓦兹(Cauchy-Schwarz)不等式。

一般来讲矩阵范数除了正定性,齐次性和三角不等式之外,还规定其必须满足相容性:

如果α是相容范数,且任何满足βα的范数β都不是相容范数,那么α称为极小范数。对于n阶实方阵(或复方阵)全体上的任何一个范数,总存在唯一的实数k>0,使得k是极小范数。

注:如果不考虑相容性,那么矩阵范数和向量范数就没有区别,因为mxn矩阵全体和mn维向量空间同构。引入相容性主要是为了保持矩阵作为线性算子的特征,这一点和算子范数的相容性一致,并且可以得到Mincowski定理以外的信息。

把矩阵看作线性算子,那么可以由向量范数诱导出矩阵范数

A = max{Ax:x=1}= max{Ax/x: x≠0}

它自动满足对向量范数的相容性

Ax ≤ Ax

并且可以由此证明:

AB ≤ AB。

注:

⒈ 上述定义中可以用max代替sup是因为有限维空间的单位闭球是紧的(有限开覆盖定理),从而上面的连续函数可以取到最值。

⒉ 单位矩阵的算子范数为1。

常用的三种p-范数推导出的矩阵范数

1-范数:

A1 = max{ ∑|ai1|,∑|ai2|,……,∑|ain| } (列和范数,A每一列元素绝对值之和的最大值)(其中∑|ai1|第一列元素绝对值的和∑|ai1|=|a11|+|a21|+...+|an1|,其余类似);

2-范数:

A2 = A的最大奇异值 = (max{ λi(A*A) }) (谱范数,即A^H*A特征值λi中最大者λ1的平方根,其中A为A的转置共轭矩阵);

∞-范数:

A = max{ ∑|a1j|,∑|a2j|,...,∑|amj| } (行和范数,A每一行元素绝对值之和的最大值)(其中∑|a1j| 为第一行元素绝对值的和,其余类似);

其它的p-范数则没有很简单的表达式。

对于p-范数而言,可以证明Ap=Aq,其中p和q是共轭指标。

简单的情形可以直接验证:A1=A,A2=A2,一般情形则需要利用Ap=max{y*A*x:xp=yq=1}。

有些矩阵范数不可以由向量范数来诱导,比如常用的Frobenius范数(也叫Euclid范数,简称F-范数或者E-范数):

AF= (∑∑ aij)(A全部元素平方和的平方根)。

容易验证F-范数是相容的,但当min{m,n}>1时F-范数不能由向量范数诱导(||E11+E22||F=2>1)。

可以证明任一种矩阵范数总有与之相容的向量范数。

例:

定义x=X,其中X=[x,x,…,x]是由x作为列的矩阵。由于向量的F-范数就是2-范数,所以F-范数和向量的2-范数相容。

另外还有以下结论

ABF <= AF B2

ABF ≤ A2 BF

定义:

A是n阶方阵,λi是其特征值,i=1,2,…,n。则称特征值的绝对值的最大值为A的谱半径,记为ρ(A)。

:注意要将谱半径与谱范数(2-范数)区别开来,谱范数是指A的最大奇异值,即A*A最大特征值的算术平方根。

谱半径是矩阵的函数,但不是矩阵范数。谱半径和范数的关系是以下几个结论:

定理1:

谱半径不大于矩阵范数,即ρ(A)≤A。

因为任一特征对λ,x,Ax=λx,可得Ax=λx。两边取范数并利用相容性即得结果。

定理2:

对于任何方阵A以及任意正数e,存在一种矩阵范数使得A<ρ(A)+e。

定理3(Gelfand定理):

ρ(A)=lim_{k->;∞} A1。

推论:

推论1:矩阵序列 I,A,A,…A,… 收敛于零的充要条件是ρ(A)<1。

推论2:级数 I+A+A+... 收敛到(I-A)的充要条件是ρ(A)<1。

定义

如果范数满足A=UAV对任何矩阵A以及酉矩阵U,V成立,那么这个范数称为酉不变范数。

容易验证,2-范数和F-范数是酉不变范数。因为酉变换不改变矩阵的奇异值,所以由奇异值得到的范数是酉不变的,比如2-范数是最大奇异值,F-范数是所有奇异值组成的向量的2-范数。反之可证明,所有的酉不变范数都和奇异值有密切联系:

Von Neumann定理:在酉不变范数和对称度规函数(symmetric gauge function)之间存在一一对应关系。也就是说任何酉不变范数事实上就是所有奇异值的一个对称度规函数。


相关文章推荐:
泛函分析 | 线性代数 | 泛函分析 | 矢量空间 | 线段 | 矢量空间 | 三角不等式 | 数域 | 线性空间 | 拓扑 | 度量空间 | 柯西 | 内积 | 希尔伯特空间 | 巴拿赫空间 | 线性 | 有界线性算子 | 线性 | 算子 | 微分算子 | 维空间 | 维空间 | 闵可夫斯基 | 不等式 | 矩阵 | 齐次性 | 三角不等式 | 矩阵范数 | 向量 | 向量空间 | 算子 | 矩阵范数 | 矩阵范数 | 特征值 | 共轭矩阵 | 矩阵范数 | 向量 | 矩阵 | 谱半径 | 矩阵范数 | 酉矩阵 | 奇异值 |