方差
| “Variance”的各地常用名称 | |
|---|---|
| 中国大陆 | 方差 |
| 港澳 | 方差／离差 |
| 台湾 | 变异数 |
| 日本、韩国 | 分散 |
| 越南 | 分散（phương sai） |
方差（英语：variance）又称变异数[1]、变方[2]，在概率论及统计学中，描述的是一个随机变量的离散程度，即一组数字与其平均值之间的距离的度量，是随机变量与其总体均值或样本均值的离差的平方的期望。方差在统计中有非常核心的地位，其应用领域包括描述统计学、推论统计学、假设检验、度量拟合优度，以及蒙特卡洛采样。由于科学分析经常涉及统计，方差也是重要的科研工具。方差是标准差的平方、分布的二阶矩，以及随机变量与其自身的协方差，其常用的符号表示有<math>\sigma^2</math>、<math>s^2</math>、<math>\operatorname{Var}(X)</math>、<math>V(X)</math>，以及<math>\mathbb{V}(X)</math>。[3]
方差作为离散度量的优点是，它比其他离散度量（如平均差）更易于代数运算；例如，一组不相关的随机变量和的方差等于它们方差的和。在实际应用中，方差的一个缺点是它与随机变量的单位不同，而标准差则单位相同，这就是计算完成后通常采用标准差来衡量离散程度的原因。
有两个不同的概念都被称为“方差”。一种如上所述，是理论概率分布的方差。而另一种方差是一组观测值的特征。观测值通常是从真实世界的系统中测量的。如果给出系统的所有可能的观测，则它们算出的方差称为总体方差；然而，一般情况下我们只使用总体的一个子集（样本），由此计算出的方差称为样本方差。用样本计算出的方差可认为是对整个总体的方差的估计量。
方差的正平方根称为该随机变量的标准差；方差除以期望归一化的值叫分散指数；标准差除以平均值归一化的值叫变异系数。
定义[编辑]
设X为服从分布F的随机变量，如果E[X]是随机变量X的期望（均值μ=E[X]），则随机变量X或者分布F的方差为X的离差平方的期望：
- <math>\operatorname{Var}(X) = \operatorname{E}\left[(X - \mu)^2 \right]</math>
这个定义涵盖了连续、离散，或两者皆非的随机变量。方差亦可视作随机变量与自身的协方差：
- <math>\operatorname{Var}(X) = \operatorname{Cov}(X, X)</math>
方差也等价于生成X的概率分布的二阶累积量。方差的常用的表达有<math>\operatorname{Var}(X)</math>，有时作<math>V(X)</math>或<math>\mathbb{V}(X)</math>，也可写作符号<math>\sigma^2_X</math>或<math>\sigma^2</math>（读作“sigma方”）。方差的表达式可展开如下：
- <math>\begin{align}
\operatorname{Var}(X) &= \operatorname{E}\left[(X - \operatorname{E}[X])^2\right] \\[4pt] &= \operatorname{E}\left[X^2 - 2X\operatorname{E}[X] + \operatorname{E}[X]^2\right] \\[4pt] &= \operatorname{E}\left[X^2\right] - 2\operatorname{E}[X]\operatorname{E}[X] + \operatorname{E}[X]^2 \\[4pt] &= \operatorname{E}\left[X^2 \right] - \operatorname{E}[X]^2 \end{align}</math>
也就是说，X的方差等于X平方的均值减去X均值的平方。该等式不应该用于浮点运算，因为如果等式的两个成分大小相似，将会造成灾难性抵消。
离散随机变量[编辑]
如果随机变量X是具有概率质量函数的离散随机分布x1 ↦ p1, ..., xn ↦ pn，则：
- <math>\operatorname{Var}(X) = \sum_{i=1}^n p_i\cdot(x_i - \mu)^2 = \sum_{i=1}^n (p_i\cdot x_i^2) - \mu^2</math>
此处<math>\mu</math>是其期望，即：
- <math>\mu = \sum_{i=1}^n p_i\cdot x_i. </math>
<math>x_i</math> 表示实现值(realized value)
当X为有n个相等概率值的离散型均匀分布时：
- <math>\mu = \frac{1}{n}\sum_{i=1}^n x_i, </math>
- <math>\operatorname{Var}(X) = \sigma^{2} =\frac{1}{n} \sum_{i=1}^n (x_i - \mu)^2 = \frac{1}{n} \left(\sum_{i=1}^n x_i^2 - n\mu^2 \right) = \frac{ \sum_{ i = 1 }^n x_i^2 }{ n } - \mu^2.</math>
n个相等概率值的方差亦可以点对点间的方变量表示为：
- <math> \operatorname{Var}(X) = \frac{1}{n^2} \sum_{i=1}^n \sum_{j=1}^n \frac{1}{2}(x_i - x_j)^2. </math>
连续型随机变量[编辑]
如果随机变量X是连续分布，概率密度函数为f(x)，相应的累积分布函数为F(x)，则其方差为：
- <math>\begin{align}
\operatorname{Var}(X) = \sigma^2 &= \int_{\R} (x-\mu)^2 f(x) \, dx \\[4pt]
&= \int_{\R} x^2f(x)\,dx -2\mu\int_{\R} xf(x)\,dx + \mu^2\int_{\R} f(x)\,dx \\[4pt]
&= \int_{\R} x^2 \,dF(x) - 2 \mu \int_{\R} x \,dF(x) + \mu^2 \int_{\R} \,dF(x) \\[4pt]
&= \int_{\R} x^2 \,dF(x) - 2 \mu \cdot \mu + \mu^2 \cdot 1 \\[4pt]
&= \int_{\R} x^2 \,dF(x) - \mu^2,
\end{align}</math>
或等价地：
- <math>\operatorname{Var}(X) = \int_{\R} x^2 f(x) \,dx - \mu^2 ,</math>
其中<math>\mu</math>为<math>X</math>的期望，其计算方法如下：
- <math>\mu = \int_{\R} x f(x) \, dx = \int_{\R} x \, d F(x). </math>
这些公式中，<math>dx</math>和<math>dF(x)</math>的积分分别为勒贝格积分和勒贝格-斯蒂尔吉斯积分。
若函数<math>x^2f(x)</math>在每个有限区间<math>[a,b]\subset\R</math>都是黎曼可积的，则：
- <math>\operatorname{Var}(X) = \int^{+\infty}_{-\infty} x^2 f(x) \, dx - \mu^2, </math>
该积分为非正常黎曼积分。
常见概率分布[编辑]
下表列出了一些常用概率分布的方差。
| 概率分布类型 | 概率分布函数 | 均值 | 方差 |
|---|---|---|---|
| 二项式分布 | <math>\Pr\,(X=k) = \binom{n}{k}p^k(1 - p)^{n-k}</math> | <math>np</math> | <math>np(1 - p)</math> |
| 几何分布 | <math>\Pr\,(X=k) = (1 - p)^{k-1}p</math> | <math>\frac{1}{p}</math> | <math>\frac{(1 - p)}{p^2}</math> |
| 正态分布 | <math>f\left(x \mid \mu, \sigma^2\right) = \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{(x - \mu)^2}{2\sigma^2}}</math> | <math>\mu</math> | <math>\sigma^2</math> |
| 连续型均匀分布 | <math>f(x \mid a, b) = \begin{cases}
\frac{1}{b - a} & \text{for } a \le x \le b, \\[3pt]
0 & \text{for } x < a \text{ or } x > b
\end{cases}</math>
|
<math>\frac{a + b}{2}</math> | <math>\frac{(b - a)^2}{12}</math> |
| 指数分布 | <math>f(x \mid \lambda) = \lambda e^{-\lambda x}</math> | <math>\frac{1}{\lambda}</math> | <math>\frac{1}{\lambda^2}</math> |
| 泊松分布 | <math>f(k \mid \lambda) = \frac{e^{-\lambda}\lambda^{k}}{k!}</math> | <math>\lambda </math> | <math>\lambda </math> |
特性[编辑]
方差不会是负的，因为平方运算结果为非负数：
- <math>\operatorname{Var}(X)\ge 0</math>
一个常数随机变量的方差为零。反之，若有限个数组成的资料集方差为零，则其内所有数皆相等。对于一般随机变量，也有类似结论，即方差为零推出该变量几乎总是取同一个值：
- <math>P(X=a) = 1\Leftrightarrow \operatorname{Var}(X)= 0</math>
方差不变于定位参数的变动。也就是说，如果一个常数被加至一个数列中的所有变量值，此数列的方差不会改变：
- <math>\operatorname{Var}(X+a)=\operatorname{Var}(X).</math>
如果所有数值被放大一个常数倍，方差会放大此常数的平方倍：
- <math>\operatorname{Var}(aX)=a^2\operatorname{Var}(X)</math>
两个随机变量合的方差为：
- <math>\operatorname{Var}(aX+bY)=a^2\operatorname{Var}(X)+b^2\operatorname{Var}(Y)+2ab\, \operatorname{Cov}(X,Y),</math>
- <math>\operatorname{Var}(X-Y)=\operatorname{Var}(X)+\operatorname{Var}(Y)-2\, \operatorname{Cov}(X,Y),</math>
此处Cov(X, Y)代表协方差。
对于<math>N</math>个随机变量<math>\{X_1,\dots,X_N\}</math>的总和：
- <math>\operatorname{Var}\left(\sum_{i=1}^N X_i\right)=\sum_{i,j=1}^N\operatorname{Cov}(X_i,X_j)=\sum_{i=1}^N\operatorname{Var}(X_i)+\sum_{i\ne j}\operatorname{Cov}(X_i,X_j)</math>
在样本空间Ω上存在有限期望和方差的随机变量构成一个希尔伯特空间：L2 (Ω, dP)，不过这里的内积和长度跟协方差，标准差还是不大一样。所以，我们得把这个空间“除”常变量构成的子空间，也就是说把相差一个常数的所有原来那个空间的随机变量做成一个等价类。这还是一个新的无穷维线性空间，并且有一个从旧空间内积诱导出来的新内积，而这个内积就是协方差。
总体方差和样本方差[编辑]
总体方差[编辑]
一般而言，一个有限的容量为N、元素的值为xi的总体的总体方差为：
- <math>\begin{align}
\sigma^2 &= \frac{1}{N} \sum_{i=1}^N \left(x_i - \mu\right)^2 = \frac{1}{N} \sum_{i=1}^N \left(x_i^2 - 2\mu x_i + \mu^2 \right) \\[5pt]
&= \left(\frac 1N \sum_{i=1}^N x_i^2\right) - 2\mu \left(\frac{1}{N} \sum_{i=1}^N x_i\right) + \mu^2 \\[5pt]
&= \left(\frac{1}{N} \sum_{i=1}^N x_i^2\right) - \mu^2
\end{align}</math>
其中总体均值为：
- <math>\mu = \frac 1N \sum_{i=1}^N x_i.</math>
总体方差也可用下式计算：
- <math>\sigma^2 = \frac {1} {N^2}\sum_{i<j}\left( x_i-x_j \right)^2 = \frac{1}{2N^2} \sum_{i, j=1}^N\left( x_i-x_j \right)^2.</math>
该式成立，是因为：
- <math> \begin{align}
&\frac{1}{2N^2} \sum_{i, j=1}^N\left( x_i - x_j \right)^2 \\[5pt]
={} &\frac{1}{2N^2} \sum_{i, j=1}^N\left( x_i^2 - 2x_i x_j + x_j^2 \right) \\[5pt]
={} &\frac{1}{2N} \sum_{j=1}^N\left(\frac{1}{N} \sum_{i=1}^N x_i^2\right) - \left(\frac{1}{N} \sum_{i=1}^N x_i\right)\left(\frac{1}{N} \sum_{j=1}^N x_j\right) + \frac{1}{2N} \sum_{i=1}^N\left(\frac{1}{N} \sum_{j=1}^N x_j^2\right) \\[5pt]
={} &\frac{1}{2} \left( \sigma^2 + \mu^2 \right) - \mu^2 + \frac{1}{2} \left( \sigma^2 + \mu^2 \right) \\[5pt]
={} &\sigma^2
\end{align}</math>
总体方差与生成该总体的概率分布的方差相匹配。因此，“总体”的概念可推广到具有无限总体的连续随机变量。
样本方差[编辑]
有偏样本方差[编辑]
在许多实际情况下，总体的真实方差无法事先知道，必须以某种方式计算出来。在面对非常大的总体时，不可能计算总体中的每一个元素，因此必须从总体中抽取样本进行计算。[4]样本方差还可以应用于用连续分布的样本来估计该分布的方差。
下面我们从总体中有放回抽取n个数值Y1, ..., Yn，其中n < N，并用该样本来估计总体的方差。[5]直接使用样本数据的方差，得到的是离差平方的均值：
- <math>\sigma_Y^2 =
\frac{1}{n} \sum_{i=1}^n \left(Y_i - \overline{Y}\right)^2 = \left(\frac 1n \sum_{i=1}^n Y_i^2\right) - \overline{Y}^2 =
\frac{1}{n^2} \sum_{i,j\,:\,i<j}\left(Y_i - Y_j\right)^2.
</math>
此处，<math>\overline{Y}</math>表示样本均值：
- <math>\overline{Y} = \frac{1}{n} \sum_{i=1}^n Y_i .</math>
由于Yi是随机选取的，<math>\overline{Y}</math>和<math>\sigma_Y^2</math>都是随机变量。它们的期望可以用从总体中抽取的所有可能的容量为n的{Yi}的样本集合来估计。对于<math>\sigma_Y^2</math>即为：
- <math>\begin{align}
\operatorname{E}[\sigma_Y^2]
&= \operatorname{E}\left[ \frac{1}{n} \sum_{i=1}^n \left(Y_i - \frac{1}{n} \sum_{j=1}^n Y_j \right)^2 \right] \\[5pt]
&= \frac 1n \sum_{i=1}^n \operatorname{E}\left[ Y_i^2 - \frac{2}{n} Y_i \sum_{j=1}^n Y_j + \frac{1}{n^2} \sum_{j=1}^n Y_j \sum_{k=1}^n Y_k \right] \\[5pt]
&= \frac 1n \sum_{i=1}^n \left( \frac{n - 2}{n} \operatorname{E}\left[Y_i^2\right] - \frac{2}{n} \sum_{j \neq i} \operatorname{E}\left[Y_i Y_j\right] + \frac{1}{n^2} \sum_{j=1}^n \sum_{k \neq j}^n \operatorname{E}\left[Y_j Y_k\right] +\frac{1}{n^2} \sum_{j=1}^n \operatorname{E}\left[Y_j^2\right] \right) \\[5pt]
&= \frac 1n \sum_{i=1}^n \left[ \frac{n - 2}{n} \left(\sigma^2 + \mu^2\right) - \frac{2}{n} (n - 1)\mu^2 + \frac{1}{n^2} n(n - 1)\mu^2 + \frac{1}{n} \left(\sigma^2 + \mu^2\right) \right] \\[5pt]
&= \frac{n - 1}{n} \sigma^2.
\end{align}</math>
因此，<math>\sigma_Y^2</math>给出的是总体方差的有偏估计量，偏差为<math>\frac{n - 1}{n}</math>。因此，<math>\sigma_Y^2</math>称为有偏样本方差。
无偏样本方差[编辑]
将偏差纠正后，可得到无偏样本方差，记为<math>s^2</math>：
- <math>s^2 = \frac{n}{n - 1} \sigma_Y^2 = \frac{n}{n - 1} \left[ \frac{1}{n} \sum_{i=1}^n \left(Y_i - \overline{Y}\right)^2 \right] = \frac{1}{n - 1} \sum_{i=1}^n \left(Y_i - \overline{Y} \right)^2</math>
当语境明确时，两个估计量都可以简称为“样本方差”。同样的证明也适用于取自连续概率分布的样本。
其中，对n − 1的使用称为贝塞尔校正，它也用于样本协方差和样本标准差（方差的平方根）。平方根是一个凹函数，因此会引入负偏差（根据简森不等式），具体取决于分布，因此校正的样本标准差（使用贝塞尔校正）是有偏的。标准差的无偏估计是一个技术上复杂的问题，不过对于正态分布，使用n - 1.5能得到几乎无偏的估计值。
无偏样本方差是函数ƒ(y1, y2) = (y1 − y2)2/2的U-统计量。
一般化[编辑]
如果X是一个向量其取值范围在实数空间Rn，并且其每个元素都是一个一维随机变量，我们就把X称为随机向量。随机向量的方差是一维随机变量方差的自然推广，其定义为E[(X − μ)(X − μ)T]，其中μ = E(X)，XT是X的转置。这个方差是一个非负定的方阵，通常称为协方差矩阵。
如果X是一个复数随机变量的向量（向量中每个元素均为复数的随机变量），那么其方差定义则为E[(X − μ)(X − μ)*]，其中X*是X的共轭转置向量或称为埃尔米特向量。根据这个定义，方差为实数。
历史[编辑]
“方差”（variance）这个名词率先由罗纳德·费希尔（英语：Ronald Fisher）在论文《The Correlation between Relatives on the Supposition of Mendelian Inheritance》[6]中提出。
后来方差逐渐衍生出了“半方差”（semivariance）、“亚方差”（hypo variance）、“超方差”（super variance）、“圆方差”（circular variance）与“倒方差”（inverse variance）等概念。
半方差[编辑]
半方差的计算方式与方差类似，但是只包括了低于均值的观测值：
- <math>\text{Semivariance} = {1\over{n}}\sum_{i:x_{i} < \mu}(x_{i}-\mu)^{2}</math>
半方差在不同应用领域也被用作特殊的量度。对于偏态分布，半方差能提供方差所不能提供的额外信息。[7]
参见[编辑]
方差类型[编辑]
参考文献[编辑]
- ↑ 存档副本. [2023-07-25]. （原始内容存档于2023-07-25）.
- ↑ 存档副本. [2023-07-25]. （原始内容存档于2023-07-25）.
- ↑ Wasserman, Larry. All of Statistics: a concise course in statistical inference. Springer texts in statistics. 2005: 51. ISBN 9781441923226.
- ↑ Navidi, William (2006) Statistics for Engineers and Scientists, McGraw-Hill, pg 14.
- ↑ Montgomery, D. C. and Runger, G. C. (1994) Applied statistics and probability for engineers, page 201. John Wiley & Sons New York
- ↑ Ronald Fisher（1918）The correlation between relatives on the supposition of Mendelian Inheritance （页面存档备份，存于互联网档案馆）
- ↑ Fama, Eugene F.; French, Kenneth R. Q&A: Semi-Variance: A Better Risk Measure?. Fama/French Forum. 2010-04-21 [2022-06-10]. （原始内容存档于2021-07-25）.
