作者：whisper

链接：http://proprogrammar.com:443/article/227

声明：请尊重原作者的劳动，如需转载请注明出处

    数学期望(反映数据中心位置)

    随机变量的期望

    定义

    一维离散型随机变量的数学期望

    设离散型随机变量X的分布律为P(X = xᵢ） = pᵢ，i = 1, 2,...，当∑[i=1,n]pᵢxᵢ绝对收敛时，则称级数∑[i=1,n]pᵢxᵢ的和为随机变量X的数学期望，记为E(X)，即

                   E(X) = ∑[i=1,n]pᵢxᵢ

    一维连续型随机变量的数学期望

    设连续型随机变量X的概率密度为f(x)，当∫[-∞, +∞]xf(x)dx绝对收敛时，则称积分∫[-∞, +∞]xf(x)dx为随机变量X的数学期望，记为E(X)，即

                    E(X) = ∫[-∞, +∞]xf(x)dx

    数学期望简称期望或者均值，它反映随机变量所有可能取值的平均值

    期望的性质

    （1）E(C) = C; E[E(X)] = E(X)

    （2）E(C₁X+C₂Y) = C₁E(X) + C₂E(Y)

    （3）若X和Y独立，则E(XY) = E(X)E(Y)

    （4）[E(XY)]² ≤ E(X²)E(Y²)

    注：对泊松分布：X~π(λ)，E(X) = λ

    对均匀分布：X~U(a, b)，E(X) = (a+b)/2

    随机变量函数的数学期望

    随机变量X的函数Y=g(X)的数学期望

    （1）离散型

    P(X=xₖ) = pₖ，k = 1, 2,...，当∑[k=1,∞]g(xₖ)pₖ绝对收敛时，

        E(Y) = E(g(X)) = ∑[k=1,∞]g(xₖ)pₖ

    （2）连续型

    随机变量X的概率密度为f(x)，当∫[-∞, +∞]g(x)f(x)dx绝对收敛时，

        E(Y) = E(g(X)) = ∫[-∞, +∞]g(x)f(x)dx

    二维随机变量函数的期望公式

    已知(X, Y), S =g(X, Y)，则

    Eₛ = E[g(X, Y)] = ∑[i=1,+∞]∑[j=1,+∞]g(xᵢ, yⱼ)pᵢⱼ    离散型

    Eₛ = E[g(X, Y)] = ∫[-∞,+∞]∫[-∞,+∞]g(x, y)f(x, y)dxdy    连续型

    方差（反映数据分散程度）

    定义

    设X是一个随机变量，若E[X-E(X)]²存在，

    则E[X-E(X)]²为N的方差，记为D(X)，即

    D(X) = E[X-E(X)]²

    σ(X) = sqrt(D(X))称为标准差或者均方差

    方差实际上是随机变量X的函数的g(X) = [X - E(X)]²的数学期望

    方差D(X)反映了随机变量X的取值与其数学期望的偏离程度，是衡量随机变量取值分散程度的一个量。

    若X的取值比较集中，则D(X)较小；

    反之，若X的取值比较分散，则D(X)较大

    计算

    （1）根据定义计算

    D(X) = E[X - E(X)]² = 

    ∑[i](xᵢ - E(X))²pᵢ    当X为离散型时，

    ∫[-∞, +∞](x - E(X))²f(x)dx    当X为连续型时

    （2）利用性质计算

    由方差的定义和数学期望的性质，有

    D(X) = E(X²) - [E(X)]²

    这就是说，要计算随机变量X的方差，求出E(X)后，再根据随机变量函数的数学期望公式算出E(X²)即可

    性质

    （1）D(C) = 0，但反之D(X) = 0不能得出X为常数

    D[E(X)] = 0    D[D(x)] = 0

    （2）D(X) ≥ 0，对任意的随机变量X 

    （3）D(aX+b) = a²D(X)

    （4）若X, Y相互独立，则D(X±Y) = D(X) + D(Y)

    （5）D(X±Y) = D(X) + D(Y) ± 2E[(X - E(X))(Y - E(Y))]

    （6）D(X) < E(X-C)²，C ≠ E(X)

    （7）D(X) = 0 <=> P{X = C} = 1

    （8）标准化后随机变量的期望与方差

    设X的均值、方差都存在，且D(X)≠0，

    则Y = (X-E(X))/sqrt(D(X))的期望为0与方差为1

    重要概率分布的方差

    两点分布

    已知随机变量X的分布律为

     E(X) = p

    E(X²) = p

    D(X) = E(X²) - [E(X)]² = p - p²

    泊松分布

    设X~π(λ)，且分布律为

    P{X = k} = λᵏe^(-λ)/k!，k = 1, 2,...，λ > 0

    E(X) = λ

    E(X²) = E[X(X-1) + X] = E[X(X-1)] + E(X)

    =∑[k = 0, +∞]k(k-1)λᵏe^(-λ)/k! + λ

    = [∑[k = 2, +∞]λᵏ⁻²/(k-2)!]*e^(-λ)*λ² + λ

    = λ² + λ

    D(X) = E(X²) - [E(X)]² = λ

    均匀分布

    设X~U(a, b)，其概率密度为

    f(x) = [1/(b-a),   a<x<b;    0,  其他]

    E(X) = (a+b)/2

    E(X²) = ∫[a, b]x²/(b-a)dx = (a² + ab + b²)/3

    D(X) = E(X²) - [E(X)]² = (a-b)²/12

    指数分布

    设随机变量X服从指数分布，其概率密度为

    f(x) = [λe^(-λx),  x>0;    0, 其它]

    E(X) = 1/λ（证明略，用定义证明即可）

    E(X²) = 2/λ²（证明略，用定义证明即可）

    D(X) = E(X²) - [E(X)]² = 1/λ²

    正态分布

    设X~N(μ, σ²)，其概率密度为

    f(x) = (1/sqrt(2π)σ)*e^(-(x-μ)²/2σ²),  σ>0, -∞ < x < +∞

    对标准正态分布Z ~ N(0, 1)

    E(Z) = 0;

    E(Z²) = 1;

    D(Z) = 1;

    对X~N(μ, σ²)

    令X = μ + σZ   -> Z = (X-μ)/σ

    E(X) = σE(Z) + μ

    D(X) = D(σZ + μ) = σ²D(Z) = σ²

    正态分布可加性

    若Xᵢ ~N(μᵢ, σᵢ²)，i = 1, 2,...,n，且它们相互独立，则它们的线性组合：C₁X₁ + C₂X₂ + ... + CₙXₙ(C₁,C₂...,Cₙ是不全为0的常数)仍然服从正态分布，于是由数学期望和方差的性质知道

    C₁X₁ + C₂X₂ + ... + CₙXₙ ~ N(∑[i=1,n]Cᵢμᵢ, ∑[i=1,n]Cᵢ²σ²ᵢ)

    二项分布

    设随机变量X服从参数为n,p二项分布，其分布律为

    P{X = k} = C(n, k)pᵏ(1-p)ⁿ⁻ᵏ，(k = 0, 1, 2..., n)

    E(X) = np

    D(X) = np(1-p)

    协方差及相关系数

    协方差

    对于随机变量X和Y，如果E{[X-E(X)][Y-E(Y)]}存在，则称之为X和Y的协方差，记作Cov(x, y)，即

          Cov(X, Y) = E{[X-E(X)][Y-E(Y)]}

    常用公式

    1、Cov(X, Y) = E(XY) - E(X)E(Y)

    2、D(X±Y) = D(X) + D(Y) ± 2cov(X, Y)

    协方差性质

    (1)cov(X, Y) = cov(Y, X)

    (2)cov(X, X) = D(X)

    (3)cov(aX, bY) = abcov(X, Y)

    (4)cov(X₁ + X₂, Y) = cov(X₁, Y) + cov(X₂, Y)

    以上性质可以推广为

    cov(aX±bY, cX±dY) = acD(X) + bdD(Y) ± (ad+bc)cov(X, Y)

    相关系数

    对于随机变量X和Y，如果D(X)D(Y)≠0，则称cov(X, Y)/(sqrt(D(X)sqrt(D(Y))为X和Y的相关系数，记为ρᵪᵧ，即

        ρᵪᵧ = cov(X, Y)/(sqrt(D(X)sqrt(D(Y))

    不相关：如果随机变量X和Y的相关系数ρᵪᵧ = 0，则称X和Y不相关

    相关系数性质

    （1）|ρᵪᵧ| ≤ 1

    （2）|ρᵪᵧ| = 1 <=> 存在不全为零的常数a和b，使得P(Y = aX+b) = 1

    Y = aX + b  若a > 0时，则ρᵪᵧ = 1；若a < 0时，则ρᵪᵧ = -1

    独立与不相关关系

    如果随机变量X和Y相互独立，则X和Y必不相关

    反之，X和Y不相关时，X和Y却不一定相互独立

    矩，协方差矩阵

    矩的概念

    设X和Y是随机变量

    若 E(Xᵏ), k = 1, 2, ... 存在

    称它为X的k阶原点矩，简称k阶矩

    若 E{[X-E(X)]ᵏ}, k = 2, 3, ... 存在，

    称它为X的k阶中心矩

    若 E{[X-E(X)]ᵏ[Y-E(Y)]ˡ}, k,l = 1, 2,... 存在，

    称它为X和Y的k+l阶混合中心矩

亲爱的读者：有时间可以点赞评论一下