设总体为离散型随机变量,其分布律为,其中 是待估参数, 则 的概率为 \[ \prod_{k=1}^{n} p(x_k,\theta) \] 上式是 的函数,称为似然函数,记为 ,即
\[ L(\theta)=L(\theta;x_1, x_2,\cdots,x_n)=\prod_{k=1}^{n}p(x_k,\theta) \] 设总体 为连续型随机变量,其密度函数为 ,其中 是待估参数,与离散型随机变量类似,我们定义似然函数如下: \[ L(\theta)=L(\theta;x_1, x_2, \cdots , x_n)=\prod_{k=1}^{n}f(x_k, \theta). \] 若对任意给定的样本值 ,存在 ,使 则称 的最大似然估计值,称相应的统计量 的最大似然估计量.
例1 设总体 ,其密度函数为
\[ f(x, \lambda)=\cases{\lambda \mathrm{e}^{-\lambda x}, \quad x>0,\cr 0, \quad x\leq0, }\] 其中 为未知参数.设是取自总体 的一个样本,求参数 的最大似然估计.
是相应于样本 的一组样本值,则似然函数为
\[ L(\lambda)=L(\lambda;x_1,x_2, \cdots,x_n)=\prod_{k=1}^{n}f(x_k,\lambda)=\cases{\lambda^{n}\mathrm{e}^{-\lambda(x_1+x_2+\cdots+x_n)},\quad x_k>0 \cr 0,\quad x_k\leq 0} \] 其对数为 \[ \ln L(\lambda)=n\ln\lambda-\lambda(x_1+x_2+\cdots+x_n), \] 解 \[ \frac{ \mathrm{d}}{\mathrm{d}\lambda}\ln L(\lambda)=\frac{n}{\lambda}-(x_1+x_2+\cdots+x_n)=0, \] 得 \[ \hat{\lambda}=\frac{n}{x_1+x_2+\cdots+x_n}=\frac{1}{\bar{x}}. \] 于是参数 的最大似然估计量为 .