Оценка максимального правдоподобия

Ме́тод максима́льного правдоподо́бия в математической статистике — это метод оценивания неизвестного параметра путём максимизации функции правдоподобия. (Фишер — 1912 г.^[1])

Определение

Пусть есть выборка $X_1,\ldots,X_n$ из распределения $\mathbb{P}_{\theta}$, где $\theta \in \Theta$ — неизвестный параметр. Пусть $f(\mathbf{x} \mid \theta):\Theta \to \mathbb{R}$ — функция правдоподобия, где $\mathbf{x} \in \mathbb{R}^n$. Точечная оценка

$\hat{\theta}_{\mathrm{M\Pi}} = \hat{\theta}_{\mathrm{M\Pi}} (X_1,\ldots, X_n) = \arg \max\limits_{\theta \in \Theta} f(X_1 ,\ldots, X_n \mid \theta )$

называется оце́нкой максима́льного правдоподо́бия параметра θ. Таким образом оценка максимального правдоподобия — это такая оценка, которая максимизирует функцию правдоподобия при фиксированной реализации выборки.

Замечание

• Так как функция $x \to \ln x,\; x > 0$ монотонно возрастает на всей области определения, максимум любой функции f(θ) является максимумом функции lnf(θ), и наоборот. Таким образом

$\hat{\theta}_{\mathrm{M\Pi}} = \arg \max\limits_{\theta \in \Theta} L(X_1 ,\ldots, X_n \mid \theta )$,

где L — логарифмическая функция правдоподобия.

• Оценка максимального правдоподобия, вообще говоря, может быть смещённой (см. примеры).

Примеры

• Пусть $X_1,\ldots, X_n \sim \mathrm{U}[0,\theta]$ — независимая выборка из непрерывного равномерного распределения на отрезке [0,θ], где θ > 0 — неизвестный параметр. Тогда функция правдоподобия имеет вид

$f(\mathbf{x} \mid \theta ) = \left\{ \begin{matrix} \frac{1}{\theta^n}, & \mathbf{x} \in [0,\theta]^n \subset \mathbb{R}^n \\ 0, & \mathbf{x} \not\in [0,\theta]^n \end{matrix} \right..$

Последнее равенство может быть переписано в виде:

$f(\mathbf{x} \mid \theta ) = \left\{ \begin{matrix} \frac{1}{\theta^n}, & \theta \ge \max(x_1,\ldots,x_n) \\ 0, & \theta < \max(x_1,\ldots,x_n) \end{matrix} \right.,$

где $\mathbf{x} = (x_1,\ldots,x_n)^{\top}$, откуда видно, что своего максимума функция правдоподобия достигает в точке $\theta = \max(x_1,\ldots,x_n)$. Таким образом

$\hat{\theta}_{\mathrm{M\Pi}} = \max(X_1,\ldots, X_n)$.

• Пусть $X_1,\ldots,X_n \sim \mathrm{N}(\mu,\sigma^2)$ — независимая выборка из нормального распределения с неизвестными средним и дисперсией. Построим оценку максимального правдоподобия $\left(\hat{\mu}_{\mathrm{M\Pi}}, \widehat{\sigma^2}_{\mathrm{M\Pi}}\right)^{\top}$ для неизвестного вектора параметров $\left(\mu,\sigma^2\right)^{\top}$. Логарифмическая функция правдоподобия принимает вид

$L(\mathbf{x} \mid\mu, \sigma^2) = - \frac{n}{2} \ln (2 \pi \sigma^2) - \frac{1}{2\sigma^2} \sum\limits_{i=1}^n (X_i - \mu)^2$.

Чтобы найти её максимум, приравняем к нулю частные производные:

$\left\{ \begin{matrix} \displaystyle \frac{\partial}{\partial \mu} L(\mathbf{x} \mid \mu, \sigma^2 ) = 0 \\[10pt] \displaystyle \frac{\partial}{\partial \sigma^2} L(\mathbf{x} \mid \mu, \sigma^2 ) = 0 \\ \end{matrix} \right. \Rightarrow \left\{ \begin{matrix} \displaystyle \frac{ \sum\limits_{i=1}^n X_i - n \mu}{\sigma^2} = 0 \\[10pt] \displaystyle -\frac{n}{2 \sigma^2} +\frac{\sum\limits_{i=1}^n (X_i - \mu)^2}{2 \left(\sigma^2\right)^2} = 0 \\ \end{matrix} \right.,$

откуда

$\hat{\mu}_{\mathrm{M\Pi}} = \bar{X}$ — выборочное среднее, а

$\widehat{\sigma^2}_{\mathrm{M\Pi}} = S^2_n$ — выборочная дисперсия.

Примечания

1. ↑ Математический энциклопедический словарь, М.: Советская энциклопедия, 1988.

См. также

• Метод моментов нахождения оценок