15.1:最小二乗法(簡単すぎて,かえって難しい)


初等的とされている「最小二乗法」から始めよう. 2次元平面${\mathbb R}^2(\equiv \{(a,x)\;:\; a,x \in {\mathbb R} \})$内の点列 \begin{align*} \{ ({a}_{i}, x_{i} )\}_{{i}=1}^{n} \end{align*} を考える. 任意の二つ実数$\beta_1$と$\beta_2$に対して,一次関数 $\phi^{(\beta_1, \beta_2)}: {\mathbb R} \to {\mathbb R}$ を以下のように定める. \begin{align} {\mathbb R} \ni a \mapsto x= \phi^{(\beta_1, \beta_2)}({a}) =\beta_1 {a} + \beta_0 \in {\mathbb R} \tag{15.1} \end{align} ここで,対 $(\beta_1, \beta_2) (\in {\mathbb R}^2 )$ は未知としよう.
さて,誤差$\sigma$ を次のように定める.

\begin{align} \sigma_{}^2 (\beta_1, \beta_2)= \frac{1}{{n}} \sum_{{i}=1}^n (x_{i} - \phi^{(\beta_1, \beta_2)}({a}_{i}))^2 \Big( = \frac{1}{{n}} \sum_{{i}=1}^{n} ( x_{i} -( \beta_1 {a}_{i} + \beta_0 ))^2 \Big) \tag{15.2} \end{align} このとき,次の最小化問題を得る.



問題15.1:[最小二乗法]
$\quad$ 次の(15.3)式を満たす$(\hat{\beta}_0, \hat{\beta}_1)$ $( \in {\mathbb R}^2 )$を見つけよ. \begin{align} & \sigma_{}^2 (\hat{\beta}_0, \hat{\beta}_1) = \min_{(\beta_1, \beta_2) \in {\mathbb R}^2 } \sigma_{}^2 (\beta_1, \beta_2) \Big( \equiv \frac{1}{{n}} \min_{(\beta_1, \beta_2) \in {\mathbb R}^2 } \sum_{{i}=1}^{n} ( x_{i} -( \beta_1 {a}_{i} + \beta_0 ))^2 \Big) \\ & \tag{15.3} \end{align} この解 $(\hat{\beta}_0, \hat{\beta}_1)$ のことを "単純回帰係数" とよぶ.



中学生でも出来る簡単な問題であるが、偏微分を使った方が 簡単に解くことができるので、これを以下に示そう。

(15.3)式を $\beta_0$と $\beta_1 $ で偏微分して, そして, 次の方程式 (i.e., "正規方程式" ) を得る. \begin{align} & \frac{\partial \sigma_{}^2 (\beta_1, \beta_2)}{\partial \beta_0} = {\sum_{{i}=1}^{n} ({}x_{i} - \beta_0 - \beta_1 {a}_{i}{})}=0, \quad ({i}=1,...,{n}) \tag{15.4} \\ & \frac{\partial \sigma_{}^2 (\beta_1, \beta_2)}{\partial \beta_1} = {\sum_{{i}=1}^{n} ({}x_{i} - \beta_0 - \beta_1 {a}_{i}{}){a}_{i}}=0, \quad ({i}=1,...,{n}) \tag{15.5} \end{align} これを解いて,次を得る. \begin{align} & \hat{\beta}_1 = \frac{s_{{a}x}}{s_{{a}{a}}}, \quad \hat{\beta}_0 = \overline{x}-\frac{s_{{a}x}}{s_{{a}{a}}}\overline{{a}}, \quad \hat{\sigma}^2 ( = \frac{1}{{n}} \sum_{{i}=1}^{n} ( x_{i} -( \hat{\beta}_1 {a}_{i} + \hat{\beta}_0 ))^2 \Big) = s_{xx} - \frac{s_{{a}x}^2}{s_{{a}{a}}} \tag{15.6} \end{align} ここで, \begin{align} & {\bar {a}}=\frac{{a}_1 + \cdots + {a}_{n}}{{n}}, \qquad {\bar x}=\frac{x_1 + \cdots + x_{n}}{{n}},\qquad \tag{15.7} \\ & s_{{a}{a}}=\frac{({a}_1 -{\bar {a}})^2 + \cdots + ({a}_{n} - {\bar {a}})^2}{{n}}, \quad s_{xx}=\frac{(x_1 -{\bar x})^2 + \cdots + (x_{n} - {\bar x})^2}{{n}}, \quad \tag{15.8} \\ & s_{{a}x}=\frac{({a}_1 -{\bar {a}})(x_1 -{\bar x}) + \cdots + ({a}_{n} - {\bar {a}})(x_{n} - {\bar x})}{{n}}. \tag{15.9} \end{align}





注意15.2 [応用数学] さて、

  • 計算は簡単であったが、「その意味」は難しい

「最小二乗法」の意味は,「小話・小技」としては誰もが気分としてわかっていることと思う.　しかし,「統計学」という「大きな物語」の中での「最小二乗法」の意味づけはそんなに簡単なことではないが,この意味づけが,「(統計学的)回帰分析」である.　しかし, この講義全体を通しての主張は,

$\bullet$ すべてを(統計学ではなくて)量子言語で記述せよ
であった. そうならば,この章のすべきことは,
$\bullet$ 「最小二乗法」という技法を量子言語の言葉で意味づけをせよ.
である. つまり、
  • 大きな物語の中で語れば、「意味」は自ずとわかる
のである。 もっと正確に言えば、
  • 大きな物語の中で語らなければ、「意味」は永久にわからない
である。