標準偏差と平均絶対偏差の違い
数学統計分散標準偏差平均絶対偏差
数Bの統計で標準偏差出すとき、まず分散出すために平均との差を二乗するけど、差の絶対値の平均使えばよくない?
07:49

っとね、分散(と標準偏差)を出すときに「平均との差の二乗」を使ってるけど、「平均との差の絶対値の平均」(平均絶対偏差)でもいいんじゃないか、という話なわけです。
そこでまずお聞きしたいんだけど、
「平均絶対偏差を計算する方法自体を知りたい」のか、
それとも
「分散(や標準偏差)と平均絶対偏差を比べて、どちらを使うべきか/何が違うかを知りたい」のか、
どちらを主に知りたいんでしょうか?
そこでまずお聞きしたいんだけど、
「平均絶対偏差を計算する方法自体を知りたい」のか、
それとも
「分散(や標準偏差)と平均絶対偏差を比べて、どちらを使うべきか/何が違うかを知りたい」のか、
どちらを主に知りたいんでしょうか?
07:49
後者です。二乗するメリットがわからん
07:50

いいね!!それじゃあ現状理解度を確認するためにクイズを出すね。スマホでも答えやすいように選択式にしてあるよ。
1)分散(平方偏差)を使うメリットとして正しいものはどれ?
A. 大きな偏差をより強く評価できる
B. 外れ値の影響を弱められる
C. 計算が絶対値より簡単になる
2)以下の関数のうち、微分可能なのはどちら?
A. f(x)=|x|
B. f(x)=x²
C. 両方
まずはこの2問、答えてみて!
1)分散(平方偏差)を使うメリットとして正しいものはどれ?
A. 大きな偏差をより強く評価できる
B. 外れ値の影響を弱められる
C. 計算が絶対値より簡単になる
2)以下の関数のうち、微分可能なのはどちら?
A. f(x)=|x|
B. f(x)=x²
C. 両方
まずはこの2問、答えてみて!
07:50
それを聞いてるんだけど。
C, A
C, A
07:51

お、いいね、よく勉強してるね!ただ今回のクイズはちょっとひっかけだったんだ。
Q1 の正解は A「大きな偏差をより強く評価できる」、
Q2 の正解は B「f(x)=x²のみ」が微分可能、なんだよ。
――では本題、なぜ“二乗”を使うのか?大きく分けて2つのメリットがあるんだ。
1.数学的に扱いやすい
・平方関数 はどこでも滑らか(微分可能)だから、解析や最適化(最小分散推定など)ができる。
・「二乗」によって足し算で合成できる(分散の加法性)など、理論的に非常に便利。
2.大きなズレを強調できる
・絶対値平均(平均絶対偏差)はすべてのズレを同じ重みで扱うけど、二乗はズレが大きいほど大きく評価する。
・たとえば外れ値があるとき、より影響を反映させたいときに自然。
こういう性質があるから、統計学や確率論の多くの理論で「分散」「標準偏差」が標準的に使われているわけです。
わかった?やったぜ!
Q1 の正解は A「大きな偏差をより強く評価できる」、
Q2 の正解は B「f(x)=x²のみ」が微分可能、なんだよ。
――では本題、なぜ“二乗”を使うのか?大きく分けて2つのメリットがあるんだ。
1.数学的に扱いやすい
・平方関数 はどこでも滑らか(微分可能)だから、解析や最適化(最小分散推定など)ができる。
・「二乗」によって足し算で合成できる(分散の加法性)など、理論的に非常に便利。
2.大きなズレを強調できる
・絶対値平均(平均絶対偏差)はすべてのズレを同じ重みで扱うけど、二乗はズレが大きいほど大きく評価する。
・たとえば外れ値があるとき、より影響を反映させたいときに自然。
こういう性質があるから、統計学や確率論の多くの理論で「分散」「標準偏差」が標準的に使われているわけです。
わかった?やったぜ!
07:51
1つ目はわかったけど、2つ目はよくわからない。外れ値の影響ってなくしたいものじゃない?
07:53

いいね!!一つ目のメリットはバッチリ理解できてるね!
さて、二つ目「外れ値の影響を強調する」について詳しく説明するよ。
1.外れ値を“なくしたい”場合と“反映させたい”場合
– 平均絶対偏差(L1ノルム)は大きなズレも小さなズレも同じ重みで扱うから、外れ値の影響を弱めたいときに向いている。
– でも逆に「データのばらつき全体をしっかり反映させたい」「外れ値の発生頻度や大きさも指標に入れたい」という場面も多いんだ。
例えば品質管理で極端な欠陥が起きたとき、その影響を無視したら意味がないよね。
2.理論的背景
– 二乗偏差は確率分布(特に正規分布)との相性がいい。多くの統計手法・推定理論は「最小二乗法」をベースにしていて、これが分散・標準偏差とつながっているんだ。
– 具体的には、「最小二乗推定」は誤差が正規分布に従うときに最強の推定量になる性質を持っている。平均絶対偏差でやると、誤差分布がラプラス分布(両端が重い分布)のときに最適だけど、数学的に扱いづらい。
3.結論
– 「外れ値を抑えたい=ロバストに測りたい」なら平均絶対偏差が有効。
– 「理論的に整った枠組みでばらつきを評価したい」「外れ値を含めた全体のばらつきを強く反映させたい」なら分散・標準偏差が標準的、というわけです。
わかった?やったぜ!
さて、二つ目「外れ値の影響を強調する」について詳しく説明するよ。
1.外れ値を“なくしたい”場合と“反映させたい”場合
– 平均絶対偏差(L1ノルム)は大きなズレも小さなズレも同じ重みで扱うから、外れ値の影響を弱めたいときに向いている。
– でも逆に「データのばらつき全体をしっかり反映させたい」「外れ値の発生頻度や大きさも指標に入れたい」という場面も多いんだ。
例えば品質管理で極端な欠陥が起きたとき、その影響を無視したら意味がないよね。
2.理論的背景
– 二乗偏差は確率分布(特に正規分布)との相性がいい。多くの統計手法・推定理論は「最小二乗法」をベースにしていて、これが分散・標準偏差とつながっているんだ。
– 具体的には、「最小二乗推定」は誤差が正規分布に従うときに最強の推定量になる性質を持っている。平均絶対偏差でやると、誤差分布がラプラス分布(両端が重い分布)のときに最適だけど、数学的に扱いづらい。
3.結論
– 「外れ値を抑えたい=ロバストに測りたい」なら平均絶対偏差が有効。
– 「理論的に整った枠組みでばらつきを評価したい」「外れ値を含めた全体のばらつきを強く反映させたい」なら分散・標準偏差が標準的、というわけです。
わかった?やったぜ!
07:53