結論
不偏分散とは、手元の標本(一部のデータ)から母集団全体の分散を見積もるための分散で、偏差の二乗の合計を n ではなく n−1 で割って求めます。n で割ると、標本の平均がデータの真ん中に寄るぶん、平均すると母分散の (n−1)/n 倍に小さく出るため、その偏りを n−1 で割って打ち消します。
この記事でわかること
- 不偏分散・標本分散・母分散の違いと、手計算の5ステップ
- n−1で割る理由を、式・全通りの数え上げ・1万回のシミュレーションで確認
- NumPy・pandas・statistics・SciPy・scikit-learn の既定の割り方の違い
この記事で実際に動かしたもの:Python で手計算の検算、分数での全通りの数え上げ、乱数による1万回のシミュレーション、5つのライブラリの既定値の比較、エラーと桁落ちの再現。
分散を求めるとき、最初に決めるのは「このデータは全体か、一部か」です。次の図の順にたどると、n で割るか n−1 で割るかが決まります。
flowchart TD
A[分散を求めたいデータ] --> B{全体か一部か}
B -->|全体を全部持っている| C[n で割る<br>母分散]
B -->|一部の標本| D{母平均が<br>分かっている?}
D -->|分かっている| E[母平均を使い<br>n で割る]
D -->|分からない| F[標本平均を使い<br>n−1 で割る<br>不偏分散]
よく調べられることの答えを先にまとめます。
| 知りたいこと | 答え | 詳しい節 |
|---|---|---|
| 不偏分散とは | 標本から母分散を見積もる分散。偏差平方和を n−1 で割る | 不偏分散とは |
| 標本分散との違い | 割る数が n か n−1 か。n で割ると平均して小さく出る | 標本分散・母分散との違い |
| 不偏分散の求め方 | 平均→偏差→二乗→合計→ n−1 で割る | 不偏分散の求め方 |
| なぜ n−1 で割るのか | 標本平均を使うと、合計が平均して σ² 1個分小さくなるため | n−1 で割る理由 |
| 自由度 n−1 とは | 偏差の合計は必ず0なので、自由に決まる偏差は n−1 個 | 自由度 n−1 とは |
| Python での求め方 | np.var(a, ddof=1)・statistics.variance(x)・s.var() |
Pythonで不偏分散を求める |
| 標準偏差との関係 | 不偏分散の平方根。ただしそれ自体は不偏にならない | 不偏分散と標準偏差 |
| n で割ってよい場面 | データが全体のとき・母平均が分かっているとき | 判断表 |
確認環境:Ubuntu 24.04.5 LTS 上の Python 3.13.18 で、NumPy 2.5.3・pandas 3.0.5・SciPy 1.18.1・scikit-learn 1.9.1 を使って計算しました。手計算の検算、分数(fractions.Fraction)による全通りの数え上げ、NumPy の乱数(default_rng(0))で標本を1万組取り出すシミュレーション、各ライブラリの既定の割り方、1個だけのデータ・欠損値・大きな値の桁落ちで出るエラーや警告は、すべてこの環境で実行した出力をそのまま載せています。関数の既定値と説明は、NumPy 2.5・pandas 3.1.1・SciPy 1.18.0・scikit-learn 1.9.1 の公式ドキュメントと Python 3 の statistics モジュールの公式ドキュメントで確かめました(手元の pandas 3.0.5 でも同じ既定値で動くことを確かめています)。不偏性の式の流れと、標準偏差が不偏にならない点は、統計の解説と英語版 Wikipedia の該当項目(出典に記載)で照らし合わせました。例のデータはすべて架空です。図は Mermaid で描画を確かめています(確認日 2026年11月16日)。
本記事の内容は、ご自由にお使いください。
ご利用の際は、出典として本ページへのリンクを記載いただけますようお願いします。
(記載例)出典:株式会社RJC「不偏分散とは|意味・nではなくn−1で割る理由とPythonでの求め方」
不偏分散とは(意味を1行で)
この節では、不偏分散が何を表し、何のために使うのかが分かります。
不偏分散は「手元の一部のデータから、全体のばらつき(母分散)を当てにいくための分散」です。英語では unbiased variance、または unbiased sample variance と呼ばれます。「不偏」は「偏りがない」という意味で、何度も標本を取り直して計算したとき、その平均がちょうど母分散に一致する、という性質を指します。
- 母集団:調べたい対象の全体。例:あるサービスに届くすべての日の問い合わせ件数。
- 標本:母集団から取り出して実際に観測した一部。例:ある5日間の問い合わせ件数。
- 母分散(σ²):母集団そのもののばらつき。全体が見えないので、ふつうは分からない。
- 不偏分散(s² や u² と書かれる):標本から計算する、母分散の見積もり。
式は次のとおりです。x̄ は標本の平均、n はデータの個数です。
不偏分散 s² = { (x₁ − x̄)² + (x₂ − x̄)² + … + (xₙ − x̄)² } ÷ (n − 1)
Python の statistics モジュールの公式ドキュメントも、variance() を「ベッセルの補正をした標本分散 s²(N−1 の自由度の分散)」と説明し、データが代表的(独立で同じ分布から取ったもの)なら母分散の不偏な推定になる、と書いています。この n−1 で割る補正をベッセルの補正(Bessel's correction)と呼びます。
1目的は「全体の見積もり」
手元のデータのばらつきを記録したいだけなら n で割る。全体を当てにいくときに n−1 で割る。
2違いは割る数だけ
平均・偏差・二乗・合計までは標本分散と同じ。最後に n−1 で割るか n で割るかだけが違う。
3データが多いほど差は縮む
差の比は (n−1)/n。n=5 なら2割、n=100 なら1%。少ないデータほど効いてくる。
不偏分散と標本分散・母分散の違い
この節では、名前が似ている3つの分散が、何で割り、何を表すのかが一覧で分かります。
3つの違いは「平均に何を使うか」と「何で割るか」です。母分散は母平均 μ を使って N で割り、標本分散は標本平均 x̄ を使って n で割り、不偏分散は標本平均 x̄ を使って n−1 で割ります。
| 母分散 | 標本分散 | 不偏分散 | |
|---|---|---|---|
| 使うデータ | 母集団の全部 | 標本(一部) | 標本(一部) |
| 使う平均 | 母平均 μ | 標本平均 x̄ | 標本平均 x̄ |
| 割る数 | N(全体の個数) | n | n−1 |
| 平均すると | σ² そのもの | (n−1)/n × σ²(小さめ) | σ²(偏りなし) |
| Python の例 | statistics.pvariance |
np.var(a) |
np.var(a, ddof=1) |
n で割る(標本分散)
手元のデータそのもののばらつき
母分散の見積もりとしては平均して小さく出る
NumPy・scikit-learn の既定
n−1 で割る(不偏分散)
全体のばらつきの見積もり
何度も取り直した平均が母分散に一致する
pandas・statistics.variance・SciPy の describe の既定
呼び方が本によって違う点に注意
「標本分散」という言葉は、本や分野によって n で割ったものを指すことも、n−1 で割ったものを指すこともあります。NumPy の公式ドキュメントも、n−1 で割った量を「統計では sample variance と呼ばれることがある」と書き、n で割った量を「population variance と呼ばれることがある」と書いています。言葉ではなく、何で割っているかで確かめるのが確実です。
不偏分散の求め方(手計算の5ステップ)
この節では、5個のデータを例に、不偏分散を手で計算する順番が分かります。
例は架空のデータで、あるサービスに届いた5日分の問い合わせ件数 12, 15, 9, 14, 10 です。この5日を「全期間からの標本」とみなして、全期間のばらつきを見積もります。
平均を出す
(12 + 15 + 9 + 14 + 10) ÷ 5 = 60 ÷ 5 = 12
各データから平均を引く(偏差)
0、3、−3、2、−2。合計は必ず0になる。
偏差を二乗する
0、9、9、4、4。マイナスが消え、離れているものほど大きくなる。
合計する(偏差平方和)
0 + 9 + 9 + 4 + 4 = 26
n−1 で割る
26 ÷ (5 − 1) = 6.5。これが不偏分散。n で割ると 26 ÷ 5 = 5.2(標本分散)。
| データ x | 偏差 x − 12 | 偏差の二乗 |
|---|---|---|
| 12 | 0 | 0 |
| 15 | 3 | 9 |
| 9 | −3 | 9 |
| 14 | 2 | 4 |
| 10 | −2 | 4 |
| 合計 | 0 | 26 |
平方根をとると、不偏分散から求めた標準偏差は √6.5 ≒ 2.550、標本分散から求めた標準偏差は √5.2 ≒ 2.280 です。同じデータでも、割る数で1割ほど値が変わります。この数字は、あとの「Pythonで不偏分散を求める」の節で、ライブラリの出力と一致することを確かめます。
n−1で割る理由(標本平均を使うと小さく出る)
この節では、なぜ n で割ると小さく出るのかを、式を使わずに理解できます。
原因は、ばらつきを測る基準に「母平均」ではなく「標本平均」を使っていることです。標本平均は、手元のデータのちょうど真ん中に来るように計算されます。そのため、データから標本平均までの距離の二乗の合計は、ほかのどの点から測った合計よりも小さくなります。本当の基準である母平均から測れば、合計はもっと大きかったはずです。
手元の例で確かめます。5日分のデータ 12, 15, 9, 14, 10 の偏差平方和を、基準の点を変えて計算すると次のようになりました。
| 基準の点 | 二乗の合計 | 標本平均12との差 |
|---|---|---|
| 11 | 31 | +5 |
| 12(標本平均) | 26(最小) | 0 |
| 13 | 31 | +5 |
| 14 | 46 | +20 |
合計は「26 + 5 × (基準 − 12)²」で増えていきます。もし本当の母平均が 13 なら、母平均から測った合計は 31 で、標本平均から測った 26 は 5 だけ小さく見積もっていることになります。この「標本平均が母平均からずれたぶん、合計が小さくなる」量が、平均すると母分散 σ² のちょうど1個分になります。そこで、n 個分ではなく n−1 個分で割ると、平均して σ² に戻ります。
よくある誤解と、正しい理解
見分ける問い:「平均に、標本から計算した値を使ったか」
n−1で割る理由を式で確かめる(期待値の計算)
この節では、不偏分散の期待値がちょうど母分散 σ² になることを、3行の式で確かめられます。
前提は、x₁〜xₙ が同じ分布から独立に取り出されていて、平均が μ、分散が σ² であることです。正規分布でなくても成り立ちます。E[ ] は「何度も取り直したときの平均(期待値)」を表します。
ステップ1:偏差平方和を、母平均 μ を挟んで分ける。
Σ(xᵢ − x̄)² = Σ(xᵢ − μ)² − n(x̄ − μ)²
これは、上の節で見た「合計は (基準 − 標本平均)² × n だけ増える」をそのまま式にしたものです。基準を μ にすると、標本平均から測った合計は、μ から測った合計より n(x̄ − μ)² だけ小さくなります。
ステップ2:それぞれの期待値を出す。
E[Σ(xᵢ − μ)²] = nσ²:(xᵢ − μ)² の期待値は分散の定義そのもの σ² で、それが n 個あるため。E[n(x̄ − μ)²] = n × σ²/n = σ²:標本平均の分散は σ²/n(データが独立なので、n 個の平均をとると分散が 1/n になる)。
ステップ3:引き算して割る数を決める。
E[Σ(xᵢ − x̄)²] = nσ² − σ² = (n − 1)σ²
だから E[ Σ(xᵢ − x̄)² ÷ (n − 1) ] = σ² ← 不偏分散
E[ Σ(xᵢ − x̄)² ÷ n ] = (n − 1)/n × σ² ← 標本分散は小さめ
「1個分減る」の正体は、ステップ2の2つ目の σ² です。標本平均が母平均からずれるぶんのばらつき σ²/n が、n 個のデータ全部に効いて σ² になります。
母平均が分かっているときは n で割る
ステップ1で引いた n(x̄ − μ)² は、標本平均を使ったから出てきた項です。母平均 μ が分かっていて、それを基準に Σ(xᵢ − μ)² を計算するなら、期待値は nσ² のままなので n で割ると不偏になります。statistics の公式ドキュメントも、母平均 μ が分かっているなら pvariance() の mu 引数に渡して標本の分散を求めれば不偏な推定になる、と説明しています。手元のシミュレーション(正規分布・母分散4・n=5・1万回)でも、μ を使って n で割った値の平均は 3.992 で、ほぼ4になりました。
自由度n−1とは(偏差の合計は必ず0)
この節では、「自由度が n−1 だから n−1 で割る」という説明が何を指しているのかが分かります。
偏差(データ − 標本平均)は、合計すると必ず0になります。そのため、n 個の偏差のうち n−1 個が決まれば、最後の1個は自動的に決まります。自由に動ける偏差の数が n−1 個なので、これを自由度 n−1 と呼びます。
手元の例で確かめました。最初の4個の偏差から最後の1個を計算すると、実際の値と一致します。
x = [12, 15, 9, 14, 10]
m = sum(x) / 5
d = [v - m for v in x]
print("first4", d[:4], "last=-sum", -sum(d[:4]), "actual", d[4])
first4 [0.0, 3.0, -3.0, 2.0] last=-sum -2.0 actual -2.0
自由度による説明は直感をつかむのに役立ちますが、それだけでは「なぜ割る数が自由度になると偏りが消えるのか」までは示せません。偏りが消えることを示すのは、前の節の期待値の計算です。両方を合わせて覚えると、ほかの場面(回帰分析の残差の分散で n−2 や n−k−1 で割るなど)にもつながります。
統計の推定量の考え方は、関連記事「確率分布とは|種類一覧・平均と分散・選び方をPythonで実演」で扱っています。母集団の分布の平均と分散(V[X] = E[X²] − (E[X])²)を先に押さえておくと、この記事の式が読みやすくなります。
全通りを数えて確かめる(分数で厳密に)
この節では、乱数を使わず、小さな母集団からの標本を全通り数えて、不偏分散の平均が母分散と完全に一致することを確かめられます。
母集団は 1・2・3・4 の4枚のカードです。母平均は 2.5、母分散は 5/4 = 1.25 です。ここから「1枚引いて戻す」を n 回くり返す取り方(復元抽出)で、ありうる標本を全部作り、分数のまま平均しました。
from fractions import Fraction
from itertools import product
pop = [1, 2, 3, 4] # 母集団(4枚のカード)
mu = Fraction(sum(pop), len(pop))
sigma2 = sum((p - mu) ** 2 for p in pop) / len(pop) # 母分散
print("母分散", sigma2)
for n in (2, 3):
e_n = e_n1 = Fraction(0)
samples = list(product(pop, repeat=n)) # 戻して引く全通り
for smp in samples:
m = Fraction(sum(smp), n)
ss = sum((v - m) ** 2 for v in smp) # 偏差平方和
e_n += ss / n
e_n1 += ss / (n - 1)
k = len(samples)
print(f"n={n} 全{k}通り nで割る平均={e_n / k} n-1で割る平均={e_n1 / k}")
母分散 5/4
n=2 全16通り nで割る平均=5/8 n-1で割る平均=5/4
n=3 全64通り nで割る平均=5/6 n-1で割る平均=5/4
n−1 で割った平均は、n=2 でも n=3 でも母分散 5/4 にぴったり一致しました。n で割った平均は 5/8(母分散の 1/2)と 5/6(母分散の 2/3)で、式の (n−1)/n 倍と一致します。乱数の誤差が入らないので、「平均すると σ² になる」という性質をそのまま確かめられます。
戻さずに引くと結果が変わる
同じ4枚から「戻さずに」引く全通り(n=2 で12通り、n=3 で24通り)で数えると、n−1 で割った平均はどちらも 5/3 になり、母分散 5/4 より大きくなりました。不偏分散が不偏になるのは、データが独立に取られている(母集団が十分大きく、戻すのと同じとみなせる)ときです。小さな母集団から戻さずに取る場合は、有限母集団の補正という別の調整が要ります。
1万回のシミュレーションで見るnとn−1の差
この節では、正規分布から標本を1万回取り出し、n で割ると小さく出ること、n−1 で割ると母分散に近づくことを数値で確かめられます。
母集団は平均50・標準偏差2(母分散4)の正規分布です。標本の大きさ n を変えながら、それぞれ1万組の標本を取り出して、2通りの割り方の平均を比べました。
import numpy as np
rng = np.random.default_rng(0) # 乱数の種を固定(同じ結果を再現できる)
sigma2 = 4.0 # 母分散(平均50・標準偏差2の正規分布)
R = 10_000 # 標本を取り出す回数
for n in (2, 3, 5, 10, 30, 100):
X = rng.normal(50, 2, size=(R, n)) # n個の標本を1万組
v_n = X.var(axis=1, ddof=0) # nで割る(標本分散)
v_n1 = X.var(axis=1, ddof=1) # n-1で割る(不偏分散)
print(f"n={n:3d} nで割る平均={v_n.mean():.3f} "
f"n-1で割る平均={v_n1.mean():.3f} 理論(n-1)/n*σ²={sigma2*(n-1)/n:.3f}")
n= 2 nで割る平均=2.010 n-1で割る平均=4.020 理論(n-1)/n*σ²=2.000
n= 3 nで割る平均=2.714 n-1で割る平均=4.071 理論(n-1)/n*σ²=2.667
n= 5 nで割る平均=3.208 n-1で割る平均=4.010 理論(n-1)/n*σ²=3.200
n= 10 nで割る平均=3.622 n-1で割る平均=4.024 理論(n-1)/n*σ²=3.600
n= 30 nで割る平均=3.875 n-1で割る平均=4.009 理論(n-1)/n*σ²=3.867
n=100 nで割る平均=3.953 n-1で割る平均=3.993 理論(n-1)/n*σ²=3.960
| n | n で割る平均 | n−1 で割る平均 | n で割ると何%小さいか(理論) |
|---|---|---|---|
| 2 | 2.010 | 4.020 | 50% |
| 3 | 2.714 | 4.071 | 33.3% |
| 5 | 3.208 | 4.010 | 20% |
| 10 | 3.622 | 4.024 | 10% |
| 30 | 3.875 | 4.009 | 3.3% |
| 100 | 3.953 | 3.993 | 1% |
n で割った平均は、どの n でも理論値 (n−1)/n × 4 とほぼ同じで、n−1 で割った平均はどれも4の近くに集まりました(ずれは1万回の乱数による誤差で、0.07以内)。n=5 のとき、n で割った値が4を下回った割合は1万回中 71.0% でした。
正規分布以外でも同じ
不偏性は正規分布に限りません。n=5・1万回で、一様分布・指数分布・サイコロでも確かめました。
| 母集団 | 母分散 | n で割る平均 | n−1 で割る平均 |
|---|---|---|---|
| 一様分布(0〜1) | 0.0833 | 0.0667 | 0.0834 |
| 指数分布(平均1) | 1.0000 | 0.7994 | 0.9993 |
| サイコロ(1〜6) | 2.9167 | 2.3271 | 2.9089 |
乱数の使い方(種の固定・分布の選び方)は、関連記事「Python randomの使い方一覧|randint・choice・shuffle」で扱っています。この記事のシミュレーションは NumPy の default_rng を使っています。
1n で割ると (n−1)/n 倍
シミュレーションの平均は、どの n でも理論値とほぼ一致した。
2n−1 で割ると母分散に戻る
正規・一様・指数・サイコロのどれでも、平均は母分散の近くに来た。
31回ごとの値はばらつく
「平均して当たる」であって、1回の計算が母分散に近いことは保証しない。
Pythonで不偏分散を求める(ライブラリごとの既定値の違い)
この節では、Python の主なライブラリで不偏分散を求める書き方と、既定で n と n−1 のどちらで割るかが分かります。
NumPy の np.var は既定で n で割り、pandas の var は既定で n−1 で割ります。同じデータで値が変わるいちばん多い原因がこれです。割る数は ddof(Delta Degrees of Freedom)で決まり、割る数は「データの個数 − ddof」です。
import statistics
import numpy as np
import pandas as pd
x = [12, 15, 9, 14, 10] # 架空:5日分の問い合わせ件数
a = np.array(x)
s = pd.Series(x)
print("np.var(a) ", np.var(a))
print("np.var(a, ddof=1) ", np.var(a, ddof=1))
print("statistics.variance(x) ", statistics.variance(x))
print("statistics.pvariance(x)", statistics.pvariance(x))
print("s.var() ", s.var())
print("s.var(ddof=0) ", s.var(ddof=0))
print("np.std(a, ddof=1) ", np.std(a, ddof=1))
print("statistics.stdev(x) ", statistics.stdev(x))
np.var(a) 5.2
np.var(a, ddof=1) 6.5
statistics.variance(x) 6.5
statistics.pvariance(x) 5.2
s.var() 6.5
s.var(ddof=0) 5.2
np.std(a, ddof=1) 2.5495097567963922
statistics.stdev(x) 2.5495097567963922
手計算の 6.5(不偏分散)と 5.2(標本分散)に一致しました。ほかのライブラリも含めて、既定の割り方を表にまとめます(同じデータで実行した値)。
| 書き方 | 既定の割り方 | 結果 | 割り方の変え方 |
|---|---|---|---|
np.var(a)・np.std(a) | n(ddof=0) | 5.2・2.2804 | ddof=1 |
statistics.variance(x)・stdev | n−1 | 6.5・2.5495 | n で割るなら pvariance |
statistics.pvariance(x)・pstdev | n | 5.2・2.2804 | n−1 なら variance |
pandas Series.var()・std() | n−1(ddof=1) | 6.5・2.5495 | ddof=0 |
pandas describe() の std | n−1 | 2.5495 | 変えられない(std(ddof=0) を別に使う) |
SciPy stats.describe(a) の variance | n−1(ddof=1) | 6.5 | ddof=0 |
SciPy stats.tvar(a) | n−1 | 6.5 | ddof 引数 |
scikit-learn StandardScaler の var_ | n | 5.2 | 引数なし |
scikit-learn の公式ドキュメントは、StandardScaler が標準偏差に偏りのある推定(numpy.std(x, ddof=0) と同じ)を使っていること、その選び方がモデルの性能に影響することはまずない、と説明しています。機械学習の前処理では n で割る値が使われていると覚えておくと、pandas で計算した標準偏差と値が合わないときに迷いません。
標本から母分散を見積もるとき
np.var(a) をそのまま使う(n で割るので小さめに出る)np.var(a, ddof=1) と書く。ライブラリをまたぐときは ddof を毎回明示する見分ける問い:「このライブラリの既定の ddof はいくつか」
NumPy の配列の基本操作(axis の指定など)は、関連記事「NumPyの使い方 基本一覧|配列の作成・演算・形状変更」で、pandas の集計は関連記事「pandasの使い方 逆引き81選|pandas 3.0の実行結果つき」で扱っています。
不偏分散と標準偏差(平方根は不偏にならない)
この節では、不偏分散の平方根で求めた標準偏差が、母標準偏差 σ に対して偏りが残ることを確かめられます。
標準偏差の求め方と偏差値の計算は、記事「標準偏差の求め方と意味|n−1の違い・偏差値をPython・SQLで実演」で扱っています。
不偏分散は平均すると σ² に一致しますが、その平方根 s は平均すると σ より少し小さくなります。平方根をとる操作は、大きい値をより強く縮めるためです。英語版 Wikipedia の「Bessel's correction」の項も、注意点の1つ目に「標準偏差の不偏な推定量にはならない」と挙げています。
正規分布(σ = 2)から1万回取り出して、不偏分散の平方根の平均を、理論値(c4(n) × σ)と比べました。c4(n) はガンマ関数で計算する補正の係数で、n=2 で約0.798、n=5 で約0.940、n=10 で約0.973 です(正規分布を前提にした値)。
| n | 平方根の平均(実測) | 理論 c4(n) × 2 | σ = 2 との差 |
|---|---|---|---|
| 2 | 1.601 | 1.596 | 約20%小さい |
| 3 | 1.785 | 1.772 | 約11%小さい |
| 5 | 1.880 | 1.880 | 約6%小さい |
| 10 | 1.953 | 1.945 | 約3%小さい |
| 30 | 1.985 | 1.983 | 約1%小さい |
| 100 | 1.993 | 1.995 | 0.3%前後 |
ふだんの集計で標準偏差を出すときは、不偏分散の平方根(ddof=1)をそのまま使うのが一般的です。n が10を超えれば差は数%以下になります。標準偏差の偏りまで取り除く補正(c4 で割る)もありますが、正規分布を前提にした補正である点に注意します。
割る数で「当たりやすさ」はどう変わるか(平均二乗誤差)
この節では、「偏りがない」ことと「1回の値が母分散に近い」ことは別だと、数字で分かります。
不偏分散は平均すると母分散に一致しますが、1回ごとの値の外れ方(平均二乗誤差)は、n で割るほうが小さくなります。正規分布(母分散4)で、偏差平方和を n−1・n・n+1 で割ったときの偏りと平均二乗誤差(MSE)を、1万回のシミュレーションと理論値で比べました。
| n | n−1 で割る MSE | n で割る MSE | n+1 で割る MSE |
|---|---|---|---|
| 3 | 15.58(理論16.00) | 8.73(8.89) | 7.93(8.00) |
| 5 | 7.85(8.00) | 5.70(5.76) | 5.31(5.33) |
| 10 | 3.54(3.56) | 3.03(3.04) | 2.91(2.91) |
| 30 | 1.13(1.10) | 1.07(1.05) | 1.06(1.03) |
偏りは n−1 で割るとほぼ0(n=5 で −0.024)、n で割ると −0.819、n+1 で割ると −1.349 でした。一方、MSE は3つの中では n+1 で割るのが最も小さく、n−1 で割るのが最も大きくなりました。英語版 Wikipedia の Bessel's correction の項も、補正した推定量は補正しないものより MSE が大きいことが多い、と書いています。
統計の検定や区間推定(t 分布を使う計算など)は、不偏分散を前提に組み立てられています。迷ったら不偏分散(n−1)を使い、「1回の推定の外れを小さくしたい」という目的がはっきりしているときだけ別の割り方を検討する、と考えると整理できます。
nで割る場面・n−1で割る場面(判断表)
この節では、手元の目的に合わせて、どちらで割ればよいかを判断できます。
- 1データが全体の全部か → n で割る(母分散)全商品の価格、ある月の全注文など、見積もる先が手元のデータそのもの
- 2母平均が分かっているか → 母平均を使い n で割る仕様で決まった目標値のまわりのばらつきなど。statistics なら pvariance(data, mu=…)
- 3一部の標本から全体を見積もるか → n−1 で割る(不偏分散)検定・信頼区間・標本調査・A/B テストの指標のばらつき
- 4機械学習の前処理の標準化か → ライブラリの既定に合わせるscikit-learn の StandardScaler は n で割る。学習と推論で同じ処理を使うことが大事
- 5ほかの人の数字と合わせるか → 相手の割り方を確かめる報告書・論文・ツールの出力で n と n−1 のどちらかを先にそろえる
| 場面(例は架空) | 割る数 | 理由 |
|---|---|---|
| 自社サイトの全ページの読み込み時間のばらつきを記録する | n | 全ページ(全体)を持っている |
| 100人に聞いたアンケートから利用者全体のばらつきを見積もる | n−1 | 標本から全体を見積もる |
| 2つの画面案の滞在時間を t 検定で比べる | n−1 | 検定の式が不偏分散を前提にしている |
| 部品の長さを、設計値 10.0mm のまわりで測る | n(μ = 10.0 を使う) | 母平均にあたる値が分かっている |
| 研修の修了テストの点数を標準化して学習モデルに入れる | ライブラリの既定 | 前処理の一貫性のほうが大事 |
| データが数万件ある | どちらでも差は小さい | (n−1)/n がほぼ1 |
よくある誤り・エラー(つまずき表)
この節では、不偏分散を計算するときに起きやすい誤りと、実際に出たエラーや警告の原文、直し方が分かります。
次のコードを実行して、データが1個のとき、欠損値があるとき、大きな値で桁落ちが起きるときの出力を確かめました。
import statistics, numpy as np, pandas as pd
print(np.var(np.array([7.0]), ddof=1))
print(pd.Series([7]).var())
b = np.array([12, 15, np.nan, 14, 10])
print(np.var(b, ddof=1), np.nanvar(b, ddof=1), pd.Series(b).var())
big = np.array([1e9+4, 1e9+7, 1e9+13, 1e9+16])
print((big**2).mean() - big.mean()**2, np.var(big))
statistics.variance([7])
/usr/local/lib/python3.13/dist-packages/numpy/_core/fromnumeric.py:4270: RuntimeWarning: Degrees of freedom <= 0 for slice
return _methods._var(a, axis=axis, dtype=dtype, out=out, ddof=ddof,
/usr/local/lib/python3.13/dist-packages/numpy/_core/_methods.py:211: RuntimeWarning: invalid value encountered in scalar divide
ret = ret.dtype.type(ret / rcount)
nan
nan
nan 4.916666666666667 4.916666666666667
-128.0 22.5
Traceback (most recent call last):
File "/dev/shm/t581/err.py", line 8, in <module>
statistics.variance([7])
~~~~~~~~~~~~~~~~~~~^^^^^
File "/usr/lib/python3.13/statistics.py", line 1151, in variance
raise StatisticsError('variance requires at least two data points')
statistics.StatisticsError: variance requires at least two data points
| 症状・原文 | 原因 | 直し方 |
|---|---|---|
| NumPy と pandas で値が違う(5.2 と 6.5) | 既定の ddof が 0 と 1 で違う | どちらも ddof を明示する |
StatisticsError: variance requires at least two data points | データ1個では n−1 = 0 で割れない | データを2個以上にする。1個なら分散は求められないと扱う |
RuntimeWarning: Degrees of freedom <= 0 for slice と nan | NumPy で n ≤ ddof(1個で ddof=1) | 個数を先に確かめる。pandas も警告なしで NaN を返す |
NumPy の結果が nan になる | 欠損値(NaN)が混ざっている | np.nanvar(b, ddof=1)。pandas は既定で NaN を除く(skipna=True) |
| 分散がマイナス(−128.0)になる | E[x²] − (E[x])² の式で大きな値どうしを引き、桁落ちした | ライブラリの関数を使う。手で書くなら平均を引いてから二乗する |
| 標本なのに n で割っていた | 母分散の式をそのまま使った | 標本から全体を見積もるなら n−1 |
| 不偏分散の平方根を「不偏標準偏差」と呼んだ | 平方根をとると偏りが残る | 「不偏分散から求めた標準偏差」と書く |
| 小さな集団から戻さずに取ったのに、そのまま使った | 独立の前提が崩れる(数え上げで 5/3 になった) | 有限母集団の補正を検討する |
大きな値で分散がマイナスになるのは、浮動小数点数の桁落ちです。値の大きさが 1e9 のとき、手書きの式は −128.0 になり、np.var と statistics.pvariance は正しい 22.5 を返しました。1e8 のときは手書きの式で 22.0 と、少しずれた値になりました。浮動小数点数の仕組みは、関連記事「浮動小数点数とは|仕組み・誤差・0.1+0.2の理由を4言語で実演」で扱っています。
計算の前に、次の4点を確かめておくと取り違えが減ります。
- 1データは全体か一部か一部から全体を見積もるなら n−1
- 2使う関数の既定の ddofNumPy は0、pandas・statistics.variance・SciPy describe は n−1
- 3データの個数と欠損値2個以上あるか。NaN を除くか
- 4結果を伝えるときの書き方「n−1 で割った不偏分散」と割り方を添える
よくある質問
Q. 不偏分散とは何ですか? A. 手元の標本から母集団の分散(母分散)を見積もるための分散です。偏差の二乗の合計を n−1 で割って求め、何度も標本を取り直したときの平均が母分散に一致する(偏りがない)性質を持ちます。
Q. 不偏分散と標本分散の違いは何ですか? A. 割る数が違います。標本分散は n で割り、不偏分散は n−1 で割ります。ただし本によっては n−1 で割ったものを「標本分散」と呼ぶこともあるので、割る数で確かめます。
Q. なぜ n ではなく n−1 で割るのですか? A. 母平均の代わりに標本平均を使うと、偏差の二乗の合計が平均して σ² 1個分小さくなるためです。合計の期待値は (n−1)σ² になるので、n−1 で割るとちょうど σ² に戻ります。
Q. 自由度 n−1 とはどういう意味ですか? A. 偏差(データ − 標本平均)の合計は必ず0なので、n−1 個の偏差が決まると最後の1個は自動的に決まります。自由に動ける偏差の数が n−1 個という意味です。
Q. 不偏分散の求め方を簡単に教えてください。 A. ①平均を出す ②各データから平均を引く ③二乗する ④合計する ⑤ n−1 で割る、の順です。12・15・9・14・10 なら、平均12、二乗の合計26、26 ÷ 4 = 6.5 です。
Q. Python で不偏分散を求めるには?
A. np.var(a, ddof=1)、statistics.variance(x)、pandas の s.var() のどれかです。np.var(a) は既定で n で割るので、標本から見積もるときは ddof=1 を付けます。
Q. pandas と NumPy で分散の値が違うのはなぜですか?
A. 既定の割り方が違うためです。pandas の var・std は n−1(ddof=1)、NumPy の var・std は n(ddof=0)で割ります。どちらも ddof を明示すると一致します。
Q. 不偏分散の平方根は「不偏標準偏差」ですか? A. 平方根をとると平均して σ より少し小さくなるので、厳密には不偏ではありません。シミュレーションでは n=5 で約6%、n=30 で約1%小さくなりました。ふだんは不偏分散の平方根を標準偏差として使うのが一般的です。
Q. データが多ければ n と n−1 のどちらでもよいですか? A. 差は (n−1)/n で決まり、n=100 なら1%、n=1万なら0.01%です。結果はほとんど変わりませんが、ほかの数字と比べるときは割り方をそろえます。
Q. 母平均が分かっているときも n−1 で割りますか?
A. いいえ。母平均 μ を基準に偏差を計算するなら n で割ると不偏になります。Python の statistics では pvariance(data, mu=μ) がこの計算です。
Q. データが1個だと不偏分散はどうなりますか?
A. n−1 = 0 で割ることになるので求められません。statistics は StatisticsError、NumPy は警告と nan、pandas は NaN を返しました。
まとめ
- 不偏分散は、標本から母分散を見積もるための分散で、偏差の二乗の合計を n−1 で割る。
- n で割ると、標本平均を使うぶん平均して (n−1)/n 倍に小さく出る。全通りの数え上げでは n−1 で割った平均が母分散 5/4 にぴったり一致した。
- 理由は、合計の期待値が (n−1)σ² になるから。自由度 n−1 は「偏差の合計が0」から来る。
- Python は NumPy が n、pandas・statistics.variance・SciPy describe が n−1。ddof を毎回明示する。
- 不偏分散の平方根(標準偏差)は不偏にならず、1回ごとの外れ(MSE)は n で割るほうが小さい。目的に合わせて割り方を選び、結果には割り方を添える。
参考・出典
確認日はいずれも 2026年11月16日です。
- NumPy「numpy.var」(NumPy v2.5 Manual):https://numpy.org/doc/stable/reference/generated/numpy.var.html
- Python「statistics — Mathematical statistics functions」:https://docs.python.org/3/library/statistics.html
- pandas「pandas.Series.var」(pandas 3.1.1 documentation):https://pandas.pydata.org/docs/reference/api/pandas.Series.var.html
- SciPy「scipy.stats.describe」(SciPy v1.18.0 Manual):https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.describe.html
- scikit-learn「StandardScaler」(scikit-learn 1.9.1):https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.StandardScaler.html
- Wikipedia(英語版)「Bessel's correction」:https://en.wikipedia.org/wiki/Bessel%27s_correction
- Wikipedia(英語版)「Unbiased estimation of standard deviation」:https://en.wikipedia.org/wiki/Unbiased_estimation_of_standard_deviation
- 産業技術総合研究所「母分散と不偏分散」:https://unit.aist.go.jp/mcml/rg-orgp/uncertainty_lecture/dispersion.html
本記事の内容は、ご自由にお使いください。
ご利用の際は、出典として本ページへのリンクを記載いただけますようお願いします。
(記載例)出典:株式会社RJC「不偏分散とは|意味・nではなくn−1で割る理由とPythonでの求め方」
株式会社RJC ― SI事業・SES事業・AI駆動開発。RJCは一緒に成長を楽しめる会社です。
WE ARE HIRING
RJCで一緒に開発しながら、
成長を楽しみませんか?
RJCは、Web・モバイル・AIを活用した開発プロジェクトで、テックリードやPM・PMOも活躍するシステム開発会社です。会社を知る、待遇を確かめる、話を聞いてみる。気になるところ見てみてください!
- 127日年間休日
- 12時間平均残業時間
- 毎日ガチャ遊びココロも大切にする福利厚生。アマギフなどの賞品ラインナップ!
ほかにも、チケットレストラン、書籍読み放題、2年ごとの慰労報奨(休暇 or 金一封)、11期連続の黒字決算。