結論
標準化は「平均0・標準偏差1」にそろえる変換、正規化(Min-Max)は「最小0・最大1」に押し込める変換です。迷ったら標準化(StandardScaler)を使い、外れ値が多ければ RobustScaler、範囲が決まっている値(画素など)なら正規化を選びます。
この記事でわかること
- DB・統計・Unicode・機械学習で「正規化」の意味がどう違うか
- 8つのモデルでスケーリングの有無と精度の差を実測した表
- numpy での自作と一致の確認、リーク・エラーの原文
この記事で実際に動かしたもの:scikit-learn 同梱の wine・breast_cancer・diabetes と乱数の架空データで、4種類のスケーラーの自作、8モデル×4通りの交差検証、k-means・PCA・Ridge・Lasso の比較、リークとエラーの再現。
特徴量の「ものさし」がばらばらだと、距離や勾配を使うモデルは大きな数字の列にひっぱられます。標準化と正規化は、そのものさしをそろえる前処理です。どちらを使うかは、次の流れで決められます(「木」は決定木・ランダムフォレスト・勾配ブースティング、「距離・勾配」は kNN・SVM・線形モデル・ニューラルネットワーク・k-means)。
flowchart TD
A[モデルの種類] -->|木| N[不要]
A -->|距離・勾配| B{外れ値が<br>多い?}
B -->|はい| R[Robust<br>Scaler]
B -->|いいえ| C{範囲が<br>決まっている?}
C -->|はい| M[MinMax<br>Scaler]
C -->|いいえ| S[Standard<br>Scaler]
よく調べられることの答えを先にまとめます。
| 知りたいこと | 答え | 詳しい節 |
|---|---|---|
| 標準化 正規化 違い | 標準化は平均0・標準偏差1、正規化は最小0・最大1にそろえる | 標準化と正規化の違い |
| StandardScaler MinMaxScaler 違い | 前者が標準化、後者が正規化。外れ値に弱いのは MinMaxScaler | スケーリング手法の一覧 |
| どちらを使えばいい | 迷ったら標準化。範囲が決まっていれば正規化、外れ値が多ければ RobustScaler | 使い分けの判断表 |
| 特徴量スケーリングは必要か | kNN・SVM・ロジスティック回帰・k-means・NN は必要。決定木系は不要 | 精度が変わるモデル・変わらないモデル |
| 精度はどのくらい変わる | wine の kNN で 66.3%→96.1%、MLP で 33.1%→97.2% | 精度が変わるモデル・変わらないモデル |
| データベースの正規化との違い | 別物。DB は表の分け方、機械学習は数値の変換 | 「正規化」は分野で意味が違う |
| テストデータにも fit する? | しない。訓練データで fit し、テストは transform だけ | 訓練データだけで fit する |
| 標準化すると正規分布になる? | ならない。歪みは変わらず、形を変えるのは PowerTransformer など | 外れ値と分布の形 |
確認環境:Ubuntu 24.04.5 LTS(CPU 2コア・メモリ8GB)の Python 3.13.18 で、scikit-learn 1.9.1・NumPy 2.5.3・SciPy 1.18.1・pandas 3.0.5 を使いました。ほかの作業と同時に動かすため OPENBLAS_NUM_THREADS=1 を付け、環境変数を空にした状態(env -i)で実行しています。データは scikit-learn 同梱の load_wine(178件・13列)・load_breast_cancer(569件・30列)・load_diabetes(442件・10列。scaled=False で元の単位)と、make_classification・乱数で作った架空データだけで、ネットからの取得はしていません。精度は層化5分割の交差検証(random_state=0)の平均です。各スケーラーの定義・注意点は scikit-learn 公式ドキュメント(1.9.1)の「Preprocessing data」「Common pitfalls」とリファレンスで確かめ、図は mermaid 11.16.0 で描画を確かめています(確認日 2026年11月5日)。
本記事の内容は、ご自由にお使いください。
ご利用の際は、出典として本ページへのリンクを記載いただけますようお願いします。
(記載例)出典:株式会社RJC「標準化と正規化の違い|スケーリングで精度が変わるモデルを8種で実測」
「正規化」は分野で意味が違う(データベース・統計・Unicode・機械学習)
この節では、「正規化」という言葉が、ふだんの言葉と IT の各分野でそれぞれ何を指すのかが分かります。
「正規化(normalization)」は「決まった形にそろえる」という広い意味の言葉で、分野ごとにそろえる対象がまったく違います。検索結果に DB の記事と機械学習の記事が混ざるのはこのためです。この記事で扱うのは、表の最後の行(機械学習の特徴量スケーリング)です。
| 場面 | 「正規化」が指すもの | そろえる対象 | 例 |
|---|---|---|---|
| ふだんの言葉 | 規則に合う形に直すこと | 表記・単位 | 「1.2km」と「1200m」を m にそろえる |
| データベース | 重複や更新の矛盾が起きないよう表を分けること | 表の構造 | 第1〜第3正規形。数値は変えない |
| 統計・確率 | 合計や面積が1になるように割ること | 重み・確率 | [3, 1, 6] → [0.3, 0.1, 0.6](合計1) |
| Unicode(文字列) | 見た目が同じ文字を同じ符号の並びにそろえること | 文字の符号 | NFKC で「ガイド」→「ガイド」 |
| 機械学習 | 特徴量の値の範囲をそろえること(多くは Min-Max) | 列ごとの数値 | [10, 20, 100] → [0, 0.111, 1] |
Unicode と統計の正規化は、手元で次のように動きました。Unicode の「が」は、1文字(U+304C)でも「か」+濁点(2文字)でも書けるため、比べる前に NFC や NFKC でそろえます。
import unicodedata as u
print(u.normalize("NFKC", "ガイド"), u.normalize("NFKC", "A123"), u.normalize("NFKC", "テスト㈱"))
a = "が"; b = "が"
print(a == b, len(a), len(b), u.normalize("NFC", b) == a)
ガイド A123 テスト(株)
False 1 2 True
データベースの正規化は、表の分け方の話です。関連記事「第一正規化から第三正規化までわかりやすく|データベースの正規化を図とSQLで」で扱っています。Python で文字列を NFKC にそろえる方法は、関連記事「Python標準ライブラリ8選|graphlib・singledispatch・batched・NFKC」で扱っています。
機械学習の中でも「正規化」は2つある
機械学習の中でも、「正規化」は2つの意味で使われます。日本語の記事の多くは Min-Max(列ごと)を正規化と呼びますが、scikit-learn の公式ドキュメントで「Normalization」と書かれているのは、行(1件のデータ)ごとに長さを1にする Normalizer のほうです。同じ言葉で別の処理を指すので、コードを読むときはクラス名で確かめます。
MinMaxScaler(列ごと)
各列の最小を0、最大を1にする
日本語の解説で言う「正規化」はほぼこれ
fit で列の最小・最大を覚える
Normalizer(行ごと)
1件ごとにベクトルの長さ(L2ノルム)を1にする
文書ベクトルなど、向きだけを比べたいとき
fit では何も覚えない(公式:stateless)
標準化と正規化の違い(一覧表と式)
この節では、標準化と正規化の式・変換後の範囲・外れ値への強さの違いが、同じ5つの数字で分かります。
標準化は「平均からどれだけ離れているか」を標準偏差の何個分かで表し、正規化は「最小から最大のどのあたりか」を0〜1の割合で表します。式は1つの値に対するもので、列のすべての値に同じ平均・標準偏差(または最小・最大)を使って当てはめます。
- 標準化(z値):
z = (x − 平均) ÷ 標準偏差 - 正規化(Min-Max):
x' = (x − 最小) ÷ (最大 − 最小) - ロバストスケーリング:
x' = (x − 中央値) ÷ (第3四分位 − 第1四分位)
[10, 20, 30, 40, 100] という1列を、それぞれのスケーラーで変換した結果です(平均40、標準偏差31.62、中央値30、四分位範囲20)。
| 元の値 | 標準化 StandardScaler | 正規化 MinMaxScaler | RobustScaler | 偏差値(50+10z) |
|---|---|---|---|---|
| 10 | -0.949 | 0.000 | -1.0 | 40.5 |
| 20 | -0.632 | 0.111 | -0.5 | 43.7 |
| 30 | -0.316 | 0.222 | 0.0 | 46.8 |
| 40 | 0.000 | 0.333 | 0.5 | 50.0 |
| 100 | 1.897 | 1.000 | 3.5 | 69.0 |
標準化した z値を「50+10×z」にしたものが、学校の偏差値です。標準化では、平均と同じ40がちょうど0になり、100は「平均より標準偏差1.9個分大きい」と読めます。正規化では、100という1つの大きな値が1を取ったため、10〜40の4つが0〜0.333の狭い範囲に詰め込まれました。
テストの点数にたとえると
見分ける問い:「範囲を0〜1に決めたいのか、平均からの距離をそろえたいのか」
| 標準化(StandardScaler) | 正規化(MinMaxScaler) | |
|---|---|---|
| 英語 | standardization・z-score normalization | min-max normalization・min-max scaling |
| 使う統計量 | 平均・標準偏差 | 最小・最大 |
| 変換後 | 平均0・標準偏差1(範囲は決まらない) | 0〜1(訓練データの範囲内なら) |
| 外れ値 | 影響を受ける(平均と標準偏差が動く) | 強く影響を受ける(最大が外れ値で決まる) |
| 新しいデータ | 範囲の制限がないので扱いやすい | 訓練の範囲外は0未満・1超えになる |
| 向く場面 | 多くのモデルの既定の選択。線形モデル・SVM・PCA | 範囲が決まっている値(画素0〜255・割合)、0〜1の入力を前提とする処理 |
最初の5分:StandardScaler・MinMaxScalerの最小コード
この節では、scikit-learn で標準化と正規化を行う最小のコードと、その実行結果が分かります。
fit で訓練データの統計量(平均や最小・最大)を覚え、transform でその統計量を使って変換します。fit_transform は、訓練データに対して2つを続けて行う省略形です。
データを訓練用とテスト用に分ける
スケーラーを作る前に分ける。先に全体で fit すると、テストの情報が訓練に混ざる。
訓練データで fit する
StandardScaler なら列ごとの平均(mean_)と標準偏差(scale_)、MinMaxScaler なら最小・最大(data_min_・data_max_)を覚える。
訓練とテストの両方を transform する
テストにも訓練で覚えた値を使う。テストで fit し直さない。
Pipeline にまとめる
1〜3を手で書くと順番を間違えやすい。make_pipeline に入れると、交差検証でも正しい順で動く。
from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler, MinMaxScaler
X, y = load_wine(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, stratify=y, random_state=0)
sc = StandardScaler().fit(X_train) # 訓練データで平均・標準偏差を覚える
Z_train = sc.transform(X_train)
Z_test = sc.transform(X_test) # テストも同じ値で変換する
mm = MinMaxScaler().fit(X_train) # 正規化(0〜1)
M_test = mm.transform(X_test)
wine の13列は、単位も大きさもばらばらです。いちばん大きい proline(プロリン)は、いちばん小さい nonflavanoid_phenols と比べて標準偏差が約2,530倍あります。
shape (178, 13)
alcohol min= 11.030 max= 14.830 mean= 13.001 std= 0.810
magnesium min= 70.000 max= 162.000 mean= 99.742 std= 14.242
proline min= 278.000 max= 1680.000 mean= 746.893 std= 314.022
alcohol の列を各スケーラーで変換した後の値は、次のとおりでした(全178件で fit)。
StandardScaler col0 after: min=-2.434 max=2.260 mean=0.000 std=1.000
MinMaxScaler col0 after: min=0.000 max=1.000 mean=0.519 std=0.213
RobustScaler col0 after: min=-1.536 max=1.354 mean=-0.038 std=0.616
MaxAbsScaler col0 after: min=0.744 max=1.000 mean=0.877 std=0.055
変換した値から元の単位に戻すときは inverse_transform を使います。MinMaxScaler を [0, 50, 100] で fit すると、0.25 は 25.0 に戻りました。予測した値(目的変数)をスケーリングしていた場合も、この方法で元の単位に戻せます。
RobustScaler・MaxAbsScaler・Normalizerを含むスケーリング手法の一覧
この節では、scikit-learn にある主なスケーラーの違いと、それぞれが向く場面が分かります。
列ごとに変換するスケーラーが4つ、行ごとに変換する Normalizer が1つ、分布の形そのものを変える変換が2つあります。上位の解説記事は StandardScaler と MinMaxScaler の2つで終わることが多いのですが、外れ値や疎なデータでは他を選ぶ理由があります。
| クラス | 何をするか | 変換後 | 向く場面 |
|---|---|---|---|
| StandardScaler | 平均を引き、標準偏差で割る(列ごと) | 平均0・標準偏差1 | 迷ったときの既定。線形モデル・SVM・PCA・NN |
| MinMaxScaler | 最小を引き、範囲で割る(列ごと) | 0〜1(feature_range で変更可) | 範囲が決まっている値。画素・割合 |
| RobustScaler | 中央値を引き、四分位範囲で割る(列ごと) | 中央値0・四分位範囲1 | 外れ値が多いデータ |
| MaxAbsScaler | 絶対値の最大で割る(列ごと・中心は動かさない) | -1〜1 | 疎なデータ(0を0のまま保つ) |
| Normalizer | 1件ごとにベクトルの長さで割る(行ごと) | 各行の長さが1 | 文書ベクトル・コサイン類似度で比べるとき |
| PowerTransformer | Yeo-Johnson・Box-Cox で分布を正規分布に近づける | 平均0・標準偏差1・歪みが小さい | 右に長く裾を引く値(年収・金額) |
| QuantileTransformer | 順位に置き換えて一様・正規分布に写す | 指定した分布 | 外れ値も歪みも強いとき(距離の情報は失う) |
公式ドキュメントは、MaxAbsScaler を「すでに0を中心にしているデータや疎なデータのためのもの」とし、StandardScaler を疎行列に使うときは with_mean=False が要る(平均を引くと0が0でなくなり、疎の性質が崩れる)と説明しています。
Normalizer は行ごとに割るため、列の大きさはそろいません。wine で試すと、変換後の proline 列の平均は 0.986、2列目(malic_acid)は 0.00371 で、もとの大小がそのまま残りました。列のものさしをそろえたいときに Normalizer を選ぶのは誤りです。
標準化しても正規分布にはならない
「標準化すると正規分布になる」というのはよくある誤解です。対数正規分布の乱数1,000個(年収のような右に裾の長い形)で、歪度(skew)を比べました。
| 変換 | 歪度 | 平均 | 標準偏差 |
|---|---|---|---|
| 変換なし | 2.790 | 524.960 | 467.352 |
| StandardScaler | 2.790 | 0.000 | 1.000 |
| PowerTransformer(Yeo-Johnson) | 0.001 | 0.000 | 1.000 |
| QuantileTransformer(normal) | -0.010 | 0.000 | 1.018 |
標準化は「ずらして縮める」だけの一次変換なので、歪度は 2.790 のまま変わりません。分布の形を変えたいときは PowerTransformer や QuantileTransformer を使います。
numpyで標準化・正規化を自作してscikit-learnと一致させる
この節では、4つのスケーラーを numpy で自作し、scikit-learn と同じ値になるかを確かめた結果と、標準偏差の「n で割るか n−1 で割るか」の違いが分かります。
4つとも、numpy の数行で scikit-learn と同じ値になりました(差は最大でも 3.47e-16 で、浮動小数点の丸め誤差だけ)。仕組みは「fit で列ごとの統計量を覚え、transform で引いて割る」だけです。
import numpy as np
class MyStandard:
def fit(self, X):
self.mean_ = X.mean(axis=0)
self.scale_ = X.std(axis=0) # ddof=0(n で割る)
self.scale_[self.scale_ == 0] = 1.0 # 一定の列は割らない
return self
def transform(self, X):
return (X - self.mean_) / self.scale_
class MyMinMax:
def fit(self, X):
self.min_ = X.min(axis=0)
r = X.max(axis=0) - self.min_
r[r == 0] = 1.0
self.range_ = r
return self
def transform(self, X):
return (X - self.min_) / self.range_
class MyRobust:
def fit(self, X):
self.center_ = np.median(X, axis=0)
q1, q3 = np.percentile(X, [25, 75], axis=0)
s = q3 - q1
s[s == 0] = 1.0
self.scale_ = s
return self
def transform(self, X):
return (X - self.center_) / self.scale_
def my_normalizer(X): # 行ごとに長さを1にする
n = np.sqrt((X ** 2).sum(axis=1, keepdims=True))
n[n == 0] = 1.0
return X / n
wine の全178件・13列で、scikit-learn の結果との差の最大値を出しました。
StandardScaler max|diff|=0.00e+00
MinMaxScaler max|diff|=3.47e-16
RobustScaler max|diff|=0.00e+00
MaxAbsScaler max|diff|=0.00e+00
Normalizer max|diff|=2.22e-16 row L2 norms=[1. 1. 1.]
自作するときの細かい点として、一定の列(標準偏差や範囲が0)は0で割らないよう1に置き換えます。scikit-learn も同じ扱いで、[5, 5, 5] で fit した StandardScaler の scale_ は 1.0 になり、5 は 0、6 は 1 に変換されました。NumPy の配列操作の基本は、関連記事「NumPyの使い方 基本一覧|配列の作成・演算・形状変更」で扱っています。
pandas の std() と StandardScaler の値が合わない理由
StandardScaler は n で割る標準偏差(ddof=0)、pandas の std() は n−1 で割る標準偏差(ddof=1)を使います。pandas で自分で標準化すると、値がわずかにずれます。
pandas std (ddof=1) 0.811827 sklearn scale_ [0.809543]
max|z_pd - z_sk| 0.006847 ratio 1.002821 sqrt(n/(n-1)) 1.002821
ずれの比はちょうど √(178/177) で、件数が少ないほど大きくなります。モデルの精度にはほぼ影響しませんが、「自作と scikit-learn が合わない」と調べることになる原因の1つです。pandas で合わせるなら df.std(ddof=0) を使います。pandas の操作は、関連記事「pandasの使い方 逆引き81選|pandas 3.0の実行結果つき」で扱っています。
スケーリングで精度が変わるモデル・変わらないモデル(8モデルを実測)
この節では、同じデータで8つのモデルを「スケーリングなし・標準化・正規化・RobustScaler」の4通りで学習させ、精度がどれだけ変わるかが分かります。
kNN・SVM・ロジスティック回帰・MLP(ニューラルネットワーク)はスケーリングで大きく精度が上がり、決定木・ランダムフォレスト・勾配ブースティングは小数第4位まで同じでした。上位の記事では「決定木系は不要」と文章で書かれていることが多いので、ここでは数字で確かめます。
from sklearn.model_selection import StratifiedKFold, cross_val_score
from sklearn.pipeline import make_pipeline
cv = StratifiedKFold(5, shuffle=True, random_state=0)
for S in [None, StandardScaler, MinMaxScaler, RobustScaler]:
est = model() if S is None else make_pipeline(S(), model())
print(cross_val_score(est, X, y, cv=cv).mean())
wine(178件・13列)の正解率
| モデル | なし | 標準化 | 正規化 | Robust |
|---|---|---|---|---|
| kNN(k=5) | 0.6633 | 0.9608 | 0.9719 | 0.9549 |
| SVM(RBF) | 0.6571 | 0.9830 | 0.9886 | 0.9775 |
| ロジスティック回帰 | 0.9494 | 0.9832 | 0.9830 | 0.9832 |
| MLP(隠れ層32) | 0.3314 | 0.9721 | 0.9830 | 0.9721 |
| ガウシアンNB | 0.9719 | 0.9719 | 0.9719 | 0.9719 |
| 決定木 | 0.9273 | 0.9273 | 0.9273 | 0.9273 |
| ランダムフォレスト | 0.9719 | 0.9719 | 0.9719 | 0.9719 |
| HistGradientBoosting | 0.9717 | 0.9717 | 0.9717 | 0.9717 |
breast_cancer(569件・30列)の正解率
| モデル | なし | 標準化 | 正規化 | Robust |
|---|---|---|---|---|
| kNN(k=5) | 0.9315 | 0.9649 | 0.9719 | 0.9614 |
| SVM(RBF) | 0.9210 | 0.9771 | 0.9807 | 0.9719 |
| ロジスティック回帰 | 0.9455 | 0.9789 | 0.9666 | 0.9824 |
| MLP(隠れ層32) | 0.9473 | 0.9754 | 0.9684 | 0.9701 |
| ガウシアンNB | 0.9385 | 0.9297 | 0.9297 | 0.9297 |
| 決定木 | 0.9262 | 0.9262 | 0.9262 | 0.9262 |
| ランダムフォレスト | 0.9649 | 0.9649 | 0.9649 | 0.9649 |
| HistGradientBoosting | 0.9701 | 0.9701 | 0.9701 | 0.9701 |
表から読み取れることを3つにまとめます。
1どれを選ぶかより、するかしないか
wine の kNN は、なしの 66.3% から 95.5〜97.2% に上がった。標準化・正規化・Robust の差は1.7ポイント以内で、「スケーリングしない」との差がはるかに大きい。
2どの手法が最良かはデータで変わる
breast_cancer のロジスティック回帰は Robust が 98.2% で最良、正規化は 96.7%。kNN・SVM では正規化が最良だった。迷ったら交差検証で比べる。
3ガウシアンNBは「ほぼ」変わらない
wine では同じだったが、breast_cancer では 93.9% → 93.0% に下がった。分散に足す安定化の項(var_smoothing)が「全特徴量の最大の分散」に比例するため、スケールを変えると効き方が変わる。
8モデル×4通り×5分割の計算は、2コアの CPU で wine が約7秒、breast_cancer が約25秒でした。
精度が変わる理由:距離・勾配・正則化(k-means・PCA・Ridge・Lasso)
この節では、スケーリングで結果が変わるモデルが「何を使っているから」変わるのかが、k-means・ロジスティック回帰・Ridge・Lasso・PCA の実測で分かります。
距離・内積・勾配・正則化の罰則・分散のどれかを使うモデルは、値の大きい列にひっぱられます。wine の proline は、13列の分散の合計のうち 99.77% を1列で占めていました。スケーリングしないと、距離のほぼすべてが proline の差で決まります。
| 使っているもの | モデル | スケーリングしないと起きること(実測) |
|---|---|---|
| 距離 | kNN・k-means・SVM(RBF) | k-means の ARI 0.371(標準化で 0.898) |
| 勾配(最適化) | ロジスティック回帰・SGD・NN | 100回で収束せず警告。収束までに 3,201回(標準化で 17回) |
| 正則化の罰則 | Ridge・Lasso・ロジスティック回帰 | 係数の大きさで罰則が効くため、単位で結果が変わる |
| 分散 | PCA | 第1主成分が proline だけになり寄与率 99.8% |
| 大小の順番だけ | 決定木・RF・GBDT | 変わらない(次の節) |
k-means:クラスタが proline だけで分かれる
wine を3つのクラスタに分け、本当の品種とどれだけ一致するかを調整ランド指数(ARI。1が完全一致、0が偶然と同じ)で測りました。
none ARI=0.3711 sizes=[69 47 62]
Standard ARI=0.8975 sizes=[65 51 62]
MinMax ARI=0.8685 sizes=[54 61 63]
スケーリングなしでは、ほぼ proline の値の大小だけで3つに切っているため、品種との一致は ARI 0.371 にとどまりました。
ロジスティック回帰:収束までの回数が188倍
勾配を使って係数を少しずつ動かすモデルは、列の大きさがばらばらだと「坂」が細長い谷になり、進みが遅くなります。wine の訓練データ(124件)で試しました。
| 条件 | 反復回数(n_iter_) | テストの正解率 |
|---|---|---|
| なし・max_iter=100(既定) | 100(上限で打ち切り・警告) | 0.9444 |
| なし・max_iter=10000 | 3,201 | 0.9630 |
| 標準化・max_iter=100 | 17 | 1.0000 |
上限まで回しても正解率は 96.3% で、標準化した 100% に届きませんでした。罰則(既定の L2、C=1.0)が列の大きさによって効き方を変えるためです。
Ridge・Lasso:正則化はスケールで結果が変わる
load_diabetes を元の単位(年齢は歳、血圧は mmHg など)で使い、5分割の決定係数 R² を比べました。
| モデル | R²(なし) | R²(標準化) | 0でない係数(なし→標準化) |
|---|---|---|---|
| LinearRegression | 0.4892 | 0.4892 | 10 → 10 |
| Ridge(alpha=10) | 0.4830 | 0.4892 | 10 → 10 |
| Lasso(alpha=1) | 0.4818 | 0.4899 | 10 → 7 |
罰則のない線形回帰は、スケーリングしても予測が変わりません(係数が逆に大きく・小さくなって打ち消すため)。罰則のある Ridge・Lasso は「係数の大きさ」に罰を与えるので、単位の小さい列ほど係数が大きくなって罰を多く受けます。標準化した Lasso では10個中3個の係数が0になり、どの特徴量を残すかの判断まで変わりました。係数の読み方は、標準化した後なら「1標準偏差あたりの影響」として列どうしで比べられます。
PCA:標準化しないと1列だけの主成分になる
none PC1 ratio=0.9981 PC2=0.0017 top feature idx=12 loading=1.000
Standard PC1 ratio=0.3620 PC2=0.1921 top feature idx=6 loading=0.423
標準化しないと、第1主成分は proline(負荷量 1.000)そのもので、寄与率 99.8% という「次元削減できたように見える」結果になります。標準化すると第1主成分の寄与率は 36.2% で、flavanoids(フラボノイド)など複数の列の組み合わせになりました。主成分分析の手順と寄与率の読み方は、関連記事「主成分分析(PCA)とは|手順・寄与率・負荷量の読み方をPythonで実演」で扱っています。
決定木・ランダムフォレストでスケーリングが要らない理由
この節では、決定木の分割のしきい値がスケーリングでどう変わり、なぜ予測が同じになるのかが、実際の木で分かります。
決定木は「ある列の値がしきい値より小さいか大きいか」だけで分けるので、大小の順番を変えない変換(標準化・正規化など)では、同じ場所で分かれます。しきい値の数字だけが変わり、木の形と予測は変わりません。
same predictions: True acc 0.9444 0.9444
features used root: 12 12
root threshold raw 765.0 scaled 0.0313 scaled->raw 765.0
depth/leaves 4 9 4 9
wine の訓練データで、元の値と標準化した値の2本の木を作りました。根の分割はどちらも proline(12番目の列)で、しきい値は元の値で 765.0、標準化した値で 0.0313 でした。0.0313 を標準化の逆(×標準偏差+平均)で戻すと、ちょうど 765.0 になります。深さ4・葉9の同じ木で、テスト54件の予測はすべて一致しました。
ランダムフォレストは決定木の集まりなので同じ理由で変わらず、HistGradientBoosting は値を順位にもとづく区間(ビン)に分けてから学習するので、やはり変わりませんでした。逆に言えば、木のモデルでは、スケーリングで精度は上がりません。ただし、木のモデルと線形モデルを同じ前処理で比べる場合は、Pipeline に入れておいても害はありません。
- 1大きく変わる → kNN・SVM(RBF)・MLP・k-means距離や勾配をそのまま使う。wine で約30〜64ポイントの差
- 2変わる → ロジスティック回帰・Ridge・Lasso・SGD・PCA罰則・収束の速さ・分散の割合が単位に左右される
- 3ほぼ変わらない → ガウシアンNB・LDA列ごとに分布を見る。ガウシアンNBは安定化の項で小さな差が出た
- 4変わらない → 罰則なしの線形回帰(予測)係数が打ち消す。係数の数字は変わる
- 5変わらない → 決定木・ランダムフォレスト・GBDT大小の順番だけで分ける
LDA(線形判別分析)も同じ条件で試すと、wine は4通りとも 0.9943、breast_cancer は4通りとも 0.9543 で、まったく変わりませんでした。列ごとの拡大縮小を、判別の軸の向きが打ち消すためです。
外れ値があるときの標準化と正規化(RobustScalerの効果)
この節では、外れ値が1つ入ったときに、標準化・正規化・RobustScaler で残りのデータがどう押しつぶされるかが分かります。
外れ値が1つあるだけで、正規化(Min-Max)は残りのデータを0.03の幅に詰め込みました。平均500・標準偏差100の年収(万円)99件に、10,000万円の外れ値を1件だけ足した100件で比べた結果です。
| スケーラー | 普通の99件の幅(5〜95%点) | 普通の99件の中央 | 外れ値の変換後 |
|---|---|---|---|
| StandardScaler | 0.313 | -0.100 | 9.900 |
| MinMaxScaler | 0.031 | 0.025 | 1.000 |
| RobustScaler | 2.112 | -0.004 | 67.414 |
標準化でも、外れ値が平均と標準偏差を引き上げるため、普通の99件の幅は 0.313 しかありません(外れ値が無ければ約3.3)。RobustScaler は中央値と四分位範囲を使うので外れ値の影響をほとんど受けず、普通の99件は 2.1 の幅に広がり、外れ値は 67.4 という「明らかに離れた値」として残りました。
RobustScaler は外れ値を消すわけではありません。外れ値そのものを抑えたいときは、外れ値の扱い(除く・上限で切る・対数を取る)を先に決め、そのあとでスケーリングします。scikit-learn 公式ドキュメントも「外れ値が多いデータでは平均と分散によるスケーリングはうまく働かないことが多く、RobustScaler を代わりに使える」と説明しています。
正規化は新しいデータで0〜1をはみ出す
MinMaxScaler の0〜1は、訓練データの最小・最大で決まります。訓練の範囲を超える値が来ると、そのまま範囲外になります。
MinMaxScaler().fit([[0], [50], [100]]).transform([[120], [-10]]) -> [ 1.2 -0.1]
MinMaxScaler(clip=True) で同じ変換 -> [ 1. 0. ]
clip=True を付けると0〜1に切りそろえられますが、120と150の区別は消えます。範囲が物理的に決まっている値(画素の0〜255、割合の0〜100%)以外では、標準化のほうが扱いやすいのはこのためです。
訓練データだけでfitする:リークとテストの再fitの実例
この節では、スケーラーをどのデータで fit するかを間違えたときに、評価の数字や本番の予測がどう狂うかが実測で分かります。
スケーラーは訓練データだけで fit し、テストや本番のデータには transform だけを使います。公式ドキュメントの「Common pitfalls」も「テストデータで fit を呼ばない」ことを一般的な決まりとしています。間違え方は2つあります。
スケーラーを fit する場所
見分ける問い:「この fit に、評価や予測の対象のデータが入っていないか」
間違い1:全データで fit してから交差検証する(リーク)
件数の少ない架空データ(60件・20列、半分の列だけ50倍の大きさ)を20組作り、kNN の5分割交差検証で比べました。
20 datasets mean: leak=0.6558 pipeline=0.6475 diff=+0.0083 max diff=+0.0833 leak>ok in 9/20, equal in 6
全データで fit した「リークあり」は、20組の平均で 0.8ポイント、最大で 8.3ポイント高く出ました(20組中9組で高く、6組で同じ)。標準化のリークは平均と標準偏差という2つの数字だけなので、差は小さめです。それでも件数が少ないと数ポイント良く見えることがあり、モデルや前処理の比較を誤らせます。特徴量選択や欠損値の補完で同じ間違いをすると差はもっと大きくなります(公式の例では、でたらめな正解ラベルで正解率 0.76 が出ています)。
間違い2:テストや本番のデータで fit し直す
こちらは評価ではなく、予測そのものが壊れます。wine で、訓練データで正しく学習した SVM に、テストの一部を渡しました。
correct : 1.0
refit test: 1.0
one sample fit_transform -> [0. 0. 0. 0.] pred [0] true 0 correct pred [0]
class0-only batch: correct 1.0 refit 0.3333
テスト全体(54件)で fit し直したときは、訓練とテストの分布が近いので偶然 1.0 のままでした。ところが、品種0だけ18件が届いた日を想定して fit し直すと、正解率は 1.0 から 0.333 に落ちました。そのまとまりの平均を0にしてしまうため、「平均より高い」という情報が消えるからです。1件だけで fit_transform すると、すべての列が0になります。本番で1件ずつ予測するシステムでは、学習時の fit 済みのスケーラー(Pipeline ごと)を保存して読み込みます。
PipelineとColumnTransformerの書き方(標準化+モデル)
この節では、スケーリングとモデルを1つにまとめる Pipeline、列ごとに前処理を変える ColumnTransformer、スケーラー自体を探索する GridSearchCV の書き方が分かります。
make_pipeline にスケーラーとモデルを入れると、fit・predict・交差検証のたびに正しい順番(訓練で fit → transform)で動きます。リークを防ぐいちばん確かな方法です。
from sklearn.pipeline import Pipeline
from sklearn.model_selection import GridSearchCV
from sklearn.svm import SVC
pipe = Pipeline([("scaler", StandardScaler()), ("svc", SVC())])
grid = {"scaler": [StandardScaler(), MinMaxScaler(), "passthrough"], # passthrough=スケーリングなし
"svc__C": [0.1, 1, 10]}
gs = GridSearchCV(pipe, grid, cv=5).fit(X_train, y_train)
print(gs.best_params_, gs.best_score_, gs.score(X_test, y_test))
best {'scaler': StandardScaler(), 'svc__C': 10} 0.984 test 1.0
StandardScaler 0.1 0.9517
StandardScaler 1 0.976
StandardScaler 10 0.984
MinMaxScaler 0.1 0.952
MinMaxScaler 1 0.976
MinMaxScaler 10 0.976
passthrough 0.1 0.6773
passthrough 1 0.6773
passthrough 10 0.7257
スケーラーも「探索するパラメーターの1つ」として扱えます。"passthrough"(スケーリングなし)は C をどう変えても 0.73 以下で、スケーリングの有無の差が C の調整より大きいことが分かります。
数値の列だけを標準化する(ColumnTransformer)
0/1 のフラグやカテゴリの列は、標準化の対象から外します。ColumnTransformer で、数値の列だけに StandardScaler を当てます。
import pandas as pd
from sklearn.compose import ColumnTransformer
df = pd.DataFrame({"age": [23, 35, 47, 52, 29],
"income": [320, 540, 880, 1200, 410],
"member": [0, 1, 1, 0, 1]})
ct = ColumnTransformer([("num", StandardScaler(), ["age", "income"])],
remainder="passthrough").set_output(transform="pandas")
print(ct.fit_transform(df).round(3))
num__age num__income remainder__member
0 -1.309 -1.073 0
1 -0.203 -0.399 1
2 0.903 0.644 1
3 1.364 1.625 0
4 -0.756 -0.797 1
リークを防ぐための確認項目をまとめます。
- 1分割より前に fit していないtrain_test_split の前に fit_transform を書いていないかを見る
- 2交差検証には Pipeline を渡しているcross_val_score・GridSearchCV に、スケーリング済みの配列ではなく Pipeline を渡す
- 3テスト・本番では transform だけコードの中で fit_transform が出てくるのは訓練データの1か所だけにする
- 4保存するのはモデルではなく Pipelineモデルだけ保存すると、本番で学習時の平均・標準偏差が分からなくなる
- 5フラグ・カテゴリの列は対象から外すColumnTransformer で数値の列だけを選ぶ
標準化・正規化でよくあるエラーと警告(原文)
この節では、StandardScaler・MinMaxScaler を使うときに出るエラーと警告の原文と、その直し方が分かります。
いちばん多いのは、1次元の配列を渡したときの「Expected 2D array」と、列の数や名前が fit のときと違うときのエラーです。手元で再現した原文です。
| エラー・警告(原文) | 原因 | 直し方 |
|---|---|---|
ValueError: Expected 2D array, got 1D array instead: | 1列だけを1次元の配列で渡した | x.reshape(-1, 1) か df[["列名"]](角かっこ2重)で渡す |
NotFittedError: This StandardScaler instance is not fitted yet. Call 'fit' with appropriate arguments before using this estimator. | fit の前に transform した | 訓練データで fit してから transform する |
ValueError: X has 12 features, but StandardScaler is expecting 13 features as input. | fit のときと列の数が違う | 学習時と同じ列を同じ順で渡す |
ValueError: The feature names should match those that were passed during fit. | DataFrame の列の順番や名前が fit のときと違う | 学習時の列の並び(feature_names_in_)にそろえる |
UserWarning: X does not have valid feature names, but StandardScaler was fitted with feature names | DataFrame で fit し、numpy 配列で transform した | どちらも DataFrame か、どちらも配列にそろえる |
ValueError: could not convert string to float: np.str_('a') | 文字列の列が混ざっている | カテゴリは OneHotEncoder など別の変換に回す |
ValueError: Input X contains infinity or a value too large for dtype('float64'). | 無限大(0除算の結果など)が入っている | 前の計算を見直し、np.isinf で探して除く |
ConvergenceWarning: lbfgs failed to converge after 100 iteration(s) (status=1): | スケーリングせずにロジスティック回帰を学習した | StandardScaler を Pipeline に入れる(max_iter を増やすより先に) |
ロジスティック回帰の警告は、全文を見ると scikit-learn 自身が「データをスケーリングすること」をすすめています。
lbfgs failed to converge after 100 iteration(s) (status=1):
STOP: TOTAL NO. OF ITERATIONS REACHED LIMIT
Increase the number of iterations to improve the convergence (max_iter=100).
You might also want to scale the data as shown in:
https://scikit-learn.org/stable/modules/preprocessing.html
Please also refer to the documentation for alternative solver options:
https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression
エラーにならないが気づきにくいこと
- 欠損値(NaN)はそのまま通る:[1, NaN, 3] で fit すると、平均は NaN を除いた 2.0 で計算され、NaN は変換後も NaN のまま残りました。後ろのモデルでエラーになるので、SimpleImputer で埋める処理を Pipeline の前に置きます。
- 一定の列は0になる:標準偏差0の列は割られず、すべて0になります。情報が無い列なので、VarianceThreshold などで除いても予測は変わりません。
- 正規化の範囲外:前の節のとおり、新しいデータは0〜1をはみ出してもエラーにはなりません。
標準化と正規化の使い分け(判断表)
この節では、データとモデルの組み合わせごとに、どのスケーラーを選べばよいかが分かります。
まず「モデルがスケールの影響を受けるか」で、するかしないかを決め、次に「外れ値」と「値の範囲」で手法を選びます。迷ったときは、Pipeline に入れた複数のスケーラーを交差検証で比べるのがいちばん確実です。
| 状況 | 選ぶもの | 理由(この記事の実測) |
|---|---|---|
| 決定木・ランダムフォレスト・GBDT だけを使う | スケーリングなし | 4通りとも正解率が同じだった |
| kNN・SVM・k-means・NN を使う | StandardScaler か MinMaxScaler | wine の kNN で 66%→96〜97% |
| ロジスティック回帰・Ridge・Lasso の係数を比べたい | StandardScaler | 1標準偏差あたりの影響として比べられる。Lasso の選ぶ列も変わった |
| PCA で次元を減らす | StandardScaler(単位が違う列のとき) | なしでは第1主成分が proline だけになった |
| 外れ値が多い | RobustScaler | 普通の99件の幅が 0.03(Min-Max)→ 2.1 |
| 画素(0〜255)・割合など範囲が決まっている | MinMaxScaler(または 255 で割る) | 範囲外の値が来ない |
| 疎行列(0が大半) | MaxAbsScaler | 平均を引かないので0が0のまま(公式) |
| 右に裾の長い分布(年収・金額) | PowerTransformer か、対数の後に標準化 | 標準化だけでは歪度 2.79 のまま |
| 文書ベクトルの向きで比べる | Normalizer(行ごと) | 各行の長さが1になり、内積がコサイン類似度になる |
よくある質問
Q. 標準化と正規化の違いを一言で言うと? A. 標準化は平均0・標準偏差1にそろえる変換、正規化(Min-Max)は最小0・最大1にそろえる変換です。標準化は範囲が決まらず、正規化は外れ値に弱いという違いがあります。
Q. 標準化と正規化はどちらを使えばいいですか? A. 迷ったら標準化(StandardScaler)を使います。値の範囲が決まっている(画素など)なら正規化、外れ値が多いなら RobustScaler です。この記事の実測では、3つの差より「スケーリングするかしないか」の差のほうがはるかに大きく出ました。
Q. 決定木やランダムフォレストでも標準化は必要ですか? A. 要りません。値の大小の順番だけで分けるため、wine・breast_cancer とも4通りの正解率が小数第4位まで同じでした。
Q. 標準化すると正規分布になりますか? A. なりません。平均と標準偏差がそろうだけで、分布の形は変わりません。歪度 2.79 のデータは標準化しても 2.79 のままでした。形を変えるには PowerTransformer などを使います。
Q. テストデータも標準化しますか? A. します。ただし fit は訓練データだけで行い、テストには訓練で覚えた平均・標準偏差を使って transform だけをします。テストで fit し直すと、品種0だけのまとまりでは正解率が 1.0 から 0.333 に落ちました。
Q. 目的変数(y)も標準化すべきですか? A. 回帰で y の大きさが極端な場合や、ニューラルネットワークで学習を安定させたい場合に使います。予測した値は inverse_transform で元の単位に戻します。scikit-learn では TransformedTargetRegressor にまとめられます。分類のラベルは標準化しません。
Q. 自分で計算した標準化と StandardScaler の値が少し違います。 A. 標準偏差の割り方の違いです。StandardScaler は n で割り(ddof=0)、pandas の std() は n−1 で割ります(ddof=1)。wine の178件では、値の比がちょうど √(178/177) でした。
Q. scikit-learn の Normalizer は MinMaxScaler と同じですか? A. 違います。Normalizer は1件(行)ごとにベクトルの長さを1にする処理で、列のものさしはそろいません。日本語の記事で「正規化」と呼ばれる列ごとの0〜1変換は MinMaxScaler です。
Q. データベースの正規化と関係はありますか? A. 関係はありません。データベースの正規化は、重複や更新の矛盾が出ないように表を分ける設計の話で、値そのものは変えません。同じ「そろえる」という語から来た別の用語です。
Q. 画像のデータは標準化と正規化のどちらですか? A. 画素は0〜255と範囲が決まっているので、255 で割って0〜1にする正規化がよく使われます。学習済みのモデルを使う場合は、そのモデルの学習時と同じ前処理(チャンネルごとの平均・標準偏差での標準化など)に合わせます。
まとめ
- 標準化は平均0・標準偏差1、正規化(Min-Max)は最小0・最大1にそろえる変換。「正規化」は DB・統計・Unicode でも使われる別の意味の言葉で、scikit-learn の Normalizer は行ごとの処理。
- kNN・SVM・MLP・k-means は大きく変わり、wine の MLP は 33.1% → 97.2%、kNN は 66.3% → 96.1%。決定木・ランダムフォレスト・HistGB は4通りとも同じだった。
- 勾配・正則化・分散を使うモデルも変わる。ロジスティック回帰は収束まで 3,201回 → 17回、Lasso は選ぶ列が変わり、PCA はなしでは1列だけの主成分になった。
- 外れ値があると Min-Max は残りを0.03の幅に詰め込む。外れ値が多ければ RobustScaler。標準化しても分布の形(歪み)は変わらない。
- スケーラーは訓練データだけで fit し、Pipeline にまとめて保存する。numpy の数行で自作でき、scikit-learn と丸め誤差の範囲で一致した。
参考・出典
確認日はいずれも 2026年11月5日です。
- scikit-learn「Preprocessing data」(1.9.1):https://scikit-learn.org/stable/modules/preprocessing.html
- scikit-learn「Common pitfalls and recommended practices」:https://scikit-learn.org/stable/common_pitfalls.html
- scikit-learn「StandardScaler」:https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.StandardScaler.html
- scikit-learn「MinMaxScaler」:https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.MinMaxScaler.html
- scikit-learn「RobustScaler」:https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.RobustScaler.html
- scikit-learn「Normalizer」:https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.Normalizer.html
- scikit-learn「GaussianNB」(var_smoothing):https://scikit-learn.org/stable/modules/generated/sklearn.naive_bayes.GaussianNB.html
- scikit-learn「Pipelines and composite estimators」:https://scikit-learn.org/stable/modules/compose.html
- Python「unicodedata — Unicode データベース」:https://docs.python.org/ja/3/library/unicodedata.html
- pandas「DataFrame.std」:https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.std.html
本記事の内容は、ご自由にお使いください。
ご利用の際は、出典として本ページへのリンクを記載いただけますようお願いします。
(記載例)出典:株式会社RJC「標準化と正規化の違い|スケーリングで精度が変わるモデルを8種で実測」
株式会社RJC ― SI事業・SES事業・AI駆動開発。RJCは一緒に成長を楽しめる会社です。
WE ARE HIRING
RJCで一緒に開発しながら、
成長を楽しみませんか?
RJCは、Web・モバイル・AIを活用した開発プロジェクトで、テックリードやPM・PMOも活躍するシステム開発会社です。会社を知る、待遇を確かめる、話を聞いてみる。気になるところ見てみてください!
- 127日年間休日
- 12時間平均残業時間
- 毎日ガチャ遊びココロも大切にする福利厚生。アマギフなどの賞品ラインナップ!
ほかにも、チケットレストラン、書籍読み放題、2年ごとの慰労報奨(休暇 or 金一封)、11期連続の黒字決算。