最小二乗法（Ordinary Least Squares）

回帰

予測と訓練セットとの平均二乗誤差が最小になるようにパラメータを決める

利点

パラメータが無い

低次元データではモデルが単純なので、過剰適合の危険は少ない

欠点

モデルの複雑さを制御する方法がない

高次元データでは過剰適合の危険性が高くなる