それぞれの入力値に重み付きの係数をかけ和を計算し、非線形関数を適用し、隠れユニットの入力値とする 非線形関数にはRelu（Rectified Linear Unit）やtanh（Hyperbolic tangent）が用いられる。 利点 複雑なモデルを構築できる 欠点 訓練に時間がかかる デ…

より複雑なモデルを可能にするために線形サポートベクタマシンを拡張したもの サポートベクタ・・・2つのクラスの境界に位置するごく一部の訓練データポイントだけが決定境界を決定する。これらのデータポイントのこと カーネルトリック・・・拡張された特徴…

1つ前の決定木の誤りを次の決定木で訂正するようにして、決定木を順番に作っていく 利点 ランダムフォレストに比べると性能がいい 特徴量のスケール変換が不要 欠点 パラメータのチューニングに最新の注意が必要 訓練にかかる時間が長い パラメータ 事前枝刈…

少しづつ異なる決定木をたくさん集めたもの 過剰適合の度合いを減らすことができる。 利点 非常に強力である 多くの場合、パラメータチューニングが不要 データのスケール変換も不要 欠点 線形モデルよりも多くのメモリを消費し、訓練も予測も遅い 乱数のシ…

Yes/Noで答えられる質問で構成された階層的な木構造を学習する すべての可能なテストの中から、目的変数に対して最も情報の量が多いものを選ぶ 過剰適合を防ぐ2つの戦略 事前枝刈り（Pre-pruning）・・・構築過程で木の生成を早めに止める 事後枝刈り（Post-…

クラス分類 クラスに対する統計値を個々の特徴量ごとに集めてパラメータを学習する 利点 訓練が線形モデルよりも高速 予想も非常に高速 パラメータ モデルの複雑さを制御するパラメータ・・・大きくなると複雑さは減少する

クラス分類 線形クラス分類アルゴリズム 利点 訓練が非常に高速で、予測も高速 予測手法が比較的理解しやすい 欠点 係数がどうしてその値になっているのかは、それほど明らかでない。 パラメータ 正則化パラメータ・・・小さい場合は単純なモデルに対応する。

クラス分類 線形クラス分類アルゴリズム 利点 訓練が非常に高速で、予測も高速 予測手法が比較的理解しやすい 欠点 係数がどうしてその値になっているのかは、それほど明らかでない。 パラメータ 正則化パラメータ・・・小さい場合は単純なモデルに対応する。

回帰 線形モデルの一つ。リッジ回帰と同様に係数が小さくなるように制約する。 L1正則化が用いられる。その結果、いくつかの係数が完全に0になる。 利点 利用する特徴量が少ないためモデルが理解しやすい 訓練が非常に高速で、予測も高速 予測手法が比較的理…

回帰 係数の絶対値の大きさを可能な限り小さくし、個々の特徴量が出力に与える影響を小さくする。L2正則化が用いられる 正則化（Regularization)・・・過剰適合を防ぐために明示的にモデルを制約する 利点 最小二乗法と比較して訓練データが少なくても学習で…

回帰 予測と訓練セットとの平均二乗誤差が最小になるようにパラメータを決める 利点 パラメータが無い 低次元データではモデルが単純なので、過剰適合の危険は少ない 欠点 モデルの複雑さを制御する方法がない 高次元データでは過剰適合の危険性が高くなる

クラス分類 訓練データセットの中から一番近い点（再近傍点）を見つける分類方法。 1点以上の近傍点を考慮に入れる場合は、投票で分類する。 多くの近傍点を考慮すると単純なモデルとなる。 少ない近傍点を考慮すると複雑なモデルとなる。 決定境界（Decisio…

汎化（Generalize） モデルが未確認のデータに対して正確に予測できる場合 過剰適合（Overfitting） 持っている情報の量に比べて過度に複雑なモデルを作ること 適合不足（Underfitting) 持っている情報の量に比べて単純すぎるモデルを作ること

目的は大きく以下の2つ クラス分類（Classification) あらかじめ定められた選択肢の中からクラスラベルを予測すること 2クラス分類（Binary Classification)…2つだけのクラスを分類する特殊なケース 3クラス分類（Multiclass classification)…3つ以上のクラ…