第２版への序文

神の御業なら信じよう．さもなくばデータを．

－－－ウィリアム・エドワード・デミング（1900～1993）*1

喜ばしいことに，本書の初版は好評を博してきた．この好評に応えるため，

また，統計的学習の分野の急速な進展に対応するため，初版の内容を更新して

第 2版を出版することにした．

第 2版には新たに四つの章を追加し，既存のいくつかの章も内容を更新した．

多くの読者が初版の章立てに慣れ親しんでいることから，章立ての変更は最小

限に留めた．主な変更点を以下に示す．

*1 この引用句はデミングとロバート・W・ヘイデンによるものとされてきた．しかし，ヘイデ

ン教授はこの引用句の出所が自分であるとは言えないと，われわれに語ってくれた．また，

皮肉なことに，この引用句をデミングが本当に言ったという事実を裏づける「データ」を見

つけることもできなかった．

iv 第 2版への序文

章 新しい内容

1 序章

2 教師あり学習の概要

3 回帰のための線形手法 LARアルゴリズムと lassoの一般化

4 分類のための線形手法 ロジスティック回帰のための lasso軌跡

5 基底展開と正則化 RKHSの図を追加

6 カーネル平滑化法

7 モデルの評価と選択 交差確認の長所と，間違った使い方

8 モデル推論と平均化

9 加法的モデル，木，およ

び関連手法

10 ブースティングと加法的

木

生態学の研究分野からの新しい例題．い

くつかの内容を第 16章へ移動

11 ニューラルネットワーク ベイズニューラルネットワークと NIPS

2003 コンペティション

12 サポートベクトルマシン

と適応型判別

解追跡アルゴリズムと SVM分類器

13 プロトタイプ法と最近傍

探索

14 教師なし学習 スペクトラルクラスタリング，カーネル

主成分分析，疎主成分分析，非負値行列

分解，原型分析，非線形次元削減，Google

ページランクのアルゴリズム，ICAへの

直接的アプローチ

15 ランダムフォレスト 新規

16 アンサンブル学習 新規

17 無向グラフィカルモデル 新規

18 高次元の問題：p≫ N 新規

その他の変更点を以下に示す．

• 初版の色使いが見づらい人もいたかもしれない．特にわれわれは赤と緑を好んで使ったが，これを苦手とする人もいたようだ．第 2版では色使

いを見直し，上記の色の組み合わせをオレンジと青の組み合わせに変更

第 2 版への序文 v

した．

• 機械学習におけるカーネル法との混同を避けるために，第 6章を「カー

ネル法」から「カーネル平滑化法」に変更した．機械学習におけるカーネ

ル法については，サポートベクトルマシン（第 12章）を説明するとき，

および，第 5章と第 14章でより一般的に議論する．

• 初版では，第 7章における誤分類率推定の議論が厳密ではなかった．つ

まり，（訓練集合で条件付けされた）条件付き誤分類率と，条件付けされ

ていない誤分類率とを明確に区別していなかった．第 2版ではこの議論

を修正してある．

• 第 15章と第 16章は，第 10章の内容を引き継いでいる．これらの章はそ

の順に読むのがよいだろう．

• 第 17章では，グラフィカルモデルを網羅的に扱うことはせずに，無向グ

ラフィカルモデルと新しい推論手法のいくつかを議論するに留めた．紙

面の制約から，有向グラフィカルモデルは省略した．

• 第 18章では，“p ≫ N”問題，つまり高次元特徴空間における学習を議

論する．この問題は，ゲノム科学やプロテオミクス研究，文書分類など，

多くの分野で発生する．

初版の（数多くの）誤りを発見してくれた多数の読者に感謝する．初版

の誤りについてお詫びするとともに，第 2 版では誤りをなくすように最大

限の努力をした．新しく追加した章についてのコメントをいただいた Mark

Segal，Bala Rajaratnam，Larry Wasserman に感謝する．また多くのスタン

フォード大学の大学院生やポスドク研究員，特にコメントを寄せてくれた

Mohammed AlQuraishi，John Boik，Holger Hoefling，Arian Maleki，Donal

McMahon，Saharon Rosset，Babak Shababa，Daniela Witten，Ji Zhu，Hui Zou

には感謝する．John Kimmelには，根気強くわれわれをこの第 2版へと導いてく

れたことに感謝する．RTはこの第 2版を故 Anna McPheeの思い出に捧げる．

スタンフォード，カリフォルニア州

2008年 8月トレバー・ヘイスティ　　　

ロバート・ティブシラニ　　

ジェローム・フリードマン　

初版への序文

われわれは情報に溺れ，かつ知識に飢えている．

— ラザフォード・D・ロジャー

科学や産業の分野から持ち込まれてくる問題によって，統計学という分野は

絶えず挑戦を受けてきた．初期の時代には，問題は農業や工業の実験から持ち

込まれることが多く，扱う範囲は比較的狭かった．コンピュータが発達し，情

報化社会が到来すると，統計学上の問題の規模や複雑さは爆発的に増大した．

データの保管・整理・検索の分野における課題は「データマイニング」という

新しい分野をもたらし，生物学と医学において計算機を用いる統計的な問題は

「バイオインフォマティクス」という分野を生み出した．統計学者の仕事は，莫

大な量のデータがさまざまな分野で生成される中で，それらの全てを説明する

ことである．つまり，重要なパターンやトレンドを見つけ出し，「データが何を

言っているのか」を理解することである．これをデータからの学習（learning

from data）と呼ぶ．

viii 初版への序文

データからの学習における課題は，統計科学に変革を促している．コンピュー

タによる計算が重要な役割を果たすために，この新しい発展がコンピュータサ

イエンスやコンピュータエンジニアリングの分野の研究者によってもたらされ

ていることは，驚くことではない．

われわれが扱う学習の問題は，教師あり（supervised）と教師なし（unsuper-

vised）に分類することができる．教師あり学習の目的は，多数の入力値に基づ

いて出力値を予測することである．一方，教師なし学習には出力値はなく，入

力値同士に存在する関係性やパターンを記述することが目的となる．

本書においてわれわれが試みたことは，学習における重要な新しい概念の多

くを総合し，統計的な枠組みで説明することである．いくらかの数学的な詳細

は必要ではあるが，理論的な特性よりも，手法やその根底にある考え方を重視

した．その結果，本書の内容が，統計学者だけでなく，幅広い分野の研究者や

専門家をも引き付けるものになっていることを期待する．

われわれが統計学以外の分野の研究者から多くを学んだように，他分野の研

究者にとっては，われわれの統計学的な視点が学習についてのさまざまな側面

を理解する助けとなるだろう．

何事にも真の解釈というものは存在しない．解釈とは人間が理解するた

めの手段である．解釈の価値は，ある概念について他者を実り多き熟考

へと導くことにある．

— アンドレア・ブジャ

本書の構想段階から完成に至るまで，多くの人々が貢献してくれたことに感謝

する．David Andrews，Leo Breiman，Andreas Buja，John Chambers，Bradley

Efron，Geoffrey Hinton，Werner Stuetzle，John Tukeyは，われわれのキャリ

アに多大な影響を与えている．Balasubramanian Narasimhanはコンピュータ

にまつわる多くの問題についてアドバイスと手助けをしてくれ，また素晴らし

い計算機環境を維持してくれた．Shin-Ho Bangは数多くの図版の作成を助けて

くれた．Lee Wilkinsonはカラー図版の製作について有益な知識を提供してく

れた．Ilana Belitskaya，Eva Cantoni，Maya Gupta，Michael Jordan，Shanti

Gopatam，Radford Neal，Jorge Picazo，Bogdan Popescu，Olivier Renaud，

初版への序文 ix

Saharon Rosset，John Storey，Ji Zhu，Mu Zhu，そして 2人の査読者と多数

の学生たちは，原稿の一部に目を通し，有益なコメントを提供してくれた．

John Kimmel は全ての段階において辛抱強くわれわれを支え，支援してくれ

た．MaryAnn Bricknerと Frank Ganzはシュプリンガーの素晴らしい制作チー

ムを率いてくれた．トレバー・ヘイスティは本書の最終段階においてお世話に

なったケープタウン大学統計学部に感謝する．本書を支援してくれた NSF と

NIHに非常に感謝する．最後に，愛情を持って支援してくれた家族と両親に感

謝する．

スタンフォード，カリフォルニア州

2001年 5月トレバー・ヘイスティ　　　

ロバート・ティブシラニ　　

ジェローム・フリードマン　

世界を変えてきたのは，寡黙な統計学者である－－－新しい真実の発見や

技術の開発によってではなく，判断の仕方，実験の方法，見解を形成す

る流儀を変えることによって．

— イアン・ハッキング　

訳者序文

機械学習とは，コンピュータに学習能力を持たせるための方法論を研究する

学問の名称であり，もともとは人工知能分野の一部として研究されていた．そ

の後，機械学習は統計学と密接な関わりを持つようになり，「統計的学習」とし

て独自の発展の道を歩み始めた．そして，1990年代から現在に至るまでの計算

機やインターネットの爆発的な普及と相まって統計的学習の技術は目覚ましい

発展を遂げ，いまや情報検索，オンラインショッピングなど，われわれの日常

生活とは切り離すことのできない情報通信技術の根幹を支える重要な要素技術

の一つとなった．

本書は，このような発展著しい統計的学習分野の世界的に著名な教科書であ

る The Elements of Statistical Learningの全訳である．回帰や分類などの教師

あり学習の入門的な話題から，ニューラルネットワーク，サポートベクトルマ

シンなどのより洗練された学習器，ブースティングやアンサンブル学習などの

学習手法の高度化技術，さらにはグラフィカルモデルや高次元学習問題に対す

るスパース学習法などの最新の話題までを幅広く網羅しており，計算機科学な

どの情報技術を専門とする大学生・大学院生，および，機械学習技術を基礎科

学や産業に応用しようとしている大学院生・研究者・技術者にとって最適な教

科書である．本書によって統計的学習を学ぶにあたり機械学習に関する前提知

識は仮定しないが，線形代数，微分積分，確率統計などの基礎的な知識は必要

である．

翻訳にあたり，原著のニュアンスを損なわないよう細心の注意を払いつつ，

できるだけ平易な日本語にするよう心がけた．この訳書が読者の皆さんの統計

的学習に対する理解の一助となれば幸いである．

2014年 4月監訳者・翻訳者一同