ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
Basis Expansions and Regularization
Model
f(X) =
M∑
m=1
βmhm(X) (X is a vector)
• hm(X) = X2j , XjX`, . . .
• hm(X) = ||X||, log(Xj), . . ..
• hm(X) = I(Lm < Xk < Um)
Regularization
minn∑
i=1
(yi −M∑
m=1
βmhm(xi))2 + λJ(f)
where f(x) =∑M
m=1 βmhm(x).
J(f) = ||β||22 for example.
1
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
O
O
O
O
O
OO
O
O
O
OO
OO
O
O
O
O
O
OO
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
OO
O
O
O
OO O
t1 t2
Piecewise Constant
O
O
O
O
O
OO
O
O
O
OO
OO
O
O
O
O
O
OO
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
OO
O
O
O
OO O
t1 t2
Piecewise Linear
O
O
O
O
O
OO
O
O
O
OO
OO
O
O
O
O
O
OO
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
OO
O
O
O
OO O
t1 t2
Continuous Piecewise Linear Piecewise-linear Basis Function
•
••
•
•
•
•
•
••
•• • •
•
• ••
•
•
•
•
••
•
••
•
•
••
•
•
•
••
•
••
•
••
••
•
••
•
••
t1 t2
h3def
2
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
O
O
O
O
O
OO
O
O
O
OO
OO
O
O
O
O
O
OO
O
O
O
O
OO
O
O
O
O
O
O
O
O
O
O
O
O
OO
O
OO
O
O
O
OO O
t1 t2
Discontinuous
O
O
O
O
O
OO
O
O
O
OO
OO
O
O
O
O
O
OO
O
O
O
O
OO
O
O
O
O
O
O
O
O
O
O
O
O
OO
O
OO
O
O
O
OO O
t1 t2
Continuous
O
O
O
O
O
OO
O
O
O
OO
OO
O
O
O
O
O
OO
O
O
O
O
OO
O
O
O
O
O
O
O
O
O
O
O
O
OO
O
OO
O
O
O
OO O
t1 t2
Continuous First Derivative
O
O
O
O
O
OO
O
O
O
OO
OO
O
O
O
O
O
OO
O
O
O
O
OO
O
O
O
O
O
O
O
O
O
O
O
O
OO
O
OO
O
O
O
OO O
t1 t2
Continuous Second Derivative
Piecewise Cubic Polynomials
3
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
B-splines of Order 1
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.4
0.8
1.2
B-splines of Order 2
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.4
0.8
1.2
B-splines of Order 3
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.4
0.8
1.2
B-splines of Order 4
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.4
0.8
1.2
4
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
Cubic splines and natural cubic splines
In R,
bs(x, degree=3, knots=c(,2.,4.,6))
Should return an N × 7 matrix (actually N × 6 since intercept= F
is default).
Linear
Cubic
Cubic
Linear
Natural Boundary Conditions
4 Constraints, so # of parameters= # of knots
5
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
X
Poi
ntw
ise
Var
ianc
es
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.1
0.2
0.3
0.4
0.5
0.6
•
•••••
••••• •• •••••• •• •• • •• •••• • •• •• • • ••• •• ••••••
•
•
••• ••
••••••• •••••• •• •• • ••
•••• • •• •• • • ••••• •• ••
••
•
•
••••• •••••
•••••••
••• •• • ••
•••••
•• ••• • •••
•• ••
••••
•
• •• • •• ••••• •• •••••• •• •• • •• •••• • •• •• • • ••• •• •• •••• •
Global LinearGlobal Cubic PolynomialCubic Spline - 2 knotsNatural Cubic Spline - 6 knots
Pointwise variance curves for four different models, with X consisting of
50 points drawn at random from U [0, 1], and an assumed error model
with constant variance. The linear and cubic polynomial fits have two and
four degrees of freedom, respectively, while the cubic spline and natural
cubic spline each have six degrees of freedom. The cubic spline has two
knots at 0.33 and 0.66, while the natural spline has boundary knots at 0.1
and 0.9, and four interior knots uniformly spaced between them.
6
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
South African Heart Disease data
logit[Pr(chd|x)] = θ0 + h1(x1)T + h2(x2)
T θ2 + · · ·hp(xp)T θp
= h(x)T θ
• hj(xj) = ns(xj, df = 4)
• Basis matrix H, n× (1 +∑p
j=1 dfj)
• θ obtained from binomial maximum likelihood (logistic
regression)
• Cov = (HT WH)−1 = Σ, W = diag[pi(1− pi]).
• fj(xj) = hj(xj)T θj , var = hj(xj)
T Σjjhj(xj).
7
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
Table 1: Final logistic regression model, after stepwise deletion of nat-
ural splines terms. The column labeled “LRT” is the likelihood-ratio test
statistic when that term is deleted from the model, and is the change in
deviance from the full model (labeled “none”).
Terms Df Deviance AIC LRT P-value
none 458.09 502.09
sbp 4 467.16 503.16 9.076 0.059
tobacco 4 470.48 506.48 12.387 0.015
ldl 4 472.39 508.39 14.307 0.006
famhist 1 479.44 521.44 21.356 0.000
obesity 4 466.24 502.24 8.147 0.086
age 4 481.86 517.86 23.768 0.000
8
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
sbpns
(sbp
, 4)
100 120 140 160 180 200 220
-20
24tobacco
ns(t
obac
co, 4
)
0 5 10 15 20 25 30
02
46
8
ldl
ns(ld
l, 4)
2 4 6 8 10 12 14
-4-2
02
4
fact
or(
fam
hist
)
-4-2
02
4
famhistAbsent Present
obesity
ns(o
besi
ty, 4
)
15 20 25 30 35 40 45
-20
24
6
age
ns(a
ge, 4
)
20 30 40 50 60
-6-4
-20
2
9
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
Example: Phoneme recognition
• X(f) observed over grid of frequencies, xj = X(fj).
• Two classes “aa” (695) and “ao” (1022)
• log Pr(aa|x)Pr(ao|x) =
∫X(f)β(f)df ≈∑256
j=1 x(fj)β(fj) =∑256
j=1 xjβj
• β(f) =∑M
m=1 hm(f)θm
CV Misclassification rates:
Raw Regularized
_____________
Train 0.080 0.185
Test 0.255 0.158
10
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
Frequency
Log-
perio
dogr
am
0 50 100 150 200 250
05
1015
2025
Phoneme Examples
aaao
Frequency
Logi
stic
Reg
ress
ion
Coe
ffici
ents
0 50 100 150 200 250
-0.4
-0.2
0.0
0.2
0.4
Phoneme Classification: Raw and Restricted Logistic Regression
11
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
Smoothing splines
RSS(f, λ) =∑n
i=1(yi − f(xi))2 + λ
∫f
′′
(t)2dt
• when λ = 0 solution interpolates data
• when λ =∞ solution is linear least solution line
• in general, f(x) =∑
j = 1nNj(x)θj . This is a natural cubic
spline with knots at each of the unique xi values
• RSS(f, λ) = (Y −Nθ)T (Y −Nθ) + λθT Ωθ
• Nij = Nj(xi), Ωij =∫
N′′
i (t)N′′
j (t)dt
• θ = (NT N + λΩ)−1NT y
12
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%Age
Rel
ativ
e C
hang
e in
Spi
nal B
MD
10 15 20 25
-0.0
50.
00.
050.
100.
150.
20
•
•
•
•
• •
•
••
••
• •
•
•
•
•
•
•
•
•
••
•
•
•
••
••
•
•
•
•
••
•
•
••
•
•
•
•
•
•
•
•
•
•
• • •
•
••
•
•
•
••
•
•
•
•
•
•
•
•
•
••
•
•
••
•
•
•
• •
•
••• •
•
•
•
• •
•
•
•
•
• ••
•
••
•
•
•
••
••
•
•
••• • • ••
•
•
•
•
•
•
••
•
•
•
• ••
•
•
•
•
••
••
•
•
••
•
••• •
•••
•
•• •
•
••
•
••
•
• •
•••
•
•
•• •
•
••
•
•
••
•
•
••
•
• •
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
• •
•
••
•
••
•
• ••
••
•
••
•
•
•
•
••
••
•
•• •
•
•
•
•
•
••
•
•
•
•
•
•
•
•
• ••
•
••
•
•
• •
•
•
•
•
•
••
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
••
•
••
•
•
•
•
•
• •
••
•
•
•
•
•
••
•••
•
••
• ••
•
•• •
••
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
••
•
••
•
••
•
•
•
••
•
•
••
•
•
•
•
••
•
•••
•
•• •
•
•
•
••
••
•
•
•
••
•
•
•
• •
••
•
•
••
••
•
•
••
• ••
•
•
•
••
•
•
•
• ••
•
••
•
•
•
• •
•
•
•
•
••
•
•
••
••
•
•
•
••
•
•
• •
•
•• •
•
••
•
•
•
•
•
•
•
•
•
•
••
•
•
•
• •
•
•
•
•
• •
••
•
••••
••
••
•
•
•
•
•
MaleFemale
13
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
Smoothing matrices
f = N(NT N + λΩ)−1NT y ≡ Sλy
• symmetric
• positive definite
• eigenvalues in (0, 1], rank n.
• df(λ) is defined to be trace(Sλ)
• Reinsch form Sλ = (I + λK)−1; minimizer of
||y − f ||2 + λfT Kf .
• Sλ =∑n
k=1 pk(λ)ukuTk ; pk(λ) = 1/(1 + λdk); df(λ) =
∑pk(λ),
dk is kth eigenvalue of K.
14
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
Daggot Pressure Gradient
Ozo
ne C
once
ntra
tion
-50 0 50 100
010
2030
••
•
• ••
••••
•
• ••••
•
•
•
••
••
•••
•
••
••
•
•
•
•
•
••
••
•
••
•
••
•
•
•••
•
••
••
•
•
•
•
•
•••
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
••
•
••
•
•
•
•
••
•••
•
•
•
•
•
•
•
••
••••
•
•
•
•
••
•
•
•••
•
•
•••
•
••
••
Order
Eig
enva
lues
5 10 15 20 25
-0.2
0.0
0.2
0.4
0.6
0.8
1.0
1.2
• • •
•
•
••
• • • • • • • • • • • • • • • • • •
• • • • • ••
••
••
••
• • • • • • • • • • • •
df=5df=11
-50 0 50 100 -50 0 50 100
15
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
115
100
75
50
25
12
Smoother Matrix
•••• • • •••••• ••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
••••••••••
•••••••
••••••••
••••••••••••• •• •
•
Row 115
•••• • • •••••• ••••••••••••••••••••••••••••••••••••••••••••••••••••••••••
•••••••••••
••••••••••
••••••••••••••••••••••••••••••••• ••
•
•
Row 100
•••• • • •••••• ••••••••••••••••••••••••••••••••••
••••••••••
•••••••••
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••• •• ••
Row 75
•••• • • •••••• ••••••••••••
•••••••••
•••••••••••
•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••• •• • •
Row 50
•••••
••••
•••••••
•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••• •• • •
Row 25
•••• • • •••••• •••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••• •• • •
Row 12
Equivalent Kernels
16
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
6 8 10 12 14
0.9
1.0
1.1
1.2
••••••••••••••
••
•
•
••••••••••••••
••
•
•
y
0.0 0.2 0.4 0.6 0.8 1.0
-4-2
02
O
O
O
O
OO
O
OO
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
OOO
O
OO
OO
O
O
O
OO
O
O
O
OO
O
OO
O
O
O
O
OO
O
O
O
O
O
OO
O
O
OOO
O
OO
O
O
O
O
O
O
O
O
OO
OO
O
O
O
O
O
O
OOO
OO
O
O
O
O
OO
y
0.0 0.2 0.4 0.6 0.8 1.0
-4-2
02
O
O
O
O
OO
O
OO
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
OOO
O
OO
O
O
O
O
O
OO
O
O
O
O
O
O
OO
O
O
O
O
OO
O
O
O
O
O
OO
O
O
OOO
O
OO
O
O
O
O
O
O
O
O
OO
OO
O
O
O
O
O
O
OOO
OO
O
O
O
O
OO
y
0.0 0.2 0.4 0.6 0.8 1.0
-4-2
02
O
O
O
O
OO
O
OO
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
O
OOO
O
OO
O
O
O
O
O
OO
O
O
O
O
O
O
OO
O
O
O
O
OO
O
O
O
O
O
OO
O
O
OOO
O
OO
O
O
O
O
O
O
O
O
OO
OO
O
O
O
O
O
O
OOO
OO
O
O
O
O
OO
PSfrag replacements
EPECV
XX
X
dfλ = 5
dfλ = 9 dfλ = 15
dfλ
Cross-Validation
epe(λ
)and
cv(λ
)
17
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
Cross-validation for Smoothing splines
CV(fλ) =X
(yi − f−iλ (xi))
2
=
P
(yi − fλ(xi))2
1− Sλ(i, i))2
Smoothing spline logistic regression
Pr(y = 1|x) =exp(f(x))
1 + exp(f(x))
`(f ;λ) =n
X
i=1
[yi log(p(xi)) + (1− yi) log(1− p(xi))]−1
2λ
Z
f′′2
(t)2dt
Algorithm fnew ← Sλ,w(fold + W−1(y − p)) where
Sλ,w = N(NT WN + λΩ)−1NT W fits a weighted cubic smoothing spline.
18
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%19
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
Additive Natural Cubic Splines - 4 df each
.. .. . .. . . .. . . . .. . . . . .. . . . . . .. . . . . . .. . . . . . . .. . . . . . . . .. . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . . .. . . . . . . . . . . . . . .. . . . . . . . . . . . . . .. . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . .. . . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . .. . . . . . . . . .. . . . . . . . . .. . . . . . . . .. . . . . . . . .. . . . . . . . .. . . . . . . .. . . . . . . .. . . . . . . .. . . . . . .. . . . . . .. . . . . . .. . . . . .. . . . . .. . . . .. . . . .. . . . .. . . .. . . .. . . .. . .. . .. . .. .. .. ...
oo
ooo
o
o
o
o
o
o
o
o
oo
o
o o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
oo o
oo
oo
o
oo
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
oo
o
o
o
o
o
oo
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o ooo
o
o
ooo o
o
o
o
o
o
o
o
oo
o
o
oo
ooo
o
o
ooo
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
oo
ooo
o
o
o
o
o
o
oo
oo
oo
o
o
o
o
o
o
o
o
o
o
o
Training Error: 0.23Test Error: 0.28Bayes Error: 0.21
20
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
Natural Cubic Splines - Tensor Product - 4 df each
. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .. . . . . . . . . .. . . . . . . . .. . . . . . . .. . . . ..
. . . . . .. . . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . .. . . . . . . . . . . . . .. . . . . . . . . . . . . .. . . . . . . . . . . . . .. . . . . . . . . . . . . . .. . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
oo
ooo
o
o
o
o
o
o
o
o
oo
o
o o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
oo o
oo
oo
o
oo
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
oo
o
o
o
o
o
oo
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o ooo
o
o
ooo o
o
o
o
o
o
o
o
oo
o
o
oo
ooo
o
o
ooo
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
oo
ooo
o
o
o
o
o
o
oo
oo
oo
o
o
o
o
o
o
o
o
o
o
o
Training Error: 0.230Test Error: 0.282Bayes Error: 0.210
21
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
Thin plate splines
J [f ] =
∫ ∫
R2
[(∂2f(x)
∂x21
)2
+ 2
(∂2f(x)
∂x1∂x2
)2
+
(∂2f(x)
∂x22
)2]dx1dx2.
(1)
df = 15; red points are knots
125
130
135
140
145
150
155
15
20
25
30
35
40
45
20 30 40 50 60
Age
Obe
sity
Systolic Blood Pressure
120
125
130
135
140
145
150
155
160
•
••
•
•
•
•
•
•
•
•
••
• •
• •
•
••
•
••
•
•
•
•
•
••
• •
•
• •
•
•
•
•
•
•
••
•
•
•
•
•
••
••
••
•
•
•
• ••
• ••
•
•
•
•
•
•
••
•
•
•
•
•
•
••
•
•
••
•
•
•
•
•
•
•
••
•
•
•
•• •
••
•
••
•
•
•
•
••
••
•
•
•
•
••
•
•
•
• ••
•
•
•
•
•
•
•
•
•
•
•
•
•••
••
•
•
•
•
••
••
•••
•
••
••
•
• ••
•
•
•
••
•••
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•••
•
•
•
•
• •
•
•
•
•• •
•
••
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
••
•
•
•
••
••
••
•
••
•••
•
•
••
• •
••
•
•
••
•
•
••
•
•
•
•
•
•
•
••
•
•
•
•
•
• •
•
•
•
•
•
••
•
••
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•••
•
••
• •
•
•
••
• •
•
•
• •
•
•• •
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
••
•
•
••
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
• •
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
••
•
•
•
•
•
•
•
••
•
•
•
••
•
•
••
•
•
•
•
••
• •
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
• • • • • •
• • • • • • •
• • • • • • •
• • • • • •
• • • •
• •
• • • • • • • •
• •
•
•
• •
• • • •
• • • • • •
• • • • • • • •
22
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
The Kernel property and reproducing
kernel Hilbert spaces
• Example: polynomial regression
• Suppose h(x) : Rp ← RM , M huge
• Given x1, x2, . . . xn with M n, let H = hj(xi)M×n.
• R(β) = (y −Hβ)T (y −Hβ) + λβT β
• Then
y = Hβ
−HT (y −Hβ) + λβ = 0
−HHT (y −Hβ) + λHβ = 0
Hβ = (HHT + λI)−1y
23
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
where HHT is n× n. HHT i,i′ = 〈h(xi), h(xi′)〉 = K(xi, xi′).
f(x) = h(x)T β =∑
αiK(x, xi)
and αi = (K + λI)−1y.
24
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
Polynomial kernels
• K(x, x′) = (1 + 〈x, x′〉)d
• e.g. if x ∈ R2, d = 2,
K(x, x′) = (1 + x1x′1 + x2x
′2)
2
= 1 + 2x1x′1 + 2x2x
′2 + (x1x
′1)
2 + (x2x′2)
2 + 2x1x′1x2x
′2
• then M = 6 and h1(x) = 1, h2(x) =√
2x1, h3(x) =√2x2, h4(x) = x2
1, h5(x) = x22, h6(x) =
√2x1x2
25
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
** *** **
* **** ** * **
***
** **
*** *** *
*** ***
* ** ** *** **
** **
*** *
***
* *** **
**
***
** ******
***
*
***
*** *
* ** *
**
**
*** * *
*** *
** *** *** *
**** ***
***
**
*
***
**
* ** * ***** ***
****
***
** *
** *
** ***
* ***
** ** ** ***** **
*** ******
*****
*
******
*
***
*
*
**
**
**
*
**
*
*
*
**
*
* *
***
*
** *
***
*
*
*
**
*
*
**
* *
*
*
*
*** *
*
*
* ** **
**
**
*
*
*
*
*
**
*******
*
*
*
*
**
****
**
*
*
*
* **
* *
***
* ***
*
*
**
*** **
**
***
*
*
*
**
**
*
*
* ***
**
*
*
**
**
***
*
**
*
*
***
**
**
**
**
**
**
**
*
*
**
*
*
**
*
***
**
**
*
*
*
**
**
*
**
*** **
**
**
***
***
*
**
**
****
*
* *
**
**
**
*
*
**
* *
*
* *
*** *
*
*
**
**
**
** *
*
***
*
*
**
*
***
*
*** **
*
*
*
**
*
*
******
*
*
*
*
**
**
*
*
*
**
* *
*
*
*
*
**
* *
* ***
*
***
** *** *
****
*
*
**
**
* ***
** ** *
*
** **
****
*
*
*
**** *
*
**
*
**
**
**
**
* ** **
***
**
*
*
*
**
***
** **
**
******
****
*
***
** *** **
*
*
***
** *
**
*** *
*
* *
**
***
*
*
***
*
* **
*
*
**
*
**
*
*
***
**
***
*
***
***
**
** *** *
* *****
*** ** **
*
*
** *
*
**
*
*
**
* ***
* *
**
* *** *** ***
*
***
*
***
*
**
*
**
*
**
*
*
* ** *
*****
*
*
*
*
***
* **
**
*
*
*
*
*
*
**
*
* **
*
** *
* *** ***
* **
*
*
*
**
*
**
* *
***
*
*
****
**
** **
* *** *
****
*
**
*
*** *
**
*
**
**
**
**** ** **
*
*
*
*
**
* **
***
**
**** **
* ***
**
**
*** **
***
***** *
**
*
*
**
*
*
*
**
*
***
***
**
*
**
**
** *** *
** *
**
**
*
*
*
*
**
*
*
*
**
*
*
*
*
**
****** *
*
**
***
*
**
*
*
*
*
**
*
*
***
* **
*
** ***
**
**
****
*
***
*
** **
***
**
*
***
*** *****
**
*
***
*
** *** *
** *
*
****
* **
*
***
**
* ** ** **
**
**
*** *
*
**
**
*
***
*
** ***
* *** *
**
*****
**
**
*
**
**
* *
*** * *
**
***
* *
*
**
****
*** **
**
**
** ***
* *** *
*
*
*
*
** **
* *****
*
**
**
***
*
***
*
**
*
*
** *
**
*
*
*
*
** ** **
*
*
*** *** *
****
**
*
*
***
*
*
** *
***
**
**
**
*
* *
**
* *
*
***
***
*
* **
**
* ** * **** **
**
*
*
*
*
*
*
* *
***
*** *
* **
**
*
*
****
**
*** **
****** *
*
**
*
*
***
*
***
* *
*
*
* * **** *
**
**
** ****
**
*
***
*
*
*
*
*
**
*
*
*
*
*
*
*
*
*
*
**
*****
**
**
***
*
***
*
***
**
*
**
** *
*
*
** **
*
**
**** **
*
***
*
*
*
**
*
***
*
*
** ****
*
****
**
**
*
** ** ***
*
***
*
*
*
**
**
*
*
***
*
**
**** *
** *
*
**
** **
* *
*
*
**
**
*
** **
*
* *****
*
****
* ** **
*
*
*
***
*
* *
* *
***
***
* *
***
* ***
****
**
*** ** ***
*
**
*
*
*
**
*
*
*
* **
*
*****
**
**
***
*
***
*
*
*
*
**
* **
*
*
*
*
**
*
** ***
*
*****
*
*
**
****
***
**
*
*
***
**
*
****
*
*
*
***
*
**
*
*
**
*
** *** **
**
**
*
*
*** ****
*
*
*
*
*
*
* *
***
*
*
*
**
*
*
** *
*
** ** **
*** ** ******
*
*
**
***
*
*
*
**
** **
*
**
***
**
**
****
*** **
**** *
**
*
** **
*
** *
*
*
*
*
*
*
**
*****
*
*
**
***
*
**
*
**
*
* *
* ***
** ***
**
**
*
**
**
** *** ** *
**
*
***
**
* *
*
**
*
****
***
* **
*
*
*
*
*
**
***
***
***
**
**
*
**
*
**
**
**
*** *
**
**
**
** *
***
****
* *
*
** *
* **
***
**
*
****
****
* **
* *
****
**
*
**
* *
*** **
**
* ***
****
**
***
** **
*
***
*
**
***
**
* ***
**
*** *
*
*
*
***
*
**
*
*
**
*
*
** *
**
*
**
**
**
**
* *
**** ***
** *
**
* ** *****
*
** ***
* ****
*
*
** *
*****
*
**
*** *
*
**
**
***
*
***
* ** **
*
*
*
**
** **
**
* **
**
**
***
*
** ***
*
****
* ***
***
*
*
**
*
*
*
*
**
**
** * *** *
****
***
* ***
*** **
**
**
** **
*
**** *
**
** ** *
*
* * ****
* **
** ***
*
***
*
**
***
***
** ***
*
*
***
**
*
*
****
*** *
*****
*
****
*
**
*
*** *
* **
* **
*
*
**
*
**
***
***
*
* * ****
*
* *
*
***
** **
** **
*
**
**
** *
*
*** *
*
**
*
*
**
*
*
**
*
**
**
*
****
*
***
*
*
**
*
**
***
*
*
**
**
*** *
*
*** *
***
***
*
*
*
**
** **
**
**
*
**
*
*
*
**
**
*
*
**
***
*
**
*
***
*
**
** *
**
** * *
**
* **
*
** *
*
*
* **
*** *
*
*
** *
**
***
***
*
*
*
** *
***
**
*** **
**
**
* *
**
*
* *
** *
*
***
**
**
*
*
*** **
*
*
**
*
**
*
* *
*
**
*
*
*
**
***
**
*
**
** ** *
**
*
**
**
***
*
* **
**
* **
* **
***
***
* **
*
*
*
*
*
**
***
** ***
*
***
*****
**
*
*
*
***
*
*
**
* * **
***
**
*
*
***
*
**
**
*
*
*
*
* * **
**
*
* **
***
** *
*
*
**
**
*
***
**
* ** ***
**
*
**
*
**
*
**
**
* **
*
*
*
** *
*
**
* *** ***
**
***
**
***
* **
**
** *
*
*** *
* ***
*
*
*
*****
*
*
**
*
*
***
** *
**
****
*
** *
***
* ***
** *
*
**
***
***
**
*
***
** ****
*
*
***
**
****
**
*
*
*
*
**
*
*
* **
***
**
*
*
*
** ***
**
*
**
*
*
*
*
* * ****
*
*
*
** *
*
*
* * **
** *
*
****
*** *
**
****
*
**
**
**
*
*
***
*
**
***
*
***
*
* *
** **
*
*
****
** *
*** ***
* **
** *
*
* *
*
*** ** *
*
**
**
*
***
***
* *
** *
*
*
****
**
**
*
***
*** *
*
*
*
* **
**
**
**
*
*
*
*
***
*
***
*
*
*
**
**
****
***
*
*
*
*
*
**
* ** *
**
***
*
*
**
******
****
*
*
**
**
** ** *
** **
**
**
***
**
*
**
***
*
**
*
**
*
*
*
**
**
**
****
*
**
*
*
*
*
*
**
* **
*
** **
**
*
** ** * ***
**
*
**
** **
**
*
**
**
**
**
*
** **
*
*** **
*
**
** *
* **
***
**
*
**
*
** ***
**
*** *
*
*
* **
*
*
*
*
**
*
***
** **
**
**
**
***
***
*
*
**
*
*
*
*
* **
* ****
* *
**
****
**
**
**
*
*
*
* **
***
*
*
*
**
*
*
*
* **
*** **
**
**
*
*
**
* **
*
**
*
**
*
*
**
PSfrag replacements
Orthonormal Basis Φ
Feature Space H
*
* **
*
*
*
* *
**
**
*
**
*
*
**
*
*
*
*
**
**
*
*
*
*** **
*
*
**
**
*
*
* *
*
***
*
*
**
*
*
**
**
****
*
*
*
**
*
*
*
*****
*
*
*
*
*
*
*
*
*
*
*
*
*
**
*
*
*
*
**
**
*
**
*
*
***
***
** *
**
**
*
*
*
*
**
*
*
*
*
**
*
*
*
*
** **
***
*
*
*
*
***
*
**
*
**
*
* *
*
*
**
*
* **
*
*
*
***
**
*
*
**
**
*
***
*
*
*
**
****
*
*
**
*
**
*
*
*
**
*
*
*
*
*
*
**
*
*
*
*
*
*
**
*
**
*
*
*
*
*
*
*
***
*
*
*
*
*
*
*
*
*
**
*
*
*
**
*
*
*
*
*** *
*
*
*
**
*
*
*
*
*
**
**
*
**
**
*
*
*
*
*
*
*
*
**
*
*
*
*
*
*
**
*
*
**
*
**
**
*
*
**
****
*
*
*
**
*
*
*
*
*
*
**
*
*
*
**
*
*
*
*
*
*
*
**
***
*
*
*
*
*
**
*
*
*
*
*
*
*
*
*
*
*
**
*
*
*
*
*
*
*
*
*
*
*
*
*
*
**
**
*
*
*
*
*
**
*
*
*
***
*
*
**
**
** *
*
**
*
*
*
*
*
***
*
*
**
*
*
**
*
*
*
*
*
*
**
*
* *
**
**
*
*
*
*
*
*
*
*
*
* *
*
**
*
*
*
*
*
*
*
**
*
*
**
**
*
*
*
**
*
*
*
****
*
*
*
*
*
*
*
*
*
*
*
*
*
*
* *
*
*
*
*
**
**
* ***
*
**
*
**
*
** *
**
**
*
*
**
**
*
**
*
*
* **
*
*
*
* **
***
*
*
*
*
*
****
*
*
*
*
*
*
**
*
*
**
* ** *
*
*
**
*
*
*
*
*
**
**
*
**
*
*
**
**
****
**
**
*
*
**
***** **
*
*
**
*
*
* *
**
*** *
*
**
**
*
***
*
**
*
*
**
*
*
*
*
*
*
*
**
*
**
*
**
**
*
*
**
*
***
*
*
**
****
***
***
*
** *
* **
*
*
***
*
*
*
*
*
*
*
* ***
**
**
* *** *** *
*
*
*
**
*
*
*
**
*
**
*
*
*
*
*
*
*
*
* **
*
**
**
*
*
*
*
*
*
**
**
*
**
*
*
*
*
*
*
**
*
**
*
*
** *
* **
* ***
***
*
*
*
*
**
*
*
**
***
*
*
**
**
**
****
* **
* *
***
*
*
*
**
*
** *
*
**
*
*
**
*
*
*
*****
**
*
*
*
*
**
* *
***
*
*
*
**
** *
*
* ***
**
**
*
****
*
**
***
** *
*
*
*
*
**
*
*
*
*
**
*
**
***
*
*
*
**
*
*
** ****
**
*
**
*
*
*
*
*
*
**
*
*
*
**
*
*
*
*
*
*
******
*
*
**
***
*
*
*
*
*
*
*
*
*
*
*
**
*
* **
*
** **
*
**
*
*
****
*
**
*
*
** *
*
***
*
*
*
**
***
***
***
**
*
**
**
** ***
*
** *
*
***
*
* *
*
*
*
**
*
*
* ** ** **
**
**
*** *
*
**
**
*
***
*
****
*
**
** *
*
*
****
**
**
*
*
**
**
* *
*
** * *
**
***
* *
*
**
****
*** *
**
*
**
** ***
* *** *
*
*
*
*
** **
* *
*****
**
**
*
**
*
***
*
**
*
*
*
* **
**
*
*
*
***
* **
*
*
***
*** *
****
*
**
*
***
*
*
** *
*
**
**
**
**
*
* *
**
* *
*
***
***
*
* **
**
* ** * **** **
**
*
*
*
*
*
*
* *
***
*** *
* **
**
*
*
****
**
*** **
****** *
*
**
*
*
***
*
***
* *
*
*
* * **** *
**
**
** ****
**
*
***
*
*
*
*
*
**
*
*
*
*
*
*
*
*
*
*
**
*****
**
**
***
*
***
*
***
**
*
**
** *
*
*
** **
*
**
**** **
*
***
*
*
*
**
*
***
*
*
** ****
**
****
***
*
** ** *** *
***
*
*
**
**
*
*
*
****
**
** ** **
* **
** ** *
*
* *
**
**
**
*
** **
*
* *****
*****
* ** ***
*
*
*** *
* ** *
**** **
* *
***
* ****
***
**
*** ** ***
*
**
**
*
**
*
*
*
* ** ******
**
** ***
*
****
**
*
**
* **
**
*
*
**
*** **
*
*
*** **
*
** ****
**
***
**
*
** *
**
*
** ***
**
* **** *
**
***
** ** * **** **
*
**** **
***
**
**
** *
* ***
**
** *
*** *
*
** ** ***** ** ****** *
*** *
***
**
**** * **
** ***
** *
** *** *** *** *** ** **
** ***
** **
*
**
**
** *****
*
*
**
***
*
***
* **
* *
* ***
** ***** **
** * *
*** *** ** ***
*** ****
*
*
** **** *
* *** ***
**
**** * ** ***** * **** *
* **
*** ** ** ** ** ***
**** * ** ** ** ** *
*
** ** ** *****
****** ** *
* *** *** ** ** *
*** **** * * **
* *** *** *** *** ** **** ***** ***
** * ** * ***** **
**
****
****
***
** * **** ** *** ** ** * **** *** ** **** ** **** *
*** **** ** *** *** **** ** * ** *** ** * **** ** * **** ** ** ** ** * ** ** ** * ** ** ** ** *
*
** ** ** *** ** ****** ** ** *** *** ** ** * *** * *** * * *** *** *** *** ***
** **** *** ** *** ** * ** * ***** ** ** ****
******
* ** * **** ** *** ** ** * **** *** ** **** **
**** *
*** **** ** *** *** **** ** * ** *** ** * **** ** * **** ** ** ** ** * ** ** ** * ** ** ** ** *
*** ** ** *** ** ****** ** ** *** *** ** ** * *** * *** * * *** *** *** *** *
** ** **** ***** *** ** * ** * ***** ** ** **** **** *** ** * **** ** *** ** ** * **** *** ** **** ** **** *
*** ****
** *** *** **** ** * ** *** ** * **** ** * **** ** ** ** ** * ** ** ** * ** ** ** ** * *** ** ** *** ** ****** ** ** *** *** ** ** * *** * *** * * *** *** *** *** *** ** **** *** ** *** ** * ** * ***** ** ** **** **** *** ** * **** ** *** ** ** * **** *** ** **** ** **** ** ** **** ** *** *** **** ** * ** *** ** * **** ** * **** ** ** ** ** * ** ** ** * ** ** ** ** * *** ** ** *** ** ****** ** ** *** *** ** ** * *** * *** * * *** *** *** *** *** ** **** *** ** *** ** * ** * ***** ** ** **** **** *** ** * **** ** *** ** ** * **** *** ** **** ** **** ** ** **** ** *** *** **** ** * ** *** ** * **** ** * **** ** ** ** ** * ** ** ** * ** ** ** ** * *** ** ** *** ** ****** ** ** *** *** ** ** * *** * *** * * *** *** *** *** *** ** **** *** ** *** ** * ** * ***** ** ** **** **** *** ** * **** ** *** ** ** * **** *** ** **** ** **** ** ** **** ** *** *** **** ** * ** *** ** * **** ** * **** ** ** ** ** * ** ** ** * ** ** ** ** * *** ** ** *** ** ****** ** ** *** *** ** ** * *** * *** * * *** *** *** *** *** ** **** *** ** *** ** * ** * ***** ** ** **** **** *** ** * **** ** *** ** ** * **** *** ** **** ** **** ** ** ****
PSfrag replacements
Orthonormal Basis Φ
Feature Space H
26
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
Reproducing kernel Hilbert spaces
K(x, y) =
∞∑
i=1
γiφi(x)φi(y)
γi ≥ 0,∑
γ2 <∞.
Definition; f ∈ HK if f(x) =∑
i = 1∞ciφi(x) with
||f ||2HK≡
∞∑
i=1
c2i /γi <∞,
where ||f ||HKis the norm induced by K.
Rewriting, we have
minf∈HK
[N∑
i=1
L(yi, f(xi)) + λ||f ||2HK
]
27
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
or equivalently
mincj∞
1
N∑
i=1
L(yi,
∞∑
j=1
cjφj(xi)) + λ
∞∑
j=1
c2j/γj
.
It can be shown that
f(x) =N∑
i=1
αiK(x, xi).
which is finite dimensional!
28
ESL Chap 5 —Basis Expansions and Regularization Rob Tibshirani'
&
$
%
Properties
• Ki(x) = K(x, xi) “Representer of evaluation at xi”.
• 〈K(x, xi), f〉HK= f(xi)
• 〈K(x, xi), K(x, xj)〉HK= K(xi, xj) “Reproducing property”
• J(f) =∑n
i=1
∑n
j=1 K(xixj)αi, αj
29
![Domain Adaptation Regularization for Spectral Pruning3 Spectral pruning with DA regularization Our work was built on a layer-wise compression method [39], which is based on spectral](https://cdn.vdocuments.pub/doc/165x107/6127ea498cd02f09d772818a/domain-adaptation-regularization-for-spectral-pruning-3-spectral-pruning-with-da.jpg)
