ビッグデータを活用した住宅市場の分析 - fujitsu · 2016-02-29 · page. big data...
TRANSCRIPT
page.
ビッグデータを活用した住宅市場の分析 -不透明な未来を予測する-
Feb 24, 2016
Chihiro Shimizu (清水千弘)
シンガポール国立大学 Professor, Institute of Real Estate Studies
National University of Singapore
page.
Big Data & Housing Market
page.
1. ビッグデータは住宅市場を変えるのか?
Machine Learning and Big Data.
• What is big data?
• Big data is not a new phenomenon, but one that is part of a
long evolution of data collection and analysis. Among
numerous definitions of big data that have been introduced
over the last decade, the one provided by Mayer-Schönberger
and Cukier (2013) appears to be most comprehensive: Big
data is “ the ability of society to harness information in
novel ways to produce useful insights or goods and
services of significant value” and “things one can do at a
large scale that cannot be done at a smaller one, to extract
new insights or create new forms of value .”
• Mayer-Schönberger,V and Cukier K, (2013), Big Data: A revolution that will
transform how we live, work and think, UK: Hachette.
page.
Big Data & Housing Market
page.
• In the community of analytics, it is widely accepted that big
data can be conceptualized by the following three dimensions
( Laney, 2001 ):
• a). Volume :データの量
• b). Velocity :即時性
• c). Variety :多様性
• Laney D,(2001), 3D data management: Controlling Data
Volume, velocity, and variety, US:META Group.
page.
Big Data & Housing Market
page.
機械学習: Machine Learning.
• The development of computer algorithms to transform data into
intelligent action → machine learning .
• Available data, statistical methods, and computing power rapidly
and simultaneously evolved.
• Growth in data necessitated additional computing power, which
in turn spurred the development of statistical methods to analyze
large datasets.
Brett Lanz (2015)
page.
Big Data & Housing Market
page.
Knowledge representation
• a) Mathematical equations
• b) Relational diagrams such as trees and graphs
• c) Logical if/else rules
• d) Groupings of data known as clusters
• →The choice of model is typically not left up to the machine.
Instead, the learning task and data on hand inform model
selection.
page.
Big Data & Housing Market
page.
アルゴリズム
Model Learning Task
Supervised Learning Algorithms
Nearest Neighbor Classification
Naive Bayes Classification
Decision Trees Classification
Classification Rule Learners Classification
Linear Regression Numeric prediction
Regression Trees Numeric prediction
Model Trees Numeric prediction
Neural Networks Dual use
Support Vector Machines Dual use
Unsupervised Learning Algorithms
Association Rules Pattern detection
k-means clustering Clustering
Meta-Learning Algorithms Bagging Dual use
Boosting Dual use
Random Forests Dual use
page.
Big Data & Housing Market
page.
自動不動産価格査定装置
• AIは不動産鑑定士に代わることができるのか?
• 将来なくなる職業
• a) Regression models,
• b) Artificial neural networks and
• c) Decision trees.
page.
Big Data & Housing Market
page.
評価バイアス: Evaluation Bias
• Evaluation Bias is a necessary evil associated with the
abstraction and generalization processes inherent in any
learning task. In order to drive action in the face of limitless
possibility, each learner must be biased in a particular way.
• Consequently, each learner has its weaknesses and there is no
single learning algorithm to rule them all. Therefore, the final
step in the generalization process is to evaluate or measure
the learner's success in spite of its biases and use this
information to inform additional training if needed.
page.
Big Data & Housing Market
page.
階層型ニューラルネットワーク
［入力層］ ［出力層］［中間層1］ ［中間層2］
不動産価格形成要因
不動産価格
Input Intermediate layer1 Intermediate layer2 Output
Housing Prices
Factor:
Age,
Location,
Space
Etc.
Chihiro Shimizu(2016), Introduction to Statistics for Market Analysis, Asakura-shoten. (in Japanese)
page.
Big Data & Housing Market
page.
決定木: Artificial intelligence /AI
Chihiro Shimizu(2016), Introduction to Statistics for Market Analysis, Asakura-shoten. (in Japanese)
page.
Big Data & Housing Market
page.
Validation with Prediction Power: Boxplot of Number of trials
500 times with Sampling and Replacement.
Regression Decision Tree Neural Network
Chihiro Shimizu(2016), Introduction to Statistics for Market Analysis, Asakura-shoten. (in Japanese)
page.
Big Data & Housing Market
page.
過学習とオーバーフィッティング
• A model that seems to perform well during training, but does
poorly during evaluation, is said to be overfitted to the
training dataset, as it does not generalize well to the test
dataset.
• Solutions to the problem of overfitting are specific to
particular machine learning approaches. For now, the
important point is to be aware of the issue. How well the
models are able to handle noisy data is an important source of
distinction among them.
Brett Lanz (2015)
page.
Big Data & Housing Market
page.
2. ビッグデータが語る住宅市場の未来: 人口減少・高齢化がもたらす住宅価格の暴落?
13
• 人口減少は，何をもたらすのか?
• Mankiw, N. G., and D. N. Weil (1989), "The baby boom, the baby bust,
and the housing market," Regional Science and Urban Economics, Vol.
19, 235-258.
• 米国の住宅価格は，25年間で47%下落する
• →移民政策の強化→サブプライム問題
• Japan: Shimizu and Watanabe(2010) , “Housing Bubble
in Japan and the United States,” Public Policy Review
Vol.6, No.2,pp.431-472.(財務省研究会より)
page.
Big Data & Housing Market
日本の人口
Population in Japan : losing Japan
14
0
20,000
40,000
60,000
80,000
100,000
120,000
140,000
160,0001
95
0
19
53
19
56
19
59
19
62
19
65
19
68
19
71
19
74
19
77
19
80
19
83
19
86
19
89
19
92
19
95
19
98
20
01
20
04
20
07
20
10
20
13
20
16
20
19
20
22
20
25
20
28
20
31
20
34
20
37
20
40
20
43
20
46
20
49
page.
Big Data & Housing Market
高齢化 Aging
15
0.8
0.9
1
1.1
1.2
1.3
1.4
19
70
19
71
19
72
19
73
19
74
19
75
19
76
19
77
19
78
19
79
19
80
19
81
19
82
19
83
19
84
19
85
19
86
19
87
19
88
19
89
19
90
19
91
19
92
19
93
19
94
19
95
19
96
19
97
19
98
19
99
20
00
20
01
20
02
20
03
20
04
20
05
20
06
20
07
20
08
20
09
20
10
20
11
20
12
20
13
20
14
20
15
20
16
20
17
20
18
20
19
20
20
20
21
20
22
20
23
20
24
20
25
Population
Labour
page.
Big Data & Housing Market
page.
Demand: Number of live births (JPN)
0
50
100
150
200
250
300
1920
1925
1930
1935
1940
1945
1950
1955
1960
1965
1970
1975
1980
1985
1990
1995
2000
2005
2010
(Ten thousands)
0.0
0.5
1.0
1.5
2.0
2.5
3.0
3.5
4.0
4.5
5.0
Number of Live Births [Left Scale]
Total Fertality Rates [Right Scale]Baby boom(1947-49)
Echo baby boom(1971-73)
Baby bust(1955-60)
Source: Ministry of Health, Labor and Welfare
Shimizu,C and T.Watanabe(2010), “Housing Bubble in Japan and the United States,” Public Policy Review Vol.6, No.2,pp.431-472
page.
Big Data & Housing Market
page.
人口と住宅市場の関係 モデル
17
ln ln GDPPC ln OLDDEP
ln TPOP
it it it
it it
P
(1)
GDPPC is per capita GDP,
OLDDEP is the old age dependency ratio, which is defined
by the ratio of population aged 65+ to the working population
(i.e. population aged 20-64),
TPOP is total population.
The disturbance term is represented by it .
Empirical method
Shimizu, Deng, Kawamura and Nishimura (2015)
page.
Big Data & Housing Market
page.
予測可能な世界: 人口の変化と高齢化:
• Nishimura (西村清彦)(2011)
• 依存人口比率=
0−19人口 𝑎𝑛𝑑 65以上人口,
20−64歳人口
• Takáts (2012)
• 老齢人口依存比率
=65歳人口,
20−64歳人口
18
Saita,Y., C.Shimizu and T.Watanabe(2013), “Aging and Real Estate Prices: Evidence
from Japanese and US Regional Data,” CARF Working Paper Series (東京大学),
CARF-F-334.
page.
Big Data & Housing Market
page.
人口構成の変化と住宅市場
19
-0.040
-0.030
-0.020
-0.010
0.000
0.010
0.020
0.030
90
95
100
105
110
115
120
1975 1980 1985 1990 1995 2000 2005 2010
Tokyo
Real land price in log (left scale)
Old age dependency ratio(right scale)
Dependency ratio(right scale)
(Index: 1970=100)
-0.080
-0.060
-0.040
-0.020
0.000
0.020
0.040
90
95
100
105
110
115
1975 1980 1985 1990 1995 2000 2005 2010
Osaka
Real land price in log (left scale)
Old age dependency ratio(right scale)
Dependency ratio(right scale)
(Index: 1970=100)
-0.025
-0.020
-0.015
-0.010
-0.005
0.000
0.005
0.010
0.015
90
92
94
96
98
100
102
104
1975 1980 1985 1990 1995 2000 2005 2010
Aomori
Real land price in log (left scale)
Old age dependency ratio(right scale)
Dependency ratio(right scale)
(Index: 1970=100)
-0.060-0.050-0.040-0.030-0.020-0.0100.0000.0100.0200.030
90
95
100
105
110
1975 1980 1985 1990 1995 2000 2005 2010
Kagawa
Real land price in log (left scale)
Old age dependency ratio(right scale)
Dependency ratio(right scale)
(Index: 1970=100)
page.
Big Data & Housing Market
page. 20
-0.050-0.040-0.030-0.020-0.0100.0000.0100.0200.0300.0400.050
90
95
100
105
110
115
1975 1980 1985 1990 1995 2000 2005 2010
California
Real housing price in log (left scale)
Old age dependency ratio(right scale)
Dependency ratio(right scale)
(Index: 1970=100)
-0.050-0.040-0.030-0.020-0.0100.0000.0100.0200.0300.0400.050
9596979899
100101102103104105
1975 1980 1985 1990 1995 2000 2005 2010
Texas
Real housing price in log (left scale)
Old age dependency ratio(right scale)
Dependency ratio(right scale)
(Index: 1970=100)
-0.030
-0.020
-0.010
0.000
0.010
0.020
0.030
0.040
0.050
90
95
100
105
1975 1980 1985 1990 1995 2000 2005 2010
West Virginia
Real housing price in log (left scale)
Old age dependency ratio(right scale)
Dependency ratio(right scale)
(Index: 1970=100)
-0.030
-0.020
-0.010
0.000
0.010
0.020
0.030
90
95
100
105
110
115
1975 1980 1985 1990 1995 2000 2005 2010
New York
Real housing price in log (left scale)
Old age dependency ratio(right scale)
Dependency ratio(right scale)
(Index: 1970=100)
page.
Big Data & Housing Market
page.
不動産価格はどのように決まっているのか?
21
No. of
observa
tions
Adj. R2
Japan 1,645 0.629 0.2188 0.0000 -1.3167 0.0000 0.9177 0.00 -0.1033 0.00
Standard error/t value 0.058 / 3.76 0.186 / -7.06 0.290 / 3.17 0.009 / -11.33
U.S. 1,836 0.439 0.4515 0.0000 -0.9067 0.0000 0.7514 0.00 -0.1272 0.00
Standard error/t value 0.042 / 10.66 0.116 / -7.79 0.116 / 6.46 0.010 / -12.29
Old dependency ratio Total population EC termGDP per capita
一人あたりGDP:
Japan 0.2188, US 0.4515, Takáts:0.8842.
高齢化比率:
Japan -1.3167, US -0.9067, Takáts:-0.6818.
総人口:
Japan 0.9177 , U.S. 0.7514, Takáts: 1.0547.
page.
Big Data & Housing Market
page.
今後30年間の人口構成の変化と住宅市場
• Forecast the real land prices in Japan using the regression,
• The projection on demographic changes released by the
IPSS(National Institute of Population and Social Security
Research).
• Based on natural increases/decreases calculated from the
survival probability and the number of births by cohort and
social increases/decreases due to movement between regions.
• Population projections : the medium variant projection,
which is based on the assumption of medium fertility, unless
otherwise mentioned.
page.
Big Data & Housing Market
page.
人口のインパクト
• Assumption on future population – The medium variant projection on demographic changes calculated by IPSS(National
Institute of Population and Social Security Research)
45
50
55
60
65
70
75
95
100
105
110
115
120
125
130
2020 2030 2040Total population Old dependency ratio (right scale)
million percent
Note : IPSS projection is based on natural increases/decreases calculated from the
survival probability and the number of births by cohort and social increases/decreases
due to movement between regions. .
page.
Big Data & Housing Market
page.
人口変化による価格の押し下げ効果-2015-2040
24
Country Year TPOP POP20-64 POP65+ DEPDemocraphic
Impact
2015 49,750,234 32,992,745 6,470,745 19.61%
2040 52,269,547 27,300,208 15,958,224 58.45%
2040/2015 1.051 0.827 2.466 2.980
2015 1,401,586,609 931,915,242 132,457,293 14.21%
2040 1,435,499,255 834,430,851 316,725,513 37.96%
2040/2015 1.024 0.895 2.391 2.671
2015 127,758,767 70,979,780 33,533,262 47.24%
2040 114,517,258 56,121,848 39,496,695 70.38%
2040/2015 0.896 0.791 1.178 1.490
-3.523%
-3.813%Korea
China
Japan -1.971%
Saita,Shimizu and Watanabe(2013):
人口要因 : 2015-2040 -1.56 %
page.
Big Data & Housing Market
page.
• 空き家ゾンビの増殖が止まらない。ゾンビとは?
• マンション，区分所有建物は，a）建て替えには5分の4
の居住者，持ち分の賛成が必要，b）区分所有権の解消
のためには全員同意が必要，など更新，滅失させるためには極めて大きなコストがかかる仕組みとなっている。
• [目的]
• 区分所有建物，とりわけ老朽化した区分所有建物の地域集積が，外部不経済を発生させるか，発生させるとすればどの程度発生させるのかを明らかにする。
25
3. ビッグデータが予見するスラム化する大都市: 老朽化マンションの増加とそのスラム化と生き残る市場
page.
Big Data & Housing Market
page.
建築後25年以上マンションの増加
31
0
500,000
1,000 ,000
1,500 ,000
2,000 ,000
2,500 ,000
3,000 ,000
3,500 ,000
4,000 ,000
2005 2010 2015 2020 2025 2030 2035
0
50,000
100,000
150,000
200,000
250,000
10km未満
10km以上20km未満
20km以上30km未満
30km以上40km未満
40km以上50km未満
50km以上60km未満
70km以遠
老朽
マン
ショ
ンス
トッ
ク数
(戸):
O(t
)
老朽
マン
ショ
ン増
加数
: O(t)-O
(t-5)70km以遠
60km以上70km未満
50km以上60km未満
40km以上50km未満
30km以上40km未満
20km以上30km未満
10km以上20km未満
10km未満
10km未満
page.
Big Data & Housing Market
page.
東京都における距離帯別老朽マンションの将来予測
32
0
20,000,000
40,000,000
60,000,000
80,000,000
100,000,000
2005 2010 2015 2020 2025 2030 2035
0
2,000,000
4,000,000
6,000,000
8,000,000
10,000,000
10km未満
10km以上20km未満
20km以上30km未満
30km以上40km未満
40km以上50km未満
40km以上50km未満
30km以上40km未満
20km以上30km未満
10km以上20km未満
10km未満
page.
Big Data & Housing Market
page.
老朽マンションの増加がもたらす住宅価格の下落
老朽マンション効果
33
( , ) 0 2 ,
3 4 ( , )
1 ,log log
n
T A i
m m
i j i j
m
n n s
k i i j
s
P a a X
a N H
O
E
a
a
1 , :T A ia O A 年以前に建築されたマンション
page.
Big Data & Housing Market
page.
推計結果
34
東京都全地域 マンション地域
Model.1 Model.2 Model.3
回帰係数 t値 回帰係数 t値 回帰係数 t値
定数項 -57572.910 -28.71 -57302.060 -28.53 -61060.460 -24.04
O: マンション効果
マンション存在効果:2010 -0.015 -1.79 - -
Or(-90):1990年以前建築マンション比率 -0.046 -3.33 -0.032 -2.31
Or(91-00):1991-2000年建築マンション比率 -0.007 -0.32 -0.008 -0.42
地域コントロールダミー 0.042 21.45 0.042 21.59 - -
X : 建物属性
S: 専有面積 0.584 142.25 0.584 142.29 0.580 134.40
L:土地面積 0.295 101.97 0.295 101.96 0.294 95.43
A:建築後年数 -0.065 -112.72 -0.065 -112.75 -0.060 -92.00
W:前面道路幅員 0.033 14.03 0.033 14.02 0.028 10.69
TS:最寄駅までの距離 -0.075 -49.51 -0.075 -49.58 -0.080 -47.71
Bus:バス圏ダミー -0.074 -19.04 -0.074 -19.02 -0.099 -17.42
NR: 部屋数 -0.005 -7.34 -0.005 -7.35 -0.003 -3.90
WD:木造ダミー -0.073 -21.57 -0.073 -21.61 -0.069 -19.54
CD: 車庫ありダミー 0.015 4.15 0.015 4.13 0.012 3.26
PR: 私道ダミー -0.002 -1.07 -0.002 -1.06 -0.002 -1.10
MK : 市場特性
MT: 市場滞留時間 (×1000) 0.199 27.69 0.199 27.69 0.190 24.21
時間効果存在効果 時間効果
page.
Big Data & Housing Market
page.
大都市で発生する空きビル問題:生き残る市場
• 理論的分析: Brueckner(1980), Wheaton(1982)
– 再開発が行われる条件
– VR : 再開発された不動産から得られる収入の割引現在価値
– VC : 現在の用途から生まれる不動産収入の割引現在価値
• 実証分析:
– [ VR－VC ] が再開発の確率をどの程度高めているか．
– Rosenthal and Helsley (1994:住宅), Munneke (1996:商業不動産)，McGrath (2000:土壌汚染)
• （1）の仮説を支持（シカゴ市の不動産物件を対象にした分析）
• Shimizu, C. (2012), “Selection of the Winning Office Investment Market
in Tokyo,” Real Estate Issue, Vol. 37, No. 2-3, 51-60.
10 CR VV
page.
Big Data & Housing Market
page. 40
CBD(都心中心)からの距離
収益(賃料) 事務所
住宅
超過収益
機会損失
都心からの距離と付け値曲線
page.
Big Data & Housing Market
機会損失が発生しているビル:2004年
41
オフィスの分布 機会損失ビルの分布
Source) Shimizu and Karato(2010), Microstructure of Office Investment Market in Tokyo Metropolitan Area,(forthcoming)
page.
Big Data & Housing Market
page. 43
オフィスから住宅への用途転換 Office properties to Residential properties
Source : Shimizu,C , K.Karato and Y.Asami(2010), “Estimation of Redevelopment Probability using Panel Data-Asset
Bubble Burst and Office Market in Tokyo-,”Journal of Property Investment & Finance,Vol.28,No.4, pp.285-300.
page.
Big Data & Housing Market
page.
4.ビッグデータ・機械学習は住宅市場にイノベーションを起こすことができるのか?
• 様々な人が集まり，交流が生まれることで情報の交換が促され，互いに刺激を与えあうことが可能となる地域」であり，かつ「そうした場所でこそ可能であることとして独創的なアイディアや技術が生み出さられ，結果として持続的な成長を可能とする地域」
• →創造性(creative)，イノベーション(innovation)
• 都市にどのような特徴を持つ人々が居住するか，そしてそれがどう移り変わっていくか」 (Storper and Scott
(2009))。
• 「かつての都市のあり方とちがって現在では，土地でも資本でもなく，人々の創造的なアイディアこそ経済の成長における最も重要な原動力である」(Clark (2004))。
page.
Big Data & Housing Market
page.
年収は住むところによって決まる
• アメリカ合衆国において，アメニティが充実している都市ほど人口が多い(Glaeser et al (2001) )
• スペインを対象にした研究においてアメニティによる質の高い文化的消費の機会が得られる地域ほど，居住者の収入が高い(Navarro et al. (2012))
• →アメニティの集積がもたらす人口集積・所得
page.
Big Data & Housing Market
page.
住宅新産業研究会の提案(2016)
• 提案1.不動産取引価格情報の整備と適切な開示
• 提案2.売り手・買い手・仲介業者の責任を明確にすると共に、インスペクションに代表される品質情報を生産する仕組みの一層の普及
• 提案3.製造段階、保有段階、流通段階など様々な局面で蓄積される情報を、製造者
、所有者、売り手のそれぞれの責任を明確にした上で情報を生産し、蓄積する社会システムを構築する。
• 提案4.開示が必要とされる地域情報を地域単位で定義し、それを整備すると共に消費者に対して提供する仕組みを創設する
• 提案5.低価格物件、無価値化物件が流通できるように、手数料体系の抜本的見直しを行うと共に、C to C市場の創設の阻害要因となっている制度改正を進める
• 提案6.海外からの投資、またはB&Bなどに代表される新しい利用方法、リノベーションなどによる建物利用転換などを含む、住宅需要を拡大させる市場育成に努める
• 提案7.ビッグデータの活用と市場変革、生産性を向上させるために、データ間の融合が可能になるような情報流通の制度を設計する
• 提案8.不動産価格指数、リスク評価ができる情報インフラなどが開発でき
る環境を整備し、市場リスクを評価できる技術開発を進めることで、新しい金融市場が創設できるような情報インフラを整備する。
• 提案9.高度不動産人材の育成
page.
Big Data & Housing Market
page.
機械学習の実践: Machine learning in practice
• a) Data collection : The data collection step involves
gathering the learning material an algorithm will use to
generate actionable knowledge.
• b) Data exploration and preparation : The quality of any
machine learning project is based largely on the quality of its
input data.
• c) Model training : By the time the data has been prepared
for analysis, you are likely to have a sense of what you are
capable of learning from the data.
Brett Lanz (2015)
page.
Big Data & Housing Market
page.
• d)Model evaluation : Because each machine learning model
results in a biased solution to the learning problem, it is
important to evaluate how well the algorithm learns from its
experience.
• e)Model improvement : If better performance is needed, it
becomes necessary to utilize more advanced strategies to
augment the performance of the model. Sometimes, it may be
necessary to switch to a different type of model altogether.
Brett Lanz (2015)
page.
Big Data & Housing Market
page.
データ整備をどのように進めればいいのか?
• 不動産IDは作ることができるのか?
• There is about 1.7 million(1,665,152) buildings Metropolitan
Area.
page.
Big Data & Housing Market
page.
5. 住宅市場の進化のための条件
• 行政が中心となって不動産価格情報を整備する
• 情報流通のルールを策定する
• 不動産ID，データ交換が可能なプラットフォームを構築していく
• →Big Data & Machine Learning →Innovationの循環を作る
page.
Big Data & Housing Market
page.
高度人材育成の重要性
• 教育体系:清水のNUSの講義ノートより
• Step1: Find research topic / Lecture 1
• Step2: Hypothesis and Research Design / Lecture 2
• Step3: Literature Review / Lecture 2
• Step4: Data Collection / Lecture 3
• Step5: Analyzing Data / Lecture 4
• Step6: Interpretation of results / Lecture 5
• Step7: Validation of results / Lecture 5
• Step8: Writing the thesis or report with conclusion /
Lecture6 and Tutorial
page.
Big Data & Housing Market
page.
ArtとScienceの融合，人材の輩出
• からくさ不動産塾(2016-)
• 日本の住まいの未来を創る会(大垣・池田・下関 2016-)
• 清水ゼミ(岐阜(2015-)・京都(2016-))
page.
Big Data & Housing Market
page.
清水千弘 : Chihiro Shimizu, PhD
シンガポール国立大学不動産研究センター 教授
Professor, Institute of Real Estate Studies
National University of Singapore
21 Heng Mui Keng Terrace, #04-02
Singapore 119613
Tel: (65) 6601 4925 Fax: (65) 6774 1003
Email: [email protected]