林峰正/智慧型工程管考系統 : 資料分析經驗談

GIS Research Center, Feng Chia University,Taiwan

林峰正研究副教授

[email protected]

Power byhttps://www.facebook.com/GIS.FCU

智慧型工程管考系統 : 資料分析經驗談


關於我

• 林峰正服務於逢甲大學地理資訊系統研究中心研究副教授，研究主題包含雲端運算、時空資料視覺化分析、商業智慧、排程理論，目前執行科技部、水保局、水利署、國家太空中心雲端相關研發及系統建置計畫，另外，協助翻譯雲端巨量資料分析相關兩本重要書籍，包含HBase 技術手冊第一版、 Hadoop 技術手冊第四版 (即將出版)。


關於我


近期演講• 臺中市政府研考會專家學者專題演講-大數據時代的生活新思維, 預計2015年11月16日。

• 臺中市政府公務人力訓練中心-巨量資料分析研習班(3hr), 預計2015年8月18日。

• 水利署業務講習演講-「巨量資料(大數據)發展應用」, 2015年6月24日。

• 台中市政府資訊中心資訊講座及教育訓練-「初級數據分析師」(3/3)- 資料的進階應用與視覺化 (3hr), 2015年4月10日。

• 台中市政府資訊中心資訊講座及教育訓練-「初級數據分析師」(2/3)- Hadoop 生態系統介紹 (3hr), 2015年4月10日。

• 台中市政府資訊中心資訊講座及教育訓練-「初級數據分析師」(1/3)- 資料學基本概念與案例介紹 (3hr), 2015年4月8日。

• 逢甲大學智慧聯網科技社群-Big Data 的發展現況 & 專案分享, 2015年3月20日。

• 逢甲大學資訊工程系演講-資訊應用能力與雲端程式開發經驗談, 2014年11月25日。


工商服務


Game or real project/system ?

Winner needs to control

construction project's

cumulative progress

from start to finish

Game by Microsoft - Age of Empires II

YES

We are playing real game.

Real Construction Project Management System

2. Find good partners

1. construction projects

need to be done on time

How to win?


• Soil and Water Conservation Bureau takes care

about construction projects :

– design and execute the conservation engineering of

watershed.

– design and execute the tasks of hillsides conservation,

green engineering, safe drainage and regional soil and

water conservation.

Improving Response Measure for Sediment Disaster in Watershed


Question from big data in existed system?

• Not big, but about 32,000 historical data.

• How to know the reasonable curve

forecast in each project?

• How to find good partners to finish

construction projects on time?


依計畫-進度預警

「工程進度預警」模型-視覺化展示(1/4)

大數據推估的準確率

時間軸顯示各月份的進度

• 顯示各分局轄區範圍

• 透過顏色顯示當月進度是超

前(綠)、符合(藍)或落後(紅)

適用時機:

• 平時業務需求

• 工程進度檢討會議

例如:可於5/10的進度檢討會議

推估出5月份「流域綜合治理計畫」各分局的進度• 顯示前一個月份的實際進度

• 顯示當月份的大數據推估進

度

舉例:台北分局於「流域綜合治理計畫」

4月份進度差異為-5%

5月份時，推估為-8% (持續落後中)

推估的可信度有80%的準確率


「工程進度預警」模型-視覺化展示(2/4)依計畫-各分局計畫進度預報

除了顯示當月份的推估進度，

也可提供水保局及各分局掌握該計畫整年度的進度趨勢

顯示大數據推估各分局

整年度的計畫進度預報

此畫面為示意圖


12

「工程進度預警」模型-視覺化展示(3/4)依工程-進度預警

顯示大數據推估進度落後、超前或符合的件數

(黃線)顯示工程預定進度

透過顏色，顯示大數據推估的結果

進度落後(紅)、超前(綠)或符合(藍)

(藍線)顯示工程實際進度

(紅虛線)顯示大數據推估的進度

顯示大數據推估「當月份」的進度差異及準確率

顯示影響進度落後的可能原因

5月份

若察覺計劃進度嚴重落後，

即可查看哪些工程影響進度落後


13

「工程進度預警」模型-視覺化展示(4/4)進度報表將大數據推估出的進度，以報表呈現，用於進度檢討會議

於進度檢討會議報表增加當月份的推估進度與進度差異

提供匯出年底前，計畫內進度差異達到-20%的工程清單


Apply back propagation neural

networkto build model

Input new data into the trained model

Find the forecasted S and P

Check definition table

Classify

four categories

How to build prediction model?

How to predict the progress of new

coming engineering case?

How to classify Engineering Case?

How to analyze every

project’s S-curve

characteristics?

Apply cubic polynomial function ，Curve Fitting to find

the parameters

A

Q

The process of predication

Write R code to runS Curve Fitting

Find the parameters of a and bFind S and P

Agricultural Road improvement and maintenance

Waterfront project

Non-waterfront project

Dredging project

Write R code to runNeural net module

Train model

Compute the parameters of a, b S-curve can be obtained

New Input: Budget, duration, type, location, rainfall


The introduction of S-curve• The S-curve is a graphical representation of a construction

project’s cumulative progress from start to finish and

commonly used as a tool for project progress control, but

the traditional forecasting method by calculating the

cumulative progress at each time point from a schedule is

time-consuming and it would be beneficial for project

progress management if the forecast can be assisted by

faster methods.

Project’s cumulative progress

Time


S Curve formula

x is the time of contract、y is the cumulative progress

a，b are parameters

x=0, y=0; x=1, y=1


Raw data

normalization

Curve Fitting by R

Find parameters of

a, b

Forecast New ProjectDifferent S-curve obtained

by different projects

New Input of X (Future time)

The Y value is

calculated by S-curve

Obtain S-curve


Input X: 0.0, 0.1, 0.2, 0.3, 0.4, 0.5

Input Y: 0.0, 0.1, 0.2, 0.4, 0.5, 0.6

Model:

Nonlinear regression model

model: y ~ I(a * x^3 + b * x^2 + (1 – a – b) * x)

data: parent.frame()

a b

-0.9116 0.8963

residual sum-of-squares: 0.003034

Number of iterations to convergence: 1

Achieved convergence tolerance: 9.16e-08

New input of X : 0.6, 0.7, 0.8, 0.9, 1.0

Forecast Cumulative progress : 0.73, 0.84, 0.92, 0.98, 1.00

Cumulative monthly actual progress

Forecast Cumulative progress

Forecast Cumulative Progress Monthly Before the end of Selected Project


Apply the neural network in R

Import Data

Forecast

P and S values

Model Training completed

New

Project’s

Condition

Compute a, b

Observe the difference between the

actual curve prediction curve

Budget, duration, type, location, rainfall

Budget, duration,

type, location, rainfall


# --------- actual curve -------------

---

P = 0.5957

S = 1.0000

A = computeA(P,S)

B = computeB(P,S)

curve(SCurve, 0, 1)

Observe the difference between

the actual curve prediction curve

# -------- prediction curve ---------

--

PNN = 0.3812277520

SNN = 1.0433264985

A = computeA(PNN,SNN)

B = computeB(PNN,SNN)

curve(SCurve, 0, 1, add=T, col=2)

Prediction curve

Actual curve


The number of hidden layers RMSE for P RMSE for S

hidden=1 0.1753558174 0.5418783552

hidden=3 0.1757130704 0.5303154711

hidden=5 0.1755577719 0.5280936548

Training


Data of Sampling

and Testing project

checkDataList<-read.csv(“L:0305/DT-EngQuality_Check.csv”)

gradeDataList<-read.csv("L:0305/DT-EngQuality_Grade.csv")

install.packages("rpart")

library(rpart)

check.tree=rpart(result~constructor+inspector, data= checkDataList)

grade.tree=rpart(result~constructor+inspector, data= gradeDataList)

Data of

Supervising project

Project’s quality correlation analysis

1. What combination (Constructor +

Inspector) is good from historical

data?

2. For reference to find good partners.

Constructor

Inspector


Each trained data by decision tree

Import Data

Result: Pass/FailedRanking: A/B/C

Trained model

New

combination

Verify the accuracy of model by testing data

Data of Sampling and Testing project

Data of Supervising project

Sampling and Testing project

Supervise project

Constructor

Inspector


25

90~103年抽驗結果資料

90~103年督導結果資料

決策樹運算(R語言實作)

大數據分析運算模組

水保局

當某天要進行督導或抽驗作業，需要有一份督導或抽驗對象清單

使用情境

得到一份水保局歷年來所有施工廠商與監造廠商所有組合的推估成績

建立完成訓練資料

工程管考系統

整合

工程督導小組挑選督導明細功能

工程抽驗作業挑選抽驗工程功能

可依計畫別工程位置工程條件(如:進度)

進行篩選

104年度流域治理綜合計畫實際工程進度30%以上

施工與監造廠商組合後，督導成績會是丙等挑選出C級的施工廠商挑選出C級的監造廠商

呼叫資料提供回應

管考提供

大數據提供

一份綜整管考系統與大數據分析結果的抽驗或督導對象清單

廠商歷年抽驗分數

廠商歷年督導分數

廠商執行的工程是否有落後情形

廠商執行的工程是否有變更情形

廠商承接大於500萬金額的工程經驗

綜合評比

監造及施工廠商等級

模型1:推估監造和施工廠商共同配合的抽驗或督導結果

模型2:透過歷史資料，建立廠商等級

作業流程


模型1. 推估監造和施工廠商共同配合的抽驗

或督導結果-使用資料

• 資料時間: 民國90年~103年

• 抽驗: 6,007件

• 督導:4,980件

工程編號施工廠商監造廠商時間結果督導或是抽驗

督導結果: 甲/乙/丙甲: >85乙: 75~85丙: <75

抽驗結果: 合格/不合格合格: >=60不合格: <60

資料轉換

歷年督導及抽驗成績

依水保局現行規定


模型1. 推估監造和施工廠商共同配合的

抽驗或督導結果 –分析方法

監造廠商

施工廠商施工廠商

廠商名稱:監造A

廠商名稱:監造B

結果合格:1/2，不合格1/2

結果合格: 1/3，不合格: 2/3

結果合格:0，不合格1

廠商名稱:施工A

廠商名稱:施工B 廠商名稱:

施工A

建立分類與回歸樹

歷年抽驗及督導的資料

• 每個決策事件都可能引出多個事件，導致不同的

結果

• 本計畫透過「分類與回歸樹」推估出，不同監造

與施工廠商組合所影響的合格或不合格的結果

完成訓練模型


分析結果-準確度評估透過「分類與迴歸樹（CART）」推估監造和施工廠商共同配合的抽驗或督導結果的準

確率，經過評估，有關

• 抽驗資料準確度可達99%以上

• 督導資料準確度可達96%以上


2929

直接評分項目直接評分項目選定理由權重設定間接評分項目

金額規模

1. 依行政院農業委員會水土保持局

治山防災工作參考手冊，有關工

程核定作業以工程經費是否為

500萬以上作為函報本局召開工

程審議會議為門檻，故本項目依

其門檻作為憑分依據。

2. 依分析廠商評比之原始資料統計，

500萬以上工程占15.85%、500

萬以下則占84.15%。

500萬以上 (+2)、500萬以下

(+1)

工程效益、工程保固金、工程目的、

工期、工作項目、核定底價、發包方

式、停工原因、計畫別、子計畫別、

變更後金額、工程內容、工程管理費

等500多項欄位資訊。

抽驗情形

廠商是否確實執行自我檢核作業，攸

關工程品質執行情形，其102年(含)以

前分數係採甲、乙、丙、丁四種等級

評定，102年後則採合格、不合格來評

定廠商於工程執行情形。

合格(+1)、不合格 (+0)、甲等

(+2)、乙等 (+1)、丙等 (+0)、

丁等(+0)

督導情形

廠商是否確實執行自我檢核作業，攸

關工程品質執行情形，係透過不同評

分項目並依甲、乙、丙、丁四種等級

評定廠商之工程執行情形。

甲等 (+2)、乙等 (+1)、丙等

(+0)、丁等(+0)

進度落後

廠商有效掌握工程執行進度，可能因

其營建專管經驗較為豐富，能確保工

程如值如期完竣。

超前或符合(+1)、落後(+0)

變更設計情形

發包後進行變更設計作業，其對進度

執行易產生停滯情形，故減少不必要

變更設計始能有效掌握工程執行進度。

有變更(+0)、無變更(+1)

建立廠商評比-

評估指標


依指標建立權重表

30

評分項目情境1

的指標權重情境2



的指標權重

抽驗分數(1/0)→合格/不合格 0.15 X 0.30 X

督導分數(2/1/0)→甲/乙/丙 0.20 0.30 X X

落後 (1/0)→沒落後/落後 0.30 0.30 0.30 0.45

變更 (3/2/1)→追加/不變/減少 0.05 0.10 0.10 0.10

金額規模500萬(2/1)→大於/沒大於 0.30 0.30 0.30 0.45

總計 1.00 1.00 1.00 1.00

具備評分項目數 5 4 4 3

評分項目權重得分加權後

抽驗分數: 合格 0.15 1 0.15

督導分數: 乙等 0.20 1 0.2

進度落後情況: 落後 0.30 0 0

有關變更設計:預算無追加過

0.05 2 0.1

辦理的工程經費: 485萬 0.30 1 0.3

總計 1.00 5 0.75

評分項目權重得分加權後

督導分數:甲等 0.30 2 0.6

進度落後情況:沒落後

0.30 1 0.3

有關變更設計:經費曾追加

0.10 3 0.3

辦理的工程經費: 658萬 0.30 2 0.6

總計 1.00 8 1.8

於情境1時，假設廠商曾執行過一件工程，並具備所有評分條件，廠商的評分如下:

於情境2時，假設廠商曾執行過一件工程，但無抽驗條件，故不納入抽驗項目，評分如下:

考量四種情境


建立廠商評比-成果

A評等廠商 B評等廠商 C評等廠商

數量比例數量比例數量比例

監造廠商 119 15.95% 545 73.06% 82 10.99%

施工廠商 438 8.18% 4087 76.31% 831 15.52%

廠商評分等級劃分依據

將各廠商評分完後，本計畫係依平均值與標準差將廠

商評等為A、B、C級

• A 評等廠商 : 分數> 平均值 +1個標準差

• B 評等廠商 : 分數介於平均值 +1及-1 個標準差

• C 評等廠商 : 分數< 平均值 - 1個標準差

廠商評分等級結果


廠商評比結果-介面展示顯示透過大數據所分析出來的廠商等第清單

資料更新頻率:

每半年可依據資料庫

最新資料重新計算

可依A,B,C類別

查詢廠商清單


Thanks for your attention

Your kindly advice will be greatly appreciated

林峰正/智慧型工程管考系統 : 資料分析經驗談

Data & Analytics