金融巨量資料的探勘與應用
TRANSCRIPT
講者介紹：酆士昌 [email protected]
現任：厚生資本股份有限公司（資訊長）著作：包含作業系統、網路、生活、職能、旅遊類共 80 本授課與演講：• Linux 嵌入式系統：
– 台北市勞工局－ Linux 作業系統實務， 2012/8/27-2012/9/5– 台北市勞工局－ Linux 作業系統實務， 2013/7/24-2013/8/1– 經濟部工業局－嵌入式軟韌體設計工程師班（作業系統）， 2013/8/16-2013/8/23– 經濟部工業局－嵌入式軟韌體設計工程師班（作業系統）， 2013/12/30-2014/1/3– 經濟部工業局－嵌入式軟韌體人才養成班（作業系統）， 2014/8/19-2013/8/21
• Linux 認證：– 東吳大學數學系－ LPIC 國際認證營， 2012/9/24-2012/10/6– 北區職訓局－ LPIC 網路工程師， 2013/5-2013/7
• 雲端網路與大數據：– 北市職能學院－企業雲端私有雲建置實務人才培訓班， 2012/10/15-2012/10/18– 東吳大學數學系演講─企業雲端服務應用， 2013/5– 北市職能中心－企業雲端私有雲建置實務人才培訓班， 2013/9/9-2013/11/22– 文化大學－網路工程師職訓班， 2014/7– 文化大學－產業人才投資方案班（雲端伺服器）， 2014/8-2014/10– 文化大學－產業人才投資方案班（雲端伺服器）， 2015/3-2015/5
學歷：清華大學數學研究所應用數學組
關於厚生資本公司簡介
我們專注於 kernel 、行程排序管理、記憶體存取、 cpu 指令、提取、演算與解碼。提供 M5 creator language DSL 高頻系統專用，金融演算法的開發環境，演算法所用的數值分析工具庫，以及金融分析工具用的 K 線型態學。
產業領域 雲端數據庫– Big Data 資料探勘研究 金融即時報價源 Ultra-Low Latency DMA Embedded 金融交易平台
產品與服務 Ultra-Low Latency 即時報價源與資料解碼 完整的即時，歷史，金融走勢資料庫 ATS (alternate trade system) embedded 金融交易平台 M5Creator 演算法產生器 金融交易元件 數值分析元件 財務決策元件
http://www.eyem5.com/https://www.facebook.com/eyem5.com
Topics
一、從大數據到金融大數據二、利用大數據建構自己的交易系統三、巨量資料的應用－高頻交易系統結論
1. 認識 Big Data2. 認識金融大數據3. 為什麼要學探勘、挖礦4. 大數據的分析處理
一、從大數據到金融大數據
一、從大數據到金融大數據20 年前的大數據？
1. 大的數據 vs. 大數據2. 大數據的根本：網路產生的互動3. 大數據的利基：多樣性、速度、準確度而
得的效益
一、從大數據到金融大數據1. 認識大數據
一、從大數據到金融大數據
BDaas
1. 大數據的資料分層結構
準確性（ Veracity）
價值（ Value）
容量（ Volume ）
快速（ Velocity ）多樣性（ Variety ）
Big Data
一、從大數據到金融大數據2. 金融數據的特
性• 3V
• 交易本身具有互動性• 交易資料具有隱蔽性• 研究金融交易者的行為
資料單位：容量（ Volume ） 一、從大數據到金融大數據
資料內容： 多樣性（ Variety ） 一、從大數據到金融大數據
運算速度：快速（ Velocity ）•期交所 125ms 的撮合速度• 證交所逐筆撮合• Round trip 時間：
640ms↓128ms ↓12ms ↓1ms ↓
？ us ↓
一、從大數據到金融大數據
• 探勘：在隱藏性的資料找到特定的 pattern、相關性或趨勢
• 挖礦：
挖礦 1.0 金銀銅鐵錫鎳等貴金屬以重量為主挖礦 2.0雜湊與加密
以運算為主
挖礦 3.0 數值、型態、排列、分析以模型為主
大數據
一、從大數據到金融大數據
大數據的分析處理
1. 增加日期
2. 格式標準化
3. 建立資料庫欄位
4. 建立資料庫索引
5. 調整資料庫屬性
6. 匯入資料庫
一、從大數據到金融大數據
https://www.youtube.com/watch?v=i11nvXzNNJU
大數據的分析處理
成交
時間區間內的統計數值
一、從大數據到金融大數據
大數據的處理結構
1.能培訓數據處理的人才，提升台灣金融產業的競爭實力。
2.能提供中央銀行外匯儲備與台灣保險公司的另一種匯率避險的管道。
3.能提供台灣百大上巿的匯率避險及多國貨幣、多元資產、動態資產凈值，提供一個決策管理與財務思維的應用。
4.能讓學生培養從事對投資分析 /沖基金管理與營運的能力，提供學生在畢業後多元化的職場工作。
5.使其樂於自我突破，不斷挑戰極限。
一、從大數據到金融大數據
二、用大數據建構自己的交易系統1. 選擇交易標的2. 建立交易部位3. 進行風險控管4. 交易訂單管理5. 檢討自己的交易6. 認識演算法7. 將交易心得量化
•商品種類• 國內、國外？• 入金方式• 資料分析
二、用大數據建構自己的交易系統
1.選擇交易標的 資料分析 - 資料議題設定
1. 交易資料的因果性2. 交易資料的隱藏性3. 交易資料的變動性4. 交易資料的關聯性
K 線圖範例
資料分析 - 歷史資料的建構與分析與方法
二、用大數據建構自己的交易系統
KD範例
資料分析 - 歷史資料的建構與分析與方法
二、用大數據建構自己的交易系統
二、用大數據建構自己的交易系統
1. 界定交易多空的原則2. 挑選交易巿場3. 設定風險控制的方法每筆交易最大風險、停損策略、分散交易
4. 交易訂單例如管理觀察圖表的排列、擬定計劃新的交易、更新部位的出場點
5. 撰寫交易筆記6. 交易日記
交易的理由、交易的結果、心得與教訓7. 分析自已的交易
多空比例、交易筆數、停損停利、正確執行決定、部位資金管理與分配
2. 建立交易部位
• 用期望值決定一切？•停損的概念• 資金部位的分配•套值保利的概念
3. 進行風險控管
二、用大數據建構自己的交易系統
• 時間差的問題•手續費的考量•滑價的風險
二、用大數據建構自己的交易系統
4. 交易訂單管理
• 建立交易筆記• 記錄每一筆交易心得•評估自己的個性•定時檢討交易的紀錄
二、用大數據建構自己的交易系統
5. 檢討自己的交易
Marcos Otero ：• 必須是有限的。如果你的演算法在解決問題以後還在跑，那它便不是一個有效的演算法。
• 它的每一個步驟都要被清楚的規範。演算法的每一個步驟都要非常的精確，那些指示應該在每個情況下都有非常明確的規範。
• 它要是用的。那個演算法必須要解決那個問題，並且應該可以要用紙筆就可以證明他是可以解決你的問題。
6. 認識演算法：演算法的範圍二、用大數據建構自己的交易系統
6. 認識演算法：金融演算法金融演算法交易（又稱黑盒交易、自動交易）：• 設定時間範圍。• 定義明確的條件：何時、以什麼價格、數量來
交易什麼標的。• 績效評估為正（扣除稅金與手續費後）。
二、用大數據建構自己的交易系統
7. 將交易心得量化
• 撰寫個人的演算法。• 使用歷史資料回測• 選用合適的指標。
二、用大數據建構自己的交易系統
1. 高頻交易的關鍵2. 高頻交易系統的建構3. 高頻交易的策略
三、巨量資料的應用－高頻交易系統
1. 高頻交易的關鍵
• 資訊交易設備
• 交易策略與演算法
三、巨量資料的應用－高頻交易系統
2. 高頻交易系統的建構三、巨量資料的應用－高頻交易系統
速度決定一切：• 網路的低延遲傳輸• 系統的快速回應判斷• 模組化的伺服器建構• 動態淨值與風險管控
2. 高頻交易系統的建構三、巨量資料的應用－高頻交易系統
• 程序化交易策略3. 高頻交易的策略
將大單分散多筆小單：• M5 ：多策略、多帳號、多商品、多週期、多經紀商• 批量批單方式：時間加權平均價格法、成交量加權平均價格法、百分比加權平均價格法、隨機分割法、差額策略法
三、巨量資料的應用－高頻交易系統
• 新產業的來臨，新的商機• 新人才的需求，新的機會• 新數據的探勘，新的發現• 新交易的產生，新的模型
結論
Thank YouAnd more ...
坐享其成－科技沒有不創新而能坐享其成禮聘賢才：互聯網 + ： 工業 4.0 、 Big data 大數據的分析與探勘，隱然成為工業
革命 3.0 的態勢，隨著科技的進化，速度的提升，這股浪潮吹進了金融業，帶動另一波產業生態的連結「金融投資產業的創新商業服務」、「銀行進行式 3.0」，因創新服務需要新的元素人才：金融交易人員、 Big data 科學分析師、演算法策略顧問師、模型建構的數值分析師，是美國矽谷、華爾街的十大熱門人才。
人才性格：我們需要的是－「獨特的想法」，專注的研究追求心中真理，對科學研究有一種「陌名的興奮」，而您一直覺得自己與眾不同。
專業背景：1. 物理系2. 數學系3. 資工系大學以上的程度
專業技術需求：1. 清晰的邏輯分析能力2. 基本 C++
與我聯路：1. 準備一份人生地圖與說帖。2. 酆士昌先生， E-mail: [email protected]