ikalog presentation for bmd users
TRANSCRIPT
本スライド中に登場するスプラトゥーン関連画像は任天堂株式会社の著作物です。
2004 |
2011
2011 |
2014
2014 |
SEサービス プリセールス @ So+ware Research Associates, Inc. システム構築、客先のシステム運用、提案でキャリアをスタート → プリセールス〜PMを担当するインフラエンジニア
システムアーキテクト @ Trigence Semiconductor, Inc. エンベデッド開発支援からITシステム管理まで多岐に対応
セールスエンジニア @ Fusion-‐io, Inc. 高速半導体ストレージ ioDrive / ioMemory シリーズの SE として活動
様々なステージ
• ステージごとに幾つもの戦略が知られている
• 敵がどう攻めてくるか知り、 予測する必要がある
ブキ編成
• 各ステージやルールに対して、幾つかのブキが「有利」で あることが知られている
HDMI キャプチャデバイス
IkaLog 実行用PC
•
•
•
Nintendo WiiU ＆ スプラトゥーン
{ “kills”: 5, “deaths”: 1 }
IkaLog
映像 解析結果
ログファイル出力
外部ツール連携
外部Webサイト連携
蓄積／出力先
録画ソフト 自動制御
AmaRecTV
カラーLED連動
Fluentd 転送
スプラトゥーン戦績記録SNS
CSV/JSONファイル保存 スクリーンショット保存
SNS投稿
IkaLog
•
•
13
自分が倒されて 行動不能だった時間
イカ（味方／敵 計８匹）の生死状況
チームのスペシャル発動、キル／デス
自分の塗り面積
データソース hUps://stat.ink/enXre/user
【ピーク】 24時間あたり 370ユーザ、約15,000ゲームを分析
毎日 約200ユーザが利用 24時間あたり平均4500ゲームを処理
hUps://www.youtube.com/watch?v=iVMmSDWHmEo
各シーンへのリンク
味方・敵の構成、成績等
大型スクリーンにWii U出力 4台分を投影 UltraStudio Mini Recorderで キャプチャした画像を用いて 関連機材を自動制御
引用元 hUp://piroz.hatenablog.com/entry/2016/03/03/215511
DirectShow (Windows)
AVFoundaXon キャプチャライブラリ
videoInput ライブラリ
AVFoundaXon (MacOS X)
キャプチャ用 開発ライブラリ
キャプチャ フレームワーク
HDMI映像取り込みのための キャプチャデバイス ソース映像に忠実な製品を 開発のリファレンスデバイスとして選定
「スプラトゥーン」に特化した画像解析処理 ・Wii Uからの720p HDMI入力映像を解析 ・画像認識、機械学習の応用により ゲーム状況をデータ化 Powered by
• •
•
• •
•
キャプチャ環境 開発環境
録画データをコピー
開発結果をコピー
【Windows環境】 ・映像キャプチャ用製品が多い ・キャプチャ時にOSクラッシュも度々・・・ ・ここ10年Windowsを使っておらず、 慣れていなかった
【Mac環境】 ・映像キャプチャ用製品が少ない、 もしくはサポートが限定的なもの多い ・Python開発に使いやすいUNIX OS ・私がキャプチャデバイスを持っておらず データコピーが苦痛だった
Blackmagic Design UltraStudio Mini Recorder 導入によるメリット ・テスト目的のキャプチャやデータ収集を開発機から直接行えるようになった ・開発中のコードをすぐにテストできるようになった ・画質にクセがなく、成果物が多くの環境でもほぼ動作する
データ収集、開発、テスト
•
–
–
•
–
–
•
•
–
•
ソース映像 マスク画像 加算画像
+ = =
正しいマスクを加算すると画像が真っ白になる
違うマスクを加算すると画像が真っ白にならない
38
•
–
–
•
–
事前に学習してある文字データ （正解がわかっている）
各画像に対して、どの文字が最も 近い（似ている）かを判定した結果
43
•
•
•
•
他の装備品が被っている 保護色（１） 保護色（２）
入力画像 ラプラシアンフィルタ適用
グレー スケール
特徴量画像 （合計64ドット)
Thanks @itoooon
輪郭情報
•
•
–
•
•
