互動敘事中客製化之虛擬拍攝實驗平台 an experimental platform...

互動敘事中客製化之虛擬拍攝實驗平台

An Experimental Platform for Customized Virtual Cinematography in Interactive Storytelling

賴珮君國立政治大學資訊科學系

台北市文山區指南路二段 64號 TEL : (02)29393091 ext 62266

E-mail : [email protected]

吳蕙盈 IRISA/INRIA Rennes

E-mail :[email protected]

Marc Christie IRISA/INRIA Rennes

E-mail :[email protected]

李蔡彥國立政治大學資訊科學系

台北市文山區指南路二段 64號 TEL : (02)29393091 ext 62266

E-mail : [email protected]

摘要

本研究旨在透過互動數位敘事(Interactive Digital Story-telling, IDS)腳本內容的分析，建置客製化攝影機運鏡實驗平台，即時自動產生符合情境、人物情緒的拍攝方式，並參考

電影拍攝手法，結合攝影學的專業知識加入不同拍攝風格，

讓同一段影片可以有不同的風格效果。我們希望能夠讓現有

的互動敘事系統 The Theater[1]中的運鏡技術有跡可循，不再只是以人工的方式憑藉直覺來設定攝影機的位置，而能使得

虛擬攝影機的操控變得簡易，修正拍攝效果時將更加簡便，

成功快速掌握運鏡的每一個細節。

Categories and Subject Descriptors I.3.7 [Three-Dimensional Graphics and Realism]: Animations,

Virtual Reality

General Terms Algorithms, Design

Keywords Interactive Storytelling、Virtual Camera、Real-Time Camera Planning、Context-Aware

1. 前言互動數位敘事可以讓使用者以即時互動方式參與故事的

發展，進而影響故事的結局，透過設計多樣的故事劇本提高

敘事互動及內容的多變性，進而讓故事體驗者感受到故事的

趣味性。隨著傳播科技的演進，互動數位敘事的應用日新月

異，使得說故事產生了各種可能。傳統書本中的以時間順序

為主的線性敘事有了極大的突破，尤其在數位時代的當下，

更提供了更多敘事的可能。

而在互動數位敘事中，3D 虛擬攝影機就代表著敘事者，其靈活性對於動畫的呈現，具有舉足輕重的影響，更滿足了

電影導演在運鏡及攝影上的渴望，拍攝方式應具有強烈的表

達性，讓使用者了解故事的整體。

互動數位敘事依照敘事導向可分為兩種模式:基於角色(Character-based)[7, 12]的方法，劇情多半為即時互動所產生，優點是使用者可以在任何時間點干擾故事的走向，但是在這

樣強烈的干擾下，我們無法預估角色將作出什麼樣的決定或

行動，使得攝影機的規畫更加複雜。另一種模式為以劇情為

基礎(Plot-based)[9]的方法，角色根據每一個情節所指定的規則作出相對應的行為，這種方法可以確保演員按照事先已經

定義好的腳本行動，在攝影機規劃上較為容易。

電影中表達情緒的方式對觀眾理解劇情有很大的影響，

觀眾會把鏡頭中的任何事物都解讀為具有特定目的，與劇情

直接相關，且有助於理解敘事內容。這是沿用了數千年的視

覺敘事傳統，若我們更進一步應用這項原則，那麼觀眾也會

根據所有物件在景框中的位置、大小、能見度，來判斷它們

在故事中的重要程度。而在現有的研究中，多半將攝影學的

準則當作攝影機拍攝時移動的限制，有些只針對簡單的人物

對話或行走的拍攝方式[3, 13]，部分雖然有考慮到故事情境，但沒有考量到故事的前後文關係、角色情感的表達以及物件

在故事中的重要程度[2]…等，無法傳達或強調劇情的情感及張力。

為了透過攝影機的捕捉來強調故事劇情的關鍵性細節，

我們必須掌握攝影技巧、鏡頭敘事功能與構圖法之間的關

聯，而更重要的則是必須握有一份清晰的故事腳本，如此才

能透過分析故事的前後文，拍出自己獨到的觀點。

而要在互動敘事的故事腳本中即時產生能夠配合劇情的

拍攝鏡頭，在規劃即時攝影機路徑的時候，必須要先考量攝

影機的拍攝方式，不同的攝影機運動會有不同的預期意涵，

影像拍攝與敘事，往往在暗示觀眾故事走向的訊息及提示，

搭配不同的鏡框、角度、取景、構圖、特寫…等，透過導演的巧妙安排與組合，即可勾勒出不同的路線與鋪陳，讓觀眾

陷入猜測與討論的情境。大部分的拍攝技巧都有它的功能與

適用時機，善用這些規則能讓影像與敘事完美結合，但許多

知名導演為了能給觀眾帶來驚喜，往往會加入打破規則的創

意，例如:不平衡的構圖、看不見演員表情的背面特寫…等。

此外，以故事的敘事為主軸，鏡頭順應著每一場戲的節

奏、韻律、氛圍或觀點去做切換，並且讓每一個鏡頭在時間

和空間上產生連貫性，才能達到清晰與條理分明的敘事結

構。除此之外，鏡頭切換應注重畫面與聲音都保持在平順自

然與合於邏輯的狀態當中，讓觀眾的心理呈現可預期與可接

受的狀態，或者是從觀眾的觀點來欣賞電影時不會感到突

兀、不舒服或者無法理解。

為了達到以上目標，我們希望能夠做到以下工作項目:

分析故事腳本

Appeared in Proceedings of 2014 Computer Graphics Workshop, 2014.

Propp [18]對於俄國童話故事結構研究，是最早的現代敘事分析，其所提出敘事結構分析的最基本單位為「敘事功

能」(narrative functions)，指的是依據其在行動過程中的意義而定義的角色行為，角色則是執行功能的個體，用以發揮敘

事功能的作用。角色的界定必須仰賴功能項的比對，但並非

一定要滿足所有相關的功能項。不過 Propp 也指出他的這些功能項也是有其小缺陷，因為眾多的角色功能項中，可能同

時符合好幾個劇情，並且會因某些故事片段的敘述，同時與

兩項以上的功能項意義相近，或是某一功能項有其衍生的意

義，而會有功能項難以抉擇或是區辨的問題發生，所以必須

要依照故事的前後文才能夠正確選擇適合的功能項。

我們希望透過對故事的分析，參考 Propp 的功能項重新定義適用於故事的功能項，把這些新的功能項套用到我們現

有的故事腳本上，以便攝影機系統對故事中發生的事件進行

情境分析。

建立攝影鏡頭(Shot)資料庫

我們擷取具有代表性的電影對話場景，透過分析鏡頭

(Shot)來標記我們感興趣的角色或物體資訊，產生攝影鏡頭資料庫(Shot database)並重複使用它們，透過這些即時自動產生的 3D 動畫拍攝鏡頭序列，來達到對話場景所要傳達的目標。我們參考[14]制定出 intensification、crossline、frame sharing…等運鏡手法傳達對話情境目標，並且用 patterns 表達這些對話拍攝手法。

建立故事腳本的情境參數與攝影機規劃之間的關係

結合與以往傳統攝影法則不同的創新電影拍攝手法，配

合互動環境中改變的情境參數，設計了一套 Decision Mak-ing(DM)程序，目的在於建立情境與運鏡的對應關係，選用適合的攝影模組，提供更能表達當時情境的拍攝方式，並且可

以動態的根據故事走向、敘事手法，例如:平敘、預示、倒敘…等，而有不同的拍攝方法，產生出富有敘事能力的鏡頭，至於情節如何發展、角色如何移動則是由系統按照故事

腳本中的事件來決定。

2. 相關研究

2.1 電影理論在電影理論中，Jakob Lothe[16]介紹了如何透過人的特

性、聲音及視角來傳遞及呈現對話情境，導演如何幫助觀眾

理解螢幕背後所要傳達的意念，如情緒、情感和其它隱藏的

訊息。視覺方面是從電影分析而來，例如畫面的組成、距離

與剪接對於理解故事整體都是很重要的環節[5]。我們參考[14]，重新制定適用於本研究的劇本之運鏡手法如下:

Crossline 跨越動作線導演通常會嚴謹地確保觀眾了解演員在場景中的位置，

只要場景的位置關係建立清楚，觀眾就可以確切知道每一個

角色的所在地及對話對象。為了提供此明確性，攝影機在任

何場景的位置安排，都有精確而嚴密的規則。例如大部分的

情況下，導演通常會被告誡不得越線，即攝影機從頭到尾都

應該保持在角色人物的某一邊。不過，若能在正確的時機，

小心謹慎地打破這些規則，就能夠為該場景製造衝突感。

「越線」(Crossing the line)整體的感覺宛若迷失方向，但是我們並非真正感到迷惘，只是這種持續性的移動與切換鏡頭，

營造出一種心神不寧、焦躁不安的氛圍，因而更出色地捕捉

爭執中的情緒。

Frame Share 共享景框在一般的對話分鏡安排中，會從位於景框左側的角色，

剪接至景框右側的角色身上。但是你可以加以安排，使兩個

角色位於景框的同一邊，進而達到增加緊張感的目的。這種

不尋常的安排，讓觀眾感到不甚自在。這時所面臨的危機

是，觀眾期望看到一個角色在景框左邊，另一位在景框右

邊，違反此預期很可能會擾亂他們的認知。當然，在某種程

度上，你的確希望觀眾感到迷惘，但是你不會希望他們完全

弄不清楚各個角色的位置，或是誰正在看著誰。因此，竅門

在於先利用合適的廣角鏡頭來開場，藉此明確地告知主角在

房間內的位置，以及他的視線方向。

Intensification 出奇制勝在充滿大量動作的場景中，出其不意的剪接鏡頭能夠讓

人大吃一驚。若能妥善地使用，就可以為輕聲而冷靜的台詞

增加衝擊性。通常避免在交談過程中運用太多剪接是較明智

的做法，因為剪接會讓你錯過演員表情變化的重要瞬間。然

而，在某些情況下，迅速且猛然地剪接至特寫鏡頭，將完全

符合我們所需。

2.2 攝影機規劃 He[13]是第一個將攝影機系統應用在基於角色(character-

based)的互動敘事中，建立了狀態機(state machine)的機制描述攝影學準則來控制攝影機，另外也有研究使用虛擬攝影機，

提出定義攝影拍攝慣用手法的重要性，還有一些研究是基於

條件限制的方法，例如 Halper[12]為遊戲設計的攝影機系統，透過狀態的預測來規劃攝影機[4, 11, 17]。這些研究都是將攝影學的準則當作攝影機拍攝時移動的限制，且只針對簡單的

人物對話或行走的拍攝方式，沒有考慮故事情境。

而在最近 Vieira[20]透過監督式學習的方法讓使用者從訓練資料中挑選出好的視角，接著用機器學習的方式訓練出模

型，讓電腦可以在測試資料中挑選出較好的視角出來。

Turkay[19]提出針對模擬的群眾資料，如何擺設攝影機的方法。藉由人群二維的位置及速度，使用信息理論(information theory)去計算攝影機焦點的位置。以上幾篇研究主要將注意力放在如何去實現電影攝影學的準則，並沒有真正的去了解

拍攝內容是否有補捉到人與人之間的關係，或動態的根據故

事走向而有不同的拍攝方式，這些重點是我們在本篇論文想

要研究的地方。

de Lima[10]提出以劇情為基礎的互動敘事系統之虛擬攝影導演，透過 SVM 對輸入的環境、場景、角色做分類，選擇出最合適的鏡頭呈現方式。

Chen[8]利用形態學(Morphology)的結構分析方法，把故事腳本中的主要元素萃取出來，歸納出不同故事元素所組成

的情境(context)與拍攝鏡頭之間的規則關係，以改編一則短篇推理故事作為故事腳本來實作，故事來源是固定的，無法即

時根據故事走向而有不同的拍攝方式，這是我們想改善的部

分。

Yeh[21]主要在於捕捉人與人之間的關係，藉由人際距離學、社會力和社群網路分析來模組化人與人的動態關係，藉

由分析出的結果，由攝影機去追蹤重要的人物產生多人動畫

的

故

3

3

c(T動

環

者

過

每

據

好

(

(

以

鏈

可

的

生

有

的運鏡規劃，

故事走向而有不

3. 攝影機運

3.1 系統架

我們以對

camera)，由鏡(Camera ContrThe Theater[1]動畫系統、虛

環境，讓作者

者或故事體驗者

敘事片段

過程中，作者

每一個片段都

據。而這些創

好重組，在不

(fragment)包含

ID:每個

Charactetag(Keyw篩選，例

Paramete如:comp

Descripti的是什麼

Decision改變 Cha

而這些伴

(Story pool)。

故事劇本

以 Graph 的方鏈結過程主要

可以針對各種條

的角度與手法

生各種敘事上

有效重組既有

但缺乏應用性

不同的拍攝方式

運鏡系統設

架構

Figure 1

對話場景為基礎

鏡頭資料庫 (Shrol Database)組。此敘事系統包

虛擬演員和場景

者創作故事，其

者…等。

(fragment)是構者可以根據其偏

都可加上標籤(創作出來的敘事

不同的故事中重

含:

fragment 都有唯

eristics:每個 fraword)，方便作例如:complexity

ers:多個整數參lexity+=1、Ma

ion:一個簡短的麼事)

ns:分割故事發展aracteristics 或

伴隨著標籤的敘

中的節點(Nod方式相連組成每

要的目的在於確

條件的篩選，

法、故事的主軸

上的可能性與多

有的故事片段來

性，無法動態的

式。

設計

1. 系統架構圖

礎設計攝影機模

hot Database)和組成，並整合到

包含故事腳本格

景。主要提供一

其中作者可以是

構成故事的最基

偏好加入、編輯

(tag)，做為後續事片段都可以根

重複使用。在[1

唯一的 ID

agment 都可以標作者對 fragments

y=true、Magic=

參數，每個參數

agic-=2、hero_

的摘要(描述 fra

展的路線或根據

Parameters，進

敘事片段集合我

de)代表一個敘每一個故事圖(st確保故事線符合

例如:故事的長軸與特性…等，多樣性。在[1]的來產生符合故事

的根據人與人互

模組(Discourse-和運鏡手法資

到 3D 互動敘事格式規範、3D

一個多媒體敘事

是原創作者、中

基本單位，在創

輯或刪除敘事片

續故事篩選中

根據不同的創作

]中定義了敘事

標記一個

s 做分類或個人=false…等。

數作增減，例

_kindness+=1…

agment 中所要發

據使用者的決定

進而影響故事結

我們統稱為故

敘事片段(fragmetory graph)。這

合邏輯。故事建

長度與複雜度、

由一組故事片

的研究中，已設

事建構者所有條

互動的

-based 資料庫

事系統

D 角色事創作

中介作

創作的

片段，

中的依

作者偏

事片段

人化的

等。

發生

定，

結局。

故事池

ent)，這樣的

建構者

、敘事

片段產

設計出

條件設

定的

述

部分

場景

事篩

事走

發下

數化

構圖

能傳

法

望能

場景

(Ci鏡頭

發生

料庫

seq時

手法

懼

等)庫

(Sh工具

包含

φ)情境

到虛

3.2

(co找到

由即

置

置

如:情

isol面的

場景

(sce師所

三種

的互動敘事腳

，我們使用 XM分 XML 定義)景位置以及攝影

篩選機制產生腳

走向，並且滿足

下一個事件進行

在本研究中將

化攝影機模組

圖的元素，哪些

傳達什麼樣的

、拍攝偏好..等能產生客製化且

我們的系統輸

景擷取的鏡頭

inematographic 頭資料庫尋找合

生的動作(Actio庫選出一組符

quences)，經由，我們會選擇次

在對話場景為

法資料庫的情境

、同情、憤怒

)、角色和其在，我們擷取具

hot)來標記我們具的編輯介面手

含角色眼睛的位

。經由遮蔽檢查

境且滿足遮蔽檢

虛擬環境中之最

2 對話情緒我們根據故

ommunicative g到最合適的拍攝

即時攝影機位

。

我們的故事是

、事件和情境(

Scene 表示walking、talki緒，例如 : lation…等，[A的例子中，XM景，目標為傳

ene)可以有任意所有必需的元素

我們以《The種欲傳達的對話

腳本。每一個敘

ML 來建立此對)，用來指定角影機位置…等腳本，使用者

足故事建構設

行。

將分析故事軸

，將情境參數

些元素該捨棄

的鏡外之意，並

等改變的情境參

且富有敘事能力

輸入包含大量

頭資料庫和運鏡

Director)取得合適的鏡頭組

ons)類型以及對符合運鏡手法的

由遮蔽檢查過濾

次好的鏡頭。

為基礎之攝影

境參數資訊，包

…等)、動作類在虛擬場景中的

具有代表性的電

們感興趣的角色

手動輸入攝影

位置、事件和

查過濾出合法

檢查的最佳攝

最佳位置。

緒傳達目標與

故事腳本上下

goals)，建立上攝鏡頭與特定

位置計算演算法

是由 XML sce(例如:情緒參數

場景名稱，

ng、running…emotional 、 i

Actor+數字]代表ML 描述了一個傳達 BuildEmot意多個動作類型

素。

e Murdered Mi話情緒，分別是

敘事片段都有其

對應之互動敘事

角色的動畫、使

等。透過以敘事

者會因主動或被

設定時產生的節

以及故事的前

數寫入故事腳本

棄，哪些該留下

並且依據導演

參數選用不同的

力的鏡頭。

3D 動畫腳本、鏡手法資料庫

得故事發展的情

組成，上下文資

對話情境目標，

的候選鏡頭序列

濾出合法的鏡頭

機模組中，第

包含欲傳達的對

類型(例如:說話的位置。第二個

電影對話場景

色或物體資訊，

影機位置演算法

和情境類型、鏡

的鏡頭。系統

攝影機位置，接

與情境參數

下文 (context)和上下文和拍攝手

定對話情境拍攝

法得到攝影機架

enario 呈現，包數)，情境資訊格

Action 代表等，Goal 為作intensify 、 hor表此場景出現的

個 Millionaire 與tion 的對話情緒型、情緒參數

llionaire》為故是建立情感(B

其對應的文字

事腳本(附錄 1使用者互動選項

事理論為基礎的

被動的形式選擇

節點條件，進而

前後文，進一步

本，找出足以主

下，這樣的安排

、觀眾、敘事

的攝影機模組，

、集結從真實電

，虛擬電影導

情境參數資訊，

資訊包含角色、

再由運鏡手法

列(Candidate s頭，當發生遮

第一個輸入為運

對話情緒(例如話、走路、爭論

個輸入為鏡頭資

，透過分析鏡

並透過圖片註

法所需要的參數

鏡頭旋轉角度(θ統輸出為符合故

接著將攝影機擺

數的設計和對話情境目

手法之間的關係

攝的轉切手法。

架設的視點與

包含場景、角色

格式如下:

角色事件，

作者想傳達的對

rror 、 affinity的角色 ID。在與 Woman 的對緒，每一個場

數，提供虛擬攝

故事藍本，定義

uildEmotion)、

字敘

為

項、

的故

擇故

而觸

步參

主導

排又

事方

希

電影

導演

從

將

法資

shot 遮蔽

運鏡

如:恐論…資料

鏡頭

註記

數，

θ、故事

擺放

目標

係，

藉

與位

色位

例

對話

y 、在上

對話

場景

攝影

義了

憐

憫

C現

神

上

的

不

(uo側

和

鏡

i

3

助

情

位

話

位

圖

的

接

定

或

些

可

置

憫 (CompassionCrossline、Inte現，Crossline神不寧、焦躁不

上下文事件情感

的同一邊，進而

我們的系統

不同的運鏡手

(operation)，鏡um, and closeopposite(反向角側)、Longest(最和 continuity(鏡

在下面的例

鏡頭，亦即離

initial shot 更接

3.3 建立鏡鏡頭資料庫

助於理解真實

情境參數以及

位置、拍攝角度

我們設計了

話鏡頭，透過分

位置、鏡頭的

圖片註記工具

的參數。

編輯介面如

接著對每一個

定義鏡頭的型

或角色，動作的

些關鍵字都能

可以透過點擊

置、身體的方向

n) 和恐懼 (Hoensify 和 Fram藉由持續性的

不安的氛圍，I感的關聯，而

而達到增加緊張

統提供一些 pa手法，包含鏡頭

鏡頭型態如: intee… 等。鏡頭角度拍攝)、sam最遠的鏡頭)、鏡頭之間連續性

例子中，運鏡手

離角色最遠的鏡

接近角色。

鏡頭資料庫(庫的設計對攝

實電影拍攝時導

及電影理論中的

度、人物在畫面

了一個工具來

分析鏡頭(Shot的距離與類型、

具的編輯介面手

Figure 2. 影

如圖所示，首

個鏡頭的景框(fr型態，指定景框

的類型則包含像

能夠提供攝影機

擊介面來添加更

向…等。

orror)，這些目meshare 等電影的移動與切換鏡

Intensify 鏡頭慢Frameshare 使

張感的目的。

atterns，這些參頭型態(Shot typ

ernal, external, 運鏡動作如

meside(確保角Closer(比前一

性的運鏡規則)

手法 initial 先選鏡頭， transitio

(Shot Datab攝影機模組有相

導演決策的觀點

的視覺構圖元素

面中所佔的比例

來擷取真實電影

t)來標記我們感物體的大小、

手動輸入攝影機

影像標記工具介

首先需要先從電

rame)進行分析框中重要的物件

像是 Look at、機更多的情境參

更多資訊，像

目標可以藉由

影運鏡手法組合

鏡頭，營造出一

慢慢接近角色，

使兩個角色位於

參數可以被用來

pe)和鏡頭運鏡parallel, long,

:any( 任何鏡頭角色在 frame 的一個鏡頭更靠近

。

選擇最長且無遮

on 所選的鏡頭

base) 相當重要的幫助

點，我們連結故

素，例如角色所

例、距離…等

影中具有代表性

感興趣的角色或

事件參數，並

機位置演算法所

介面

電影影片擷取畫

析，使用者可以

件像是感興趣的

Talk to 等事件參數資訊。使用

是眼睛和頭部

由像是

合來實

一種心

，加強

於景框

來定義

鏡動作

medi-頭 ) 、的同一

近角色)

遮蔽的

頭要比

助，有

故事的

所在的

。

性的對

或物體

並透過

所需要

畫面，

以手動

的物體

件，這

用者還

部的位

出的

興趣

眼睛

計方

鏡頭

種

4.

4.14.1

演如

電影

分

場景

鏡頭資料庫總

的資料庫 XML

ShotName 是趣的物體數量

睛的位置是相對

方式有助於虛擬

頭組合。鏡頭型

，1 是 extreme

以對話情境

1 攝影機模1.1 Discours

我們的故事腳

如何決策攝影機

影導演和攝影機

、時間、鏡頭的

景的攝影師。

總共包含 77 個L 格式如下:

是我們定義鏡頭

，每個角色或

對於景框，並且

擬攝影師重新

型態(shot type)close-up， 10 是

Figure 3. S

境為基礎的

Figure 4.攝影機

模組設計 se-Based Cam腳本、鏡頭資

機模組所需的

機位置演算法

的轉切、場面

個鏡頭，使用此

頭的 ID，NbAc或重要的物體都

且假設螢幕寬高

新在不同的景框

)用距離參數來是 extreme long

Shot Types

的攝影機控制

機模組架構圖

mera Contro料庫和運鏡手

的資訊，在我們

法分別扮演著導

面調度及角色的

此工具從電影擷

ctors 是角色或都有一組特徵值

高都是 1。這種框大小中產生相

來表示，總共有

g shot。

制

ol 手法資料庫提供

們的系統中，虛

導演決定景框的

的動作，以及拍

擷取

或感

值。

種設

相同

10

供導

虛擬

的劃

拍攝

4

個

文

在

c鏡

括

例

(到

找

"s到

色

事

影

4

q解

角

的

攝

置

離

導

4

自

標

(置

理

攝

前

體

複

研

提

確

(

方

A

4.1.2 Cinem定義上下文

個特定的上下

文情境與最佳

在決策過程中

camera control 鏡方式。虛擬電

首先從腳本

括角色數量、事

例，此場景包

(talking)，情境到傳達建立情感

找出對應的目

"Build emotionshot 組成，在到目標物原則下

色。導演從鏡

事件的數量以

影機擺設的程序

4.2 即時攝從鏡頭資

quences)滿足故解釋三維場景

180 度法則不一角色的臉部、

的。在虛擬導

攝影師，攝影

置。依照計算

離作排序，排

導演選擇最佳的

4.2.1 計算攝早期的攝影

自動攝影機系統

標裡的位置、

(up-vector)、攝置。在 Blinn 的理解也會隨之

攝角度的選擇

前景伴隨著行

體分別沿著不

複雜。而近年

研究逐漸被歸納

提出的方法，

確切的組成都可

目標是找一

(A B)分別投1; 1 ，而

方法來做計算

攝影機沿

，沿著 YA 是位在螢幕最

matographic D文和情境參數

下文和情境決定

佳拍攝方式之間

中 (decision pro patterns，再從電影導演的決策

本裡提取上下文

事件以及情境參

包含兩個角色

境參數目標為建

感的目標，導演

目標，發現 Pattn"，此 pattern

在初始鏡頭導演

下的鏡頭，接著

鏡頭資料庫中找

以及上下文的描

序。

攝影機位置計

資料庫裡選出的

故事或情境的上

景的運鏡手法，

一致，因此確

場面調度或出

導演選定一組鏡

影師的作用在於

算出的遮蔽點數

排序出來的候選

的鏡頭拍攝之

攝影機位置影機規劃只定

統為 Blinn[6]所目標物體在畫

攝影機的光圈孔

的研究中提到

之改變，鏡頭畫

擇，他們將此問

行星與月球在背

不同的曲線軌道

年來有關移動攝

納出更高階的問

固定螢幕上二

可以形成一個解

一個 3D 攝影投影在正規化的

而攝影機方位 (，其值取決於攝

沿著 X 軸 (水平Y 軸(垂直)的視最左側的角色或

Director 數加入鏡頭資料

定出合適的鏡頭

間沒有一定的對

ocess)必須從鏡從運鏡手法資料

策流程如下:

文(context)，導參數目標。以

色 (婦人和百萬建立情感(Build演首先從對應表

tern "intensify"由 Long shot

演應該選擇一個

著將鏡頭 Zoo找尋合適的鏡頭

描述，所選出的

計算的候選鏡頭序列

上下文，然而鏡

可能導致的問

確保場景(scene)出現在景框中的

鏡頭之後，這些

於對特定的參數

數量和攝影機與

選鏡頭序列將回

。

定義在簡單的幾

所建立，此系統

畫面上的位置、

孔徑，來計算攝

，構圖改變時，

畫面的好壞取決

問題比喻為飛行

背景的某處，然

道路徑運行，使

攝影機規劃的研

問題。我們使用

二至三個物體的

解空間，用 2D

影機位置 P 滿足的螢幕位置

(Camera Orient攝影機位置(Ca

平 )的視角角度視角角度為

或物體，寬與高

料庫有助於導演

頭。由於在特定

對應關係，電影

鏡頭資料庫中

料庫找出相對應

導演接收到的資

Discontent sce萬富翁 )正在d emotion)。為表(mapping tab"的運鏡手法能+medium shot+

個最遠且滿足不

om in 越來越靠頭滿足劇本裡角

的鏡頭集合將用

列(Candidate sh鏡頭的情境無法

問題包括遮蔽角

關鍵的部分，

的重要物體是有

些資訊將傳達給

數組合計算攝影

與角色物體之間

回傳給導演，最

幾何問題上。最

統需要目標在世

攝影機的向上

攝影機應該擺放

，觀眾對敘事意

決於攝影機位置

行船問題，飛行

然而由於兩個目

使得此問題變得

研究當中，攝影

用 Christophe 在的位置，每兩個

D 歧管表面來表

足兩個角色 A ; , ;

tation)則是由代amera Position)

度 (field of vie。在這裡我們

高的比例可以寫

演從一

定上下

影導演

中搜尋

應的運

資訊包

ene 為在對話

為了達

ble)裡能實現

+close 不遮蔽

靠近角

角色和

用在攝

hot se-法用來

角色、

例如:有必要

給虛擬

影機位

間的距

最後由

最早的

世界座

上向量

放的位

意涵的

置、拍

行船在

目標物

得加倍

影機的

在[15]個物體

表示。

和 B ∈

代數的

。

ew)為們假設

寫成:

例)小

一半

ord有一

色

螢幕

aspectr

Aspect ratio )，它與 field o，是 viewer半的大小，在這

在螢幕上我們

dinate system)定一個角色，此兩

，則為角色

幕上的座標分別

Figure 6

Fig

ratio widheig

是想要繪製的方

of view 結合使r 與 camera plan這裡長寬的皆

們為每一個 sh定義兩個座標點

兩點為角色的

A 兩眼中點，別為、

; ; 1

6.解集合的範圍

gure 5. 兩物體的

dthght

tan 2tan 2

方向比例(亦即使用, 來決定沿著

ne 之間的距離皆為 2。

hot 以攝影機座點分別為、

的左右眼，如果

為角色 B 兩:

;

圍如紅色弧線所

⋅

的 3D 解集合[1

2

2

即, view 的方向著 X 軸的視野

離, 是攝影機平

座標系(camera ，當畫面中

果畫面中有兩個

兩眼中點，投影

; 1

所示[15]

15]

向比

野大

平面

co-中只

個角

影到

由圓的幾何特性可知，給定圓周上某三點 A(角色 A 的位置)、B(角色 B 的位置)、P(攝影機的位置)，圓心為 O，則:

, , 2

圓弧的角度可表示為: , 攝影機旋轉方向(camera orientation)被描述為由三個彼此

互相垂直之單位向量組成的座標系，這些向量用來為攝影機

定義一個座標系來描述在世界座標中的對應關係，三個單位

向量分別為:

Forward (look-at) vector

Up vector

Rightvector 首先從這些向量建構一個四元數(quaternion) ，接著計

算旋轉的四元數，其中 Forward (look-at) vector、Up vector和 Right vector 分別為:

0, 1, 0

，使得 A 和 B 可以投影在我們希望它出現在螢幕適當的

位置( 和 )上，其中、分別是、取單位向量後的結果，獲得 quaternion 和之後，

可以求出攝影機的方向(orientation) quaternion : ∙

和分別取決於角色 A、角色 B 在世界座標中的位置、攝影機位置以及我們指定角色 A 和 B 在螢幕上位置( 、

)的組成。

攝影機位置 P 為 2D 歧管表面上的解，其視角取決於參數φ和 θ，水平視角對應於給定的參數 θ，而垂直視角對應於參數 φ，兩個角度參數解的範圍分別為:

φϵ , θϵ 0, 2 2

而在這裡我們將θ轉換到 0 到 1 的範圍內，0 對應到θ0，1 對應到θ 2 π α ，因此 θ值將取決於。其攝影機位置計算過程如下:

針對世界座標中 A、B 角色定義出垂直旋轉軸為向量，可得到沿著旋轉 φ 的 quaternion ，接著定義

quaternion 為沿著旋轉軸轉β ，為此內接圓的法向量，由、和角色 A 與 B 的距離向量的長度計算出角色A 與 P 的距離 d，即為攝影機與角色 A 的相對位置，最後求得攝影機絕對位置 , 如下:

, ∙ ∙ ∙ | | wposA

d | |sin sin 2 其中 wposA 為角色 A 的世界座標位置。

然而透過我們指定θ、φ 以及角色 A 和 B 在螢幕上位置( 、 )的組成，計算出的攝影機位置與視角仍無法決定出鏡頭型態，當θ 0.5，攝影機與角色距離 d 最遠，是最遠的shot，當θ值小於或大於 0.5 時，d 的值將越來越小，不會再出現更遠的鏡頭，例如θ 0.5時 shot type 為 Long Shot，則當θ 0.4 或 0.6 時 shot type 可能是 Medium-Long Shot 或更近的Shot。然而，由於 d 的值不只取決於θ，還取決於角色之間的距離，值的大小，我們無法預測指定θ、φ 以及角色 A 和 B在螢幕上位置( 、 )所拍攝出的鏡頭是屬於哪一種鏡頭型態，也無法掌握角色 A 和 B 身體出現在畫面中的長度。為了解決此問題，我們在螢幕上除了指定角色 A 和角色 B 的位置( 、 )，我們加上第三個點，此點為角色 A 的鼻尖位置，目的在於控制角色 A 出現在螢幕中的身長，使其與我們預期畫面的鏡頭型態相符。

我們知道如何分別對物體兩兩之間位置組合產生的 2D 歧管計算出攝影機位置，當攝影機位置滿足角色 A 和 B 在螢幕上的位置、時，攝影機與、的夾角必須和攝影機與

世界座標中角色的兩眼中點或雙眼(只有一個角色時)位置夾角相等:

, , 而要滿足 3 個物體在螢幕上的位置、、，攝影機

位置應該屬於 (A,B)、(B,C)和(A,C) 兩兩產生的三個歧管之交點，、分別是攝影機與歧管(B,C)和(A,C)組合的夾角:

, ,

, , 我們先將一組預設參數θ、φ 代入攝影機位置演算法，找

出一個滿足角色 A 和 B 在螢幕上的位置、的攝影機位置，接著用逼近法調整θ、φ，最小化目標方程式:

min , , ,, ,

使得攝影機位置更接近三個歧管的交點，達到即時最佳

化攝影機位置的目的。

4.2.2 遮蔽檢查(occlusion detection)

現在，我們對於每一個 shot 都計算出相對應的攝影機位置，還必須透過遮蔽檢查(occlusion detection)來排序出候選鏡頭序列，回傳給導演，最後由導演選擇最佳的鏡頭拍攝之。

其遮蔽檢查過程如下:

針對每一個角色產生一個週框方塊(bounding boxes)，為包住角色模型的最小長方體，每一個週框方塊包含八個頂

點，透過系統中線性投射(Line cast)程序檢查攝影機與八個週框方塊頂點之間是否有遮蔽物，利用被遮蔽的點數計算遮蔽

評估分數(occlusion estimation score)，排序出每一個鏡頭的能見度，遮蔽最少的 shot 將被選來做為最佳的 shot，藉此選出

最

對

們

想

關

5

以

偵

主

員

這

個

漸

的

能

關

通

頭

你

鏡

的

視

這

造

的

在

的

向

躁

定

亦

關

色

最合適的鏡頭

對更多在故事

們感興趣的參

想傳達的資訊

關性。

5. 模擬成果我們透過實

以互動敘事系統

偵探故事為腳

主角不滿現狀

第一個範例

員越遠感覺越

這需要一個初

個鏡頭要比前

漸靠近主角的手

的反應，讓觀

能夠激起觀眾

關鍵時刻使用

通常是發現或了

頭及主觀鏡頭

你的視覺語言也

第二個範

鏡裡有兩個以上

的連續性，也

視線或移動方

這條假想線的

造成某些鏡頭

的方向。假如

在角色人物的

的手法稱為「

向，這種持續

躁不安的氛圍

如果要同時

定同時使用「

亦即從中(遠)景關係，也能從

色，並且持續性

頭。目前我們只

事中具有重要程

參考點加入排序

訊，有助於幫助

果實際運行故事

統 The Theater腳本，擷取其中

，決心與情人共

例從電影《Wh越疏離，越靠近

初始最遠(Longe一個鏡頭更接

手法我們稱為

觀眾更投入這一

眾對角色的情感

，例如故事的

了解某些意義

頭。過度使用特

也將失去特寫鏡

例從電影《Th上的人物發生互

也能夠決定劇中

方向連成一條假

的同一側拍攝，

頭無法視當地剪

如依照慣例來拍

的某一邊。不過

越線」(cross t續性的移動與切

，因而更出色地

時滿足此兩種

intensification」景讓觀眾除了可

從演員的位置看

性的在假想線兩

只針對人物作遮

程度的物件做遮

序，選出來的鏡

助觀眾解讀鏡頭

事實例來驗證我

[1]的《The Mu中一段劇情進行

共謀私奔，謀殺

hite Ribbon》擷近演員越能表現

est)且合法的鏡接近(Closer)角色「intensificatio

一刻以及角色的

感認同，所以必

的轉折點(劇中人義重大的事情後

特寫鏡頭，將稀

鏡頭的敘事功能

he Shining》擷互動時。180 度

中人應該放在景

假想的直線，攝

如果違反原則

剪接在一起，因

拍攝，攝影機從

過此場景卻轉而

the line)，整體切換鏡頭營造出

地捕捉爭執中的

種範例欲傳達的

」和「crossline可以從演員的肢

看出兩人的互動

兩側切換。

遮蔽碰撞，未來

遮蔽檢查，當越

鏡頭將滿足更多

頭中事物與故事

我們方法的正確

urdered Million行分析，劇本描

殺富翁。

擷取景框，鏡頭

現演員的內心世

鏡頭，接下來的

色，這樣由遠而

n」，用來凸顯的情緒中。由於

必須謹慎規劃，

人做出了重要決

後)，或是放在反稀釋其戲劇衝擊

能。

擷取景框，當同

度法則能夠維持

景框何處。將人

攝影機應該一直

則跨過了假想線

因為人物會面向

從頭到尾都應該

而從對向拍攝，

體的感覺宛如迷

出一種心神不寧

的情緒。

的目標，我們可

e」兩種拍攝手肢體語言了解兩

動，接著逐漸靠

來希望

越多我

多我們

事的相

確性，

aire》描述女

頭離演

世界，

的每一

而近逐

顯角色

於特寫

只在

決定，

反應鏡

擊，而

同一場

持空間

人物的

直待在

線，會

向錯誤

該保持

這樣

迷失方

寧、焦

可以指

手法，

兩人的

靠近角

6.

The本

Figure 8. cr

Figure 9

結論與未來

我們使用

eater[1] ，透過，使用者會因主

rossline、inten

9. 從真實電影場

來發展 3D 虛擬模擬

過以敘事理論為

主動或被動的

sification 拍攝

場景擷取的鏡頭

擬環境之互動

為基礎的故事

的形式選擇故事

攝結果示意圖

頭資料庫

動敘事系統 T事篩選機制產生

事走向，並且滿

The 生腳

滿足

故事建構設定時產生的節點條件，進而觸發下一個事件進

行。我們設計以對話場景為基礎設計攝影機模組，於腳本中

加上情境參數，建立情境參數與攝影機模組的對應關係，使

得攝影機運鏡有跡可循，而從真實電影場景擷取的鏡頭資料

庫中每一個鏡頭都有很高的重用性，對新鏡頭的擴充也較容

易，可以透過調整幾個參數產生不同的鏡頭。

接下來我們希望定義更多種情緒及運鏡手法的 patterns，雖然我們所建立的對應關係並不能夠概括所有類型的故事以

及拍攝手法，在真實世界中的電影製作，由於導演的主觀美

感不同，相同內容的劇本在不同導演的指導下拍攝效果就有

很大的差異。我們在這裡提出的，是希望能建立一個情境與

拍攝手法之間的關係模型，讓建立劇本的人能夠按此模型，

設計出符合個人攝影風格需求的故事劇本。在第 4 章中，我們建立虛擬電影導演，參考 Lino[15]的攝影機位置演算法，修改成我們合用的即時攝影機位置演算法，假設環境中沒有動

態的障礙物，系統在動態進行時，就只需要計算攝影機與拍

攝目標之間的距離與視角關係，用逼近法調整θ、φ，最小化目標方程式，達到即時最佳化攝影機位置的目的。日後希望

能夠開發一個簡單的使用介面，讓使用者可以根據劇本情境

快速替換不同的拍攝手法，並透過實驗結果來修正結果，改

善可能會出現的不良效果。

7. 致謝本研究在國科會計畫（NSC102-2221-E-004-011-）及

（NSC102-2911-I-004-503）資助下完成，特此致謝。

8. REFERENCES [1] 吳蕙盈打破第四道牆：以敘事理論為基礎之個人化 3D

互動敘事創作系統. 國立政治大學, 台北市. [2] Amerson, D., Kime, S. and Young, R. M. Real-time cinematic

camera control for interactive narratives. ACM, City, 2005. [3] Bares, W. H., Grégoire, J. P. and Lester, J. C. Realtime

constraint-based cinematography for complex interactive 3D worlds. City, 1998.

[4] Bares, W. H., Thainimit, S., McDermott, S. and Boudreaux, C. A model for constraint-based camera planning. City, 2000.

[5] Bateman, J. and Schmidt, K.-H. Multimodal film analysis: How films mean. Routledge, 2013.

[6] Blinn, J. Where am I? What am I looking at? (cinematography)1988).

[7] Cavazza, M., Charles, F. and Mead, S. J. Character-based interactive storytelling. Intelligent Systems, IEEE, 17, 4 2002), 17-24.

[8] Chen, C.-H. and Li, T.-Y. Context-aware Camera Planning for Interactive Storytelling. IEEE, City, 2012.

[9] Courty, N., Lamarche, F., Donikian, S. and Marchand, É. A cinematography system for virtual storytelling. Springer, City, 2003.

[10] de Lima, E. E., Pozzer, C. T., d'Ornellas, M. C., Ciarlini, A. E., Feijó, B. and Furtado, A. L. Virtual cinematography director for interactive storytelling. ACM, City, 2009.

[11] Drucker, S. M. and Zeltzer, D. Intelligent camera control in a virtual environment. CANADIAN INFORMATION PROCESSING SOCIETY, City, 1994.

[12] Halper, N., Helbing, R. and Strothotte, T. A Camera Engine for Computer Games: Managing the Trade ‐Off Between Constraint Satisfaction and Frame Coherence. Wiley Online Library, City, 2001.

[13] He, L.-w., Cohen, M. F. and Salesin, D. H. The virtual cinematographer: a paradigm for automatic real-time camera control and directing. In Proceedings of the Proceedings of the 23rd annual conference on Computer graphics and interactive techniques (1996). ACM, [insert City of Publication],[insert 1996 of Publication].

[14] Kenworthy, C. MASTER SHOTS VOL 2：100 WAYS TO SHOOT GREAT DIALOGUE SCENES. Michael Wiese Productions; 2 edition, 2011.

[15] Lino, C. and Christie, M. Efficient composition for virtual camera control. Eurographics Association, City, 2012.

[16] Lothe, J. Narrative in fiction and film: An introduction2000). [17] McCabe, H. and Kneafsey, J. A virtual cinematography

system for first person shooter games. City, 2006. [18] Propp, V. Morphology of the Folktale. University of Texas

Press, 1973. [19] Turkay, C., Koc, E. and Balcisoy, S. An information theoretic

approach to camera control for crowded scenes. The Visual Computer, 25, 5-7 2009), 451-459.

[20] Vieira, T., Bordignon, A., Peixoto, A., Tavares, G., Lopes, H., Velho, L. and Lewiner, T. Learning good views through intelligent galleries. Wiley Online Library, City, 2009.

[21] Yeh, I.-C., Lin, W.-C., Lee, T.-Y., Han, H.-J., Lee, J. and Kim, M. Social-Event-Driven Camera Control for Multicharacter Animations. Visualization and Computer Graphics, IEEE Transactions on, 18, 9 2012), 1496-1510.

/ColorImageDict > /JPEG2000ColorACSImageDict > /JPEG2000ColorImageDict > /AntiAliasGrayImages false /CropGrayImages true /GrayImageMinResolution 300 /GrayImageMinResolutionPolicy /OK /DownsampleGrayImages true /GrayImageDownsampleType /Bicubic /GrayImageResolution 300 /GrayImageDepth -1 /GrayImageMinDownsampleDepth 2 /GrayImageDownsampleThreshold 1.50000 /EncodeGrayImages true /GrayImageFilter /DCTEncode /AutoFilterGrayImages true /GrayImageAutoFilterStrategy /JPEG /GrayACSImageDict > /GrayImageDict > /JPEG2000GrayACSImageDict > /JPEG2000GrayImageDict > /AntiAliasMonoImages false /CropMonoImages true /MonoImageMinResolution 1200 /MonoImageMinResolutionPolicy /OK /DownsampleMonoImages true /MonoImageDownsampleType /Bicubic /MonoImageResolution 1200 /MonoImageDepth -1 /MonoImageDownsampleThreshold 1.50000 /EncodeMonoImages true /MonoImageFilter /CCITTFaxEncode /MonoImageDict > /AllowPSXObjects false /CheckCompliance [ /None ] /PDFX1aCheck false /PDFX3Check false /PDFXCompliantPDFOnly false /PDFXNoTrimBoxError true /PDFXTrimBoxToMediaBoxOffset [ 0.00000 0.00000 0.00000 0.00000 ] /PDFXSetBleedBoxToMediaBox true /PDFXBleedBoxToTrimBoxOffset [ 0.00000 0.00000 0.00000 0.00000 ] /PDFXOutputIntentProfile () /PDFXOutputConditionIdentifier () /PDFXOutputCondition () /PDFXRegistryName () /PDFXTrapped /False

/CreateJDFFile false /Description > /Namespace [ (Adobe) (Common) (1.0) ] /OtherNamespaces [ > /FormElements false /GenerateStructure false /IncludeBookmarks false /IncludeHyperlinks false /IncludeInteractive false /IncludeLayers false /IncludeProfiles false /MultimediaHandling /UseObjectSettings /Namespace [ (Adobe) (CreativeSuite) (2.0) ] /PDFXOutputIntentProfileSelector /DocumentCMYK /PreserveEditing true /UntaggedCMYKHandling /LeaveUntagged /UntaggedRGBHandling /UseDocumentProfile /UseDocumentBleed false >> ]>> setdistillerparams> setpagedevice

互動敘事中客製化之虛擬拍攝實驗平台 an experimental platform...

Documents