gaussian material synthesis - korea...

Gaussian Material Synthesis

Jee-Hyeok Park

2019.05.30

Computer Graphics @ Korea University

Zsolnai-Fehér, K (Vienna University of Technology) et al.

SIGGRAPH 2018

Copyright of figures and other materials in the paper belongs to original authors.

Jee-Hyeok Park | 2019-05-30 | # 2Computer Graphics @ Korea University

제목 분석

• Gaussian Material Synthesis

Gaussian

• 정규분포

Material

• 재질

Synthesis

• 합성

http://igorsklyar.com/main/development_description/26?locale=en

http://igorsklyar.com/main/development_description/26?locale=en


• Abstract

• Introduction

• Previous Work

Material Modeling

Neural Networks and Rendering

Gaussian Process Regression

• Overview

• Learning Algorithms for Material Synthesis

Material Learning and Recommendation


Latent Space Variant Generation

• Interactive Latent Space Exploration

GPLVM Color Coding

Real-Time Variant Generation

• Results

• Future Work

• Conclusions

• GMS Pseudocode

목차

Abstract


씬 구성 – 기존 방식

• For Each Material 직접 Parameter를 조절해서

Material을 정함

Sample Material의 Rendering이끝나기를 기다림

조금 다른 효과를 원한다면Parameter를 조금 바꾸고다시 Rendering이 끝나기를 기다림

https://store.blender.org/product/cycles-encyclopedia/

Fig. 1.

https://store.blender.org/product/cycles-encyclopedia/


씬 구성 – 제안한 방식

• Do Gallery에 여러 Sample Image가 주어짐

유저는 각 Sample Image에 점수를 매김

• While Material이 맘에 안 들면

• If Automatic Workflow 각 Sample Material이 자동으로 각 Object에 할당 됨

• Else 각 Sample Material의 Parameter를 Fine-Tuning 함

각 Sample Material을 Object에 할당

Introduction


• 3 AI Algorithm Material Learning and Recommendation

• 빠르게 대략적으로 원하는 Material을 찾아 주는 것

Real Time Visualization

• 빠르게 Material이 입혀진 예시를 보는 것

Real Time Fine Tuning

• 쉽게 Material의 parameter를 바꿔보는 것

제안한 방식의 단계별 과정


• A framework for mass-scale material learning and recommendation that works with any high-dimensional principled shader

• A Convolutional Neural Network to enable the visualization of the recommended materials in real time

• A latent space variant generation technique that helps the user to intuitively fine-tune the recommended materials in real time

• A novel way to combine all three learning algorithms to provide color coding for efficient latent-space exploration and real-timepreviews

제안한 방식의 Contribution

Previous Work


Material Modeling

• Physically-Based Shading at Disney

[Brent Burley (Walt Disney Animation Studios) et al. / 2012]


Material Modeling

• Reflectance Modeling by Neural Texture Synthesis

[Miika Aittala (Aalto University) et al. / SIGGRAPH 2016]

• 실제 이미지로부터 texture를 만들어 내는 것


Material Modeling

• Magic Decorator: Automatic Material Suggestion for Indoor Digital Scenes

[Kang Chen (TNList, Tsinghua University, Beijing) et al. / SIGGRAPH 2015]

• 특정 규칙에 맞는 texture들을 추천해 줌



• Deep Shading: Convolutional Neural Networks for Screen Space Shading

[O. Nalbach (Max Planck Institute for Informatics, Germany) et al. / Eurographics 2017]



• A Machine Learning Approach for Filtering Monte Carlo Noise

[Nima Khademi Kalantari (University of California, Santa Barbara) et al. / SIGGRAPH 2015]


• Gaussian Process Regression에 대해 알기 위해선

Distributions

Univariate Gaussian

Multivariate Gaussian

• Conditional Distribution

Regression

Gaussian Process


Distributions


Distributions

성적/공부시간 0~9 10~19 20~30 총합

80~100 5 17 10 32

60~79 13 4 8 25

40~59 15 9 4 28

20~39 9 6 0 15

총합 42 36 22 100

P(성적,공부시간)

P(성적)

P(공부시간)

P(공부시간|성적)

P(성적|공부시간)

marginal

marginal

joint

conditional

conditional P(성적, 공부시간) = P(공부시간)*P(성적|공부시간)

Univariate Gaussian


• 수학적으로 간단함

이 확률 변수는 평균적은 𝜇 값이고, 𝜎2 정도의 오차범위를 가지고 있음

• 많은 자연 현상을 모델링할 수 있음

e.g. 사람의 키

• 특정 확률 변수에 대해서 3가지 가정을 가지고 식을 세우면 아래와 같은식을 만들 수 있음

평균에 가까운 값이 나올 확률이 높음

평균과 동일한 차이가 있을 경우 좀더 넓은 범위에 값이 있을 확률이높음

같은 크기의 범위와 평균과 동일한 차이가 있을 경우 확률은 같음

• Univariate Normal Distributions

𝑋~𝑁(𝜇, 𝜎2)

𝜙 𝑥 =1

2𝜋𝜎2exp −

𝑥−𝜇 2

2𝜎2

Univariate Normal Distribution

Multivariate Gaussian


• 여러개의확률변수를모아서 Random Vector로만든것

𝑋~𝑁(𝝁, Σ)

𝜙 𝒙 =1

2𝜋

𝑃

2Σ −

1

2exp −1

2(𝒙 − 𝝁)𝑇Σ−1(𝒙 − 𝝁)

𝝁는 평균 벡터

𝑃는 𝒙의 Dimension

Multivariate Normal Distribution


• Σ는 공분산 Matrix

positive semi-definite, symmetric

Diagonal 항은 각 변수의 Variance를 뜻함

나머지는 각 변수 간의 Correlation을 뜻함

• 𝒙 = (𝑥1, 𝑥2)𝑇

• 𝑐𝑜𝑣 𝑥𝑖 , 𝑥𝑗 = 𝐸[(𝑥𝑖 − 𝜇𝑖)(𝑥𝑗 − 𝜇𝑗)]

• Σ =𝑐𝑜𝑣[𝑥1, 𝑥1] 𝑐𝑜𝑣[𝑥1, 𝑥2]𝑐𝑜𝑣[𝑥2, 𝑥1] 𝑐𝑜𝑣[𝑥2, 𝑥2]

Covariance Matrix


• 2차원 정규 분포 예시(Sample Data)

Covariance Matrix Example

x1

x2

평균이다름

x2 variance가 x1보다높음 x1과 x2 covariance가양수값을가짐(Correlated 됨)

x1

x2

x1

x2

x1

x2


• 𝜙 𝒙 =1

2𝜋

𝑃

2Σ −

1

2exp −1

2(𝒙 − 𝝁)𝑇Σ−1(𝒙 − 𝝁)

• (𝒙 − 𝝁)𝑇Σ−1(𝒙 − 𝝁) 값이 커질수록 𝜙 𝒙 값이 작아 짐

• (𝒙 − 𝝁)와 Σ−1(𝒙 − 𝝁)의 dot product

dot product의 결과는

• 두 vector의 길이가 짧을 수록

• 두 vector가 이루는 각이 클수록

작아 짐

Probability Distributions


• Each single variable has a univariate normal distribution 각 변수가 univariate normal distribution을 따른다 e.g. 2차원 사격에서 한 차원으로 투영한 것

• Any subset of the variables also has a multivariate normal distribution 변수의 부분집합이 multivariate normal distribution을 따른다 e.g. 3차원 푸딩-건포도 예제에서 한 평면으로 투영한 것

• Any linear combination of the variables has a univariate normal distribution 각 변수의 linear combination이 univariate normal distribution을따른다

• Any conditional distribution for a subset of the variables conditional on known values for another subset of variables is a multivariate distribution 변수의 부분집합과 변수의 나머지 부분집합의 조건부 분포가

multivariate normal distribution을 따른다 e.g. 3차원 푸딩-건포도 예제에서 한 평면을 자른 것

Properties

Regression


Regression

• 종속 변수와 독립 변수의 관계를 규명하는 것

Simple Regression (종속 변수 1개, 독립 변수 1개)

Multiple Regression (종속 변수 1개, 독립 변수 여러 개)

Linear Regression (종속 변수의 선형 조합으로 독립 변수 예측)

Nonlinear Regression

Parametric Regression

None Parametric Regression (독립 변수 예측에 필요한parameter가 없음)


Linear Regression

키(x)

몸무게(y)Model: 𝛼𝑥 + 𝛽 = 𝑦𝛼, 𝛽가Model Parameter

데이터를바탕으로최적의 𝛼, 𝛽를구함구해진 𝛼, 𝛽를이용하여값추정


• 𝑝 𝑎 𝑏 =𝑝 𝑏 𝑎 𝑝 𝑎

𝑝(𝑏)

• 𝑎: 병이있는지없는지를뜻하는확률변수, 1이면병이있음, 0이면없음

• 𝑏: 기계를이용해측정했을때병이있는지없는지판단하는확률변수, 1이면병이있다고측정, 0이면병이없다고측정

• P(a=0)=0.999

• P(a=1)=0.001

• P(b=1|a=0)=0.01

• P(b=1|a=1)=0.99

• 𝑝 𝑎 = 1 𝑏 = 1 =𝑝 𝑏 = 1 𝑎 = 1 𝑝 𝑎=1

𝑝(𝑏=1)=

𝑝 𝑏 = 1 𝑎 = 1 𝑝 𝑎=1

𝑝 𝑏=1|𝑎=0 𝑝 𝑎=0 +𝑝 𝑏=1|𝑎=1 𝑝(𝑎=1)

Bayesian Theorem


• 일반적인 Regression의 경우 Data로부터만 정보를 얻어서Parameter 값을 결정

• Bayesian Regression은 hypothesis 값과 Parameter가 특정 분포로부터 만들어진 것이라 가정

• Bayesian Regression의 장점은

선입견을넣을수있음, 적은데이터만으로도측정이가능. 데이터가많아지면선입견의비중이줄어듦

hypothesis에대한 uncertainty를측정할수있음

• 𝑃 𝜃|𝑦, 𝑋 =𝑃 𝑦|𝜃,𝑋 ∗𝑃 𝜃|𝑋

𝑃(𝑦|𝑋)

• 𝑃𝑜𝑠𝑡𝑒𝑟𝑖𝑜𝑟 =𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑∗𝑃𝑟𝑖𝑜𝑟

𝑁𝑜𝑟𝑚𝑎𝑙𝑖𝑧𝑎𝑡𝑖𝑜𝑛

Bayesian Regression

Gaussian Process


• 시간적인 변수 t에 대해 확률변수를 돌려주는 함수를 확률과정이라고 생각할 수 있음

• 예를 들어 이산 확률 변수 𝑥 = 1가 비가 옴, 𝑥 = 0가 비가 안 옴을뜻함

• 𝑥0 = 1, 𝑥1 = 0, 𝑥2 = 1, 𝑥3 = 1 등의 변수 집합을 확률 과정이라고 함

• 확률 과정이 특정 Distribution을 따름 이라고 말할 수 있음

오늘의 몸무게, 내일의 몸무게, 2일 후의 몸무게…

Stochastic Process


• Stochastic Process의 일종으로 확률 변수의 부분 집합이Multivariate Gaussian Distribution을 따른다 생각하는 것

• 확률 변수의 부분 집합이 확률 공간을 잘 표현하고 있다면 해당Multivariate Gaussian Distribution을 이용해 무한한 차원의 확률변수를 표현할 수 있음

Gaussian Process


• 모델의 결과 값이 확률 변수

• 같은 데이터에 대해서는 여러 모델이 예측해도 결과값이 정규 분포를따를 것이라는 믿음

• 모델을 찾을 때 모델들이 같은 데이터에 대해서는 비슷하게 예측해야하고

• 비슷한 데이터에 대해서도 비슷하게 예측하도록 해야 함, 즉 비슷한데이터에 대해서는 모델들의 예측 값이 Correlation을 가져야 함

• 사용자가 사전에 추가한 Data Set의 종속 변수 값을각 Data Set의 종속 변수 축에 대한 평균값으로 생각하는 것

• 예시로 봤던 Data Set의 독립 변수와 비슷한 독립 변수가 왔다면제대로 예측할 수 있을 것

두 독립 변수에 의한 종속 변수 축이 Correlation이 높으므로




𝒇(𝒙𝟏)

𝒇(𝒙𝟐)

• X1과 X2는 비슷한 데이터라면 model들이 비슷하게 예측해야 함

Overview


씬 구성 – 제안한 방식 with Algorithm

• Do Gallery에 여러 Sample Image가 주어짐

유저는 각 Sample Image에 점수를 매김

• While Material이 맘에 안 들면

• If Automatic Workflow 각 Sample Material이 자동으로 각 Object에 할당 됨

• Else 각 Sample Material의 Parameter를 Fine-Tuning 함

각 Sample Material을 Object에 할당

Neural RenderingRealtime visualization

Gaussian Process RegressionMaterial learning and recommendation

Gaussian Process Latent Variable ModelFine-tune, latent space exploration


Overview

Fig. 4.


Overview with Notation

Fig. 5.Table 1.

Learning Algorithm for Material Synthesis


• 𝑼 = [𝑢 𝒙𝟏 , 𝑢 𝒙𝟐 , … , 𝑢 𝒙𝒏 ]𝑇 (GPR Training Set)

• 𝒙𝒊 ∈ 𝑅𝑚

• 𝑚 = 19 or 38 (BSDF Parameter)



(1)


• 𝑘 𝒙, 𝒙′ = 𝜎𝑓2 exp −

𝒙−𝒙′2

2𝑙2+ 𝛽−1𝛿𝒙𝒙′

• 𝛿𝒙𝒙′는 𝒙와 𝒙′가같으면 1 다르면 0인값(나중에 covariance matrix를만들때 positive definite를만들기위해사용)

• 𝑘 𝒙, 𝒙′ 은 𝒙 − 𝒙′ 가 작을 때 값이 크고𝒙 − 𝒙′ 가 클 때 값이 작은 함수



(1)

Equation (1)


• K =

𝑘(𝒙𝟏, 𝒙𝟏) 𝑘(𝒙𝟏, 𝒙𝟐) … 𝑘(𝒙𝟏, 𝒙𝒏)𝑘(𝒙𝟐, 𝒙𝟏) 𝑘(𝒙𝟐, 𝒙𝟐) … 𝑘(𝒙𝟐, 𝒙𝒏)

… … … …𝑘(𝒙𝒏, 𝒙𝟏) 𝑘(𝒙𝒏, 𝒙𝟐) … 𝑘(𝒙𝒏, 𝒙𝒏)

• K에 대한 정보를 알고 있는 상태

• 𝐤∗ = 𝑘 𝒙∗, 𝒙𝟏 , 𝑘 𝒙∗, 𝒙𝟐 , … , 𝑘 𝒙∗, 𝒙𝒏𝑇

• 𝑘∗∗ = 𝑘(𝒙∗, 𝒙∗)

• 랜덤으로 𝒙∗를 뽑아 𝐤∗와 𝑘∗∗를 구함



Equation (2)

Equation (3)


•𝑈

𝑢(𝒙∗)~𝑁 0,

K 𝐤∗𝐓

𝐤∗ 𝑘∗∗

• 𝑃(𝑢(𝒙∗)|𝑼)가 Gaussian distribution을따른다는가정으로𝑢(𝒙∗)을구함

• 𝑢 𝒙∗ = 𝐤∗𝐓K−1𝑼



Equation (4)

Equation (5)


• 초기 parameter 𝜃 = {𝜎𝑓2, 𝑙}을잘구해야 over- or underfitting을피할수

있음

• Maximize log-likelihood를함으로써초기 parameter를구함

• 𝑃 𝑼 𝒙, 𝜃 = 𝑈~𝑁(0, 𝐾)

• log𝑃(𝑼|𝒙, 𝜃) = −1

2𝑼𝑻K−1𝑼−

1

2log K −

𝑛

2log 2𝜋

•𝜕

𝜕𝜃𝑗log 𝑃(𝑼|𝒙, 𝜃) = −

1

2𝑡𝑟 𝛼𝛼𝑇K−1 𝜕K

𝜕𝜃𝑗

• Gradient-based optimization techniques을 이용해 적절한parameter 값을 찾을 수 있음



Equation (6)

Equation (7)


• Material Recommendation, Rejection-Sampling

High threshold: high-quality, decreased variety

Low threshold: larger variety

Threshold: Higher quality(70%), More variety(40%)



Fig. 3.


• Neural Rendering BSDF parameter가주어졌을때 Image 생성

∅:𝑅𝑚 → 𝑅𝑝, ∅(𝒙∗)

m = 19 or 38 (Input BSDF dimensionality)

p = 410 x 410 x 3



Fig. 6.


• Training Set

45000장 이미지

410x410 해상도

250 sample per pixel(Path Tracing)

4 weeks with a NVIDIA GeForce GTX TITAN X GPU

3 to 4 milliseconds inference time



Fig. 7.


• Denoising하는 효과가 있음

• 1500 sample per pixel을 하지 않고250 sample per pixel을 해도 무방

• 24 weeks to 4 weeks




• 목표: Visualization 뿐만 아니라 Exploration을 해야 함

• 제약조건: 수 십 개의 샘플만으로 만들어야 함

• Gaussian Process Latent Variable Model을 사용

non-linear dimensionality reduction technique

𝑋 = […𝒙𝒊…]𝑇 with 𝒙𝒊 ∈ 𝑅𝑚에서

𝐿 = [… l𝒊…]𝑇 with l𝒊 ∈ 𝑅𝑙로 바꾸는 것

BSDF Parameter 개수 𝑚 = 19

Latent Space Variable 개수 𝑙 = 2




• 𝑃 𝑋 𝐿, 𝜃 = ς𝑖=1𝑍 𝑁(𝑋𝑖|0, K

′ + 𝛽−1𝐼)

• 𝐿∗, 𝜃∗ = 𝑎𝑟𝑔𝑚𝑎𝑥𝐿,𝜃 log[𝑃(𝑋|𝐿, 𝜃)]

•𝑋𝒙∗

~𝑁 0,K′ 𝐤∗

′𝑻

𝐤∗′ k∗∗

′

• 𝜓 𝒍∗ = 𝐤∗′𝐓K′−1𝑋



Equation (8)

Equation (9)

Equation (10)

Equation (11)

Interactive Latent Space Exploration


• GPR을 이용해 Preference map을 만들 수 있고

• Distance Metric을 이용해 Similarity map을 만들 수 있음

• 두 map을 곱하여 similar 및 preferred한 variants를 만들 수 있음


GPLVM Color Coding

Fig. 8.


• Dimensionality increase (l = 2) -> (m = 19) -> (p = 410x410x3)

• Parameter를 CNN 입력으로 하여 Rendering


Real-Time Variant Generation

Results


• 𝐽𝑆𝐷(𝑢(𝒙)| 𝑢∗ 𝒙 =1

2∞−+∞

𝑢 𝒙 log𝑢 𝒙

𝑚 𝒙𝑑𝒙 +

1

2∞−+∞

𝑢∗ 𝒙 log𝑢∗ 𝒙

𝑚 𝒙𝑑𝒙

• 𝑚 𝒙 =1

2(𝑢 𝒙 + 𝑢∗(𝒙))

• 이미 알고있는 data에 대해예측 분포와 실제 분포의 차이

• Equation (7)을 이용해 최적의Parameter를 찾을 때3가지 Method를 사용함

Learning material spaces

Table 2.

Equation (12)


• Size

GPR, GPLVM: training sample

Recommendation: recommended sample

CNN, Preference coding, Similarity coding: image resolution

Modeling and execution time

Table 3.

300개를추천하는데 17.4초소요됨

250개의 Material에점수를매김

16개의높은점수의 Material을이용함


Experiment Results

Fig. 11.

Fig. 12.

• Target material이 주어진 상황

• 사전에 몇 분 정도 principled shader를이용해 실험을 해봄


Results

• BSDF Parameter에 대한 지식이 없이도 material을 수정할 수 있음

Fig. 9.

Future Work


• Material Recommendation

Learned intermediate distribution을 이용해 recommendation

• CNN

해상도가 더 큰 이미지 생성

카메라와, 빛의 움직임을 줄 수 있도록 학습

Future Work

Conclusions


• Mass-scale material synthesis system을 제안

3개의 learning algorithms을 이용함

• 미래를 보장(Future-Proof)하는 알고리즘

임의의 BSDF(bidirectional scattering distribution function) Model에 사용 가능함

Material learning and recommendation이 procedural texture에도적용 가능함

Conclusions

http://www.upvector.com/?section=Tutorials&subsection=Intro%20to%20Procedural%20Textures

http://www.upvector.com/?section=Tutorials&subsection=Intro to Procedural Textures

GMS Pseudocode


GMS Pseudocode


1-4: Random으로데이터를만들어서, 각 BSDF x와선호도 u, pair를U에저장

5: 특정선호도이상인데이터 pair만X에저장

10-11: Fine tuning을위해 Recommendation 중에서 x* 하나를고르고CNN을이용해 Rendering

6-9: X를이용해새로운데이터x의선호도를예측하고 Recommendation을추가


GMS Pseudocode


14: X가모두mapping이가능한 Latent Space를만들고해당 grid position에서의 x’를구함

15: x*와 x’를이용해각각 Rendering하고 L2 Norm을구함

16: U를이용해해당 grid position의파라미터의선호도를예측

17-18: 선호도와 similarity를곱해서저장하고특정규칙에따라색을할당

16: 마우스움직임에따라 𝛿를구하고 Rendering 함


GMS Pseudocode

Scoring a new BSDF

새로운 BSDF Parameter에대한 Preference 예측


GMS Pseudocode

Latent Space Mapping

Latent space에서의 data가주어졌을때 observed space에서의 data를리턴


결과 영상 - Dear Fellow Scholars!

gaussian material synthesis - korea...

Documents