renom user group #1 part2

INFRASTRUCTURE + LIFE + INNOVATION

RNUG Kick Off Part 2- ReNom 2.0 -

Agenda

p ReNomとは？p設計思想pVersion 1.0 ⇒ version 2.0pプログラムインタフェースp具体例全結合ネットワーク, GANpまとめp今後の展開、提供方法

ReNomとは？

(2017/7/20) 現在 Version 1.2まで開発が進みユーザー様にご利用いただいている

ReNomとは？

大切にしていること：NN構築しやすさ、変更しやすさ

開発理由：DLの技術向上のため、他製品のバックエンド、使いやすさの向上

設計思想

● NN構築、変更しやすさ ...

p 上からレイヤを並べてくことでNNを構築

p コメントアウトでレイヤを差し替えられる

p 正則化などの関数もレイヤ化

p ベイズサーチによるハイパーパラメータ探索

p Train関数

Version 1.0 ⇒ Version 2.0

Version 1.0 から Version 2.0へメジャーアップデートに伴いReNomをgithub上へ公開

自動微分

+ 𝑓(𝑥)ℎ

𝑑ℎ𝑑ℎ

𝑑𝑓𝑑𝑓

𝑑𝑓𝑑𝑏

𝑑𝑓𝑑ℎ

𝑑ℎ𝑑𝑥

𝑑ℎ𝑑𝑎

𝒅𝒇𝒅𝒂

𝒅𝒇𝒅𝒙

トップダウン型自動微分を実装…関数 f(x)の導関数 12

13を自動的に生成するアルゴリズム

𝑓 𝑥 = 𝑎𝑥 + 𝑏

計算グラフを順に生成(順伝播)

𝑑𝑓𝑑𝑥 = 𝑎

計算グラフを逆にたどる(逆伝播)

自動微分

●勾配を求めたい行列をVariableオブジェクトとして定義する

プログラムインタフェース

pNumpyのndarrayと同じインターフェース

pSequentialモデルとFunctionalモデル

p勾配の初期化(zerograd, cleargrad)が必要ない

p Numpyのndarrayと同じインターフェース

● Numpyで書いたコード

𝑓 𝒙 =5𝑎6 ∗ 𝑥6 + 𝑏6

�𝒂 =

𝑎:𝑎;

, 𝒃 = 𝑏:𝑏;

, 𝒙 = 𝑥:𝑥;

ReNomのVariableは Numpyの ndarrayクラスを継承している。インターフェースがNumpyと同じ。Numpyの関数にVariableオブジェクトを入れられる。

● ReNomで書いたコード

①勾配を計算したい変数を

Variableでラップ

② ReNomのsum演算に置き換える

● xに関する勾配を取得

𝑓 𝒙 =5𝑎6 ∗ 𝑥6 + 𝑏6

𝑑𝑓𝑑𝒙 = 𝒂

Variableオブジェクトの勾配をすべて取得

Xに関する勾配を取得

p SequentialモデルとFunctionalモデル

n ReNom Version1と同様、Sequentialモデルを提供

n 様々なフレームワークで提供されているFunctionalモデルを追加

● Sequentialモデル …レイヤオブジェクトを並べてニューラルネットを構築

入力層

中間層

出力層

● Functionalモデル …関数の組み合わせで自由に演算を定義可能

入力層

中間層

出力層

VariableVariable

Variable

p勾配の初期化が必要ない多くのフレームワークでは、逆伝播で計算された勾配情報を行列クラス

(Variableなど)が属性として持っている。

+ 𝑓(𝑥)ℎ

𝑑𝑓𝑑𝑓

𝑑𝑓𝑑ℎ

𝒅𝒇𝒅𝒙

順伝播

逆伝播

VariableVariable

Variable

● ReNomでは、計算された全ての勾配をGradsオブジェクトとして計算グラフの外に持つ

+ 𝑓(𝑥)ℎ

Grads𝒅𝒇𝒅𝒙

𝑑𝑓𝑑ℎ

𝑑𝑓𝑑𝑓

リファレンス

順伝播

逆伝播

p 勾配の初期化が必要ない

ReNom方式

利点・勾配計算後、初期化が必要ない

・モデルを複数定義せずに複数の勾配データを管理できる

p 勾配の初期化が必要ない

誤差逆伝播を実行し、各Variableの勾配を持つGradsオブジェクトを生成

Gradsオブジェクトからxに関する勾配を取得

具体例 1 全結合ネットワークモデル

全結合ニューラルネットワークの例を通してReNomの使用方法を説明します。

二層ニューラルネットワーク活性化関数：Relu

1. ナイーブな実装2. L2ノルム正則化の追加3. Sequentialモデルを使用した実装4. 勾配降下アルゴリズムの適用

●ナイーブな実装 -順伝播

重みパラメータの初期化

順伝播計算

● L2正則化を追加

・L2ノルム正則化(weight decay)を付加・Numpyで書くように重み正則化を追加することで、正則化を実装可能・L1ノルム正則化やその他正則化も同様に、数式をそのままNumpyで書くように実装することができる。

●勾配降下アルゴリズムの適用

順伝播

L2ノルム正則化

誤差関数

Gradsオブジェクト

誤差逆伝播

n Gradsオブジェクトは勾配データとVariableオブジェクトへの参照を保持

n そのためupdate関数はGradクラスに実装した

n Sgd、Adamなどの勾配降下アルゴリズムはupdate関数の引数として与える。

具体例 2 GANモデル

● GAN(Generative adversarial Network)を例にした複雑なニューラルネットワークの構築方法

Discriminator

Generator

Proper Distribution

Latent Distribution

1. GANモデル構築の簡単な説明2. 複数のモデル定義から新たなモデル作成3. ネットワークの一部分を更新する

● GeneratorとDiscriminator

Discriminator

Generator

Proper Distribution

Latent Distribution

二つのネットワークをSequentialモデルで構築

● GeneratorとDiscriminatorを統括するGANクラスを定義

Discriminator

Generator

Proper Distribution

Latent Distribution

定義済みモデルGenerator, Discriminator

二つのネットワークを別々に更新する。

Discriminator

Generator

Proper Distribution

Latent Distribution

・Discriminatorのみを更新したい場合、generatorのwith prevent_updateブロックの中で重みを更新する。

このwithブロックの中では、Generatorの重みパラメータは

更新されない。

Discriminator

Generator

Proper Distribution

Latent Distribution

このwithブロックの中では、Discriminatorの重みパラメータは

更新されない。同様にGeneratorの重みだけをのみを更新

まとめ

nReNomを公開します

nReNomは Defined by Run

nReNomのVariableは Numpy ndarrayと同じインタフェース

nReNomは他DLフレームワークと、勾配の扱い方の点で異なる

今後の展開

● 8月1日(火) Version 2.0 ドキュメント公開● 8月8日(火) ReNom 2.0 公開

機能拡張、チューニング…徐々に更新していきます(Convolution3D, Temporal Dropout…)

提供方法●公開場所 : Github

https://github.com/ReNom-dev-team/ReNom

renom user group #1 part2

Data & Analytics

nano part2

proje part2

memoires part2

renom user group #1 part1

word part2

asli part2

renom user group #1 part3

modeling part2

конструкции part2

part2 programming

tccsaludmental part2

hadees part2

expressionismo part2

catalog part2

ccna part2

portfolio part2

test part2

session3 part2

02manovidyan part2

pesach part2