色字共感覚と書記素学習

情報学環教育部４年目

鈴木良平 (@quolc)

論文紹介

• Asano and Yokosawa, Grapheme learning and grapheme-color synesthesia: toward a comprehensive model of grapheme-color association (2013)

　※東大心理学教室・横澤研（統合的認知研究）の論文

• Grapheme = 書記素（ e.g., ひらがな , アルファベット）

• Synesthesia = 共感覚

色字共感覚の統一的モデルの提唱とその検証

色字共感覚(grapheme-color synesthesia)

• 字を見た時に色を感じ取る共感覚– 共感覚者の 68% を占め [Day, 2005] 、研究が盛ん

※ 単語ではなく文字単位での知覚

• 色字対応– 個人内では定常的

– 個人間では異なる（ A ＝赤など、一部で共通傾向）

神経科学的知見

一部の脳領域での灰白質増加・活動増加

• 頭頂間溝 [Weiss & Fink, 2009]

– 視覚的注意、視覚的身体制御、立体視などに関連

– 数量認知との関連も指摘 [Ansari & Karmiloff-Smith, 2002]

• 右紡錘状回 [Jäncke, Beeli, Eulig, & Hänggi, 2009]

– 色情報処理、単語認知、数字認知などに関連

色字対応の規則性

• 知覚色に影響する字の特性– 文字形状 [Brang et al., 2011], 発音 [Asano &

Yokosawa, 2011], 意味・概念 [Rich et al., 2005], 出現頻度 [Beeli et al., 2007], 順序 [Watson et al., 2012], 記憶 [Witthoft & Winawer, 2006]

• 複数の特性が同時に関与する– 漢字：音・形状・意味 [Asano & Yokosawa, 2012]

– アルファベット：音・形状・順序 [Watson et al.,

2012]

各特性の相対的重要性はどう決まる？

規則性の言語による違い

• 英語（アルファベット）– 音ではなく字によって決まる (e.g., “cat”, “cite”)

– 名前の類似性と色の類似性は無関係 (e.g., “b” & “c”)

• 日本語（ひらがな・カタカナ）– 音韻に強く依存する

( 対応するひらがな・カタカナは同じ色に見える）

– 文字形状の影響は小さい（ e.g., ” ね” & ” わ”）

発達と色字対応形成

• 書記素学習時に対応が形成される（仮説）– 学習時の字特性の脳での扱われ方が、

色字対応における各特性のインパクトを決定する

• 対応転移仮説 [Rich et al., 2005]

– まず、 <conventional sequence, color> 対応が形成

– 一般化されて <grapheme, color> 対応が成立

※conventional sequence ＝数字 , 曜日 , 月など

• 身近な物体の記憶 [Witthoft and Winawer, 2006]

統一的モデルの提案

1. 色字対応は書記素学習過程で形成される

2. 子どもは字弁別のために様々なドメイン(e.g. 音 , 形状 , 順序 ) の特性情報を用いる

3. 書記素学習以前に共感覚者の脳ではドメイン - 色対応が形成されている

4. 学習時に、字弁別で最も重要なドメインでの色対応が色字対応に転移する

5. 結果、色字対応は字の顕著な弁別特性を表す

本モデルに基づく仮説

• アルファベット：順序以外の特性は弁別性が低い⇒ 色字対応決定要因：順序 ＞ 形状 ≫ 発音

• ひらがな：発音と順序は等しく弁別性が高い⇒ 色字対応決定要因：音 ＝ 順序 ＞ 形状

モデルの検証

• 色字共感覚者のひらがな・アルファベット各文字の知覚色を実験的に測定する

• 順序 , 音韻 , 形状 , 親近性の４独立変数について、重回帰分析によって知覚色への影響を調べる– 親近性（より主観的）≒出現頻度

• Second-order similarity mapping [Watson et al.

2012]

– 絶対値ではなく差と差のマッピング

– 「音韻が大きく異なれば、知覚色も大きく異なる」

– 量的要素が同時に効く場合の分析に適切

実験手法（詳細）

• 被験者：色字共感覚者 17 名 ＋ コントロール 6名– 日本語ネイティブ

– ひらがなとアルファベットに色を知覚

– 音声入力に対しては色を知覚しない

• 手順– 暗室でディスプレイに文字が一つ表示される

– 138 色のパレットから知覚色に最も近いものを選ぶ

– 1セッション中で全ての文字がランダム順序で呈示

• 3週間以上おいて 2セッションを実行

真正性検証

• セッション間での色字対応の一貫性を確認– L*a*b* 色空間でのユークリッド距離

• 色字共感覚者– ひらがな： Ave=19.7, SE=1.4 (range=10.3-

31.3)

– アルファベット： Ave=16.3, SE=1.2 (range=6.8-25.3)

※chance=67.9 (SD=31.8)

• コントロールとの有意性確認

Similarity の定義

• 独立変数– 順序：一般的 ABC, あいう順序差

– 音韻：共通音素数

– 形状：主観 [Kawakami & Tsuji, 2012], [Boles & Clifford,

1989]

– 親近性：主観 [Amano & Kondo, 1999]

• 従属変数– Color ： L*a*b*空間でのユークリッド距離

– Hue, Saturation, Luminance ： L*C*h空間での変数差

結果１ – ひらがな

結果１ – ひらがな

• 順序が全ての色要素に対して強く影響

• 音韻も全ての色要素で顕著に影響– Hue では順序よりも強く影響

• 形状は Hue 以外の色要素に顕著に影響

• 親近性はこれらに次いで主に Saturation に影響

⇒ 結果はおよそ仮説に合致

※多重共線性なし

結果２ – アルファベット

結果２ – アルファベット

• 順序のみが色に対して significant (p<0.01) に影響

• 形状は色に対しては部分的に影響 (p=0.10)

• Hue に対しては形状が significant (p<0.05)に影響順序も部分的ながら影響 (p-0.07)

• 音韻はいずれの要素にも顕著な影響なし

⇒ 結果はおよそ仮説に合致

※多重共線性なし

議論

• アルファベットでの予測能力の低さ (R2=0.27)– 身近でないから？既習書記素からの転移？

– 各特性は一部の字でのみ有効 – “markers” 仮説

• Categorical vs. Continuous 対応 [Watson et al.

2012]

離散 / 連続的特性は、色の離散 / 連続的性質に影響する

– ひらがな ... ( 音韻 – hue), (親近性 – saturation)

– 順序は離散的かつ連続的？形状は連続的？

• 形状の類似性指標– E. Gibson の 11次元文字素を用いると予測能力が上が

る