1  

Rytmi  

SVKS110  (kevät  2016)  Tommi  Jantunen  

 

ESIMERKKEJÄ  TUTKIMUKSISTA,  JOISSA  ON  JOLLAKIN  TAVALLA  KÄSITELTY  VIITTOMISEN  TAI  ELEHTIMISEN  RYTMIÄ  

Osa  1  

Allen  et  al.  (1991)  •  Informants  tapped  a  small  metal  stylus  in  Eme  to  the  rhythm  of  

five  short  ASL  narraEves;  temporal  locaEons  of  the  observers'  taps  were  compared  for  differences  related  to,  for  example,  various  properEes  of  the  target  signs.  

•  There  was  a  lot  of  variaEon  in  the  way  the  subjects  tapped;  however,  in  general,  all  subjects  seemed  to  be  anEcipaEng  their  tapping  targets,  i.e.  they  tapped  in  a  rhythmical  manner.  

•  There  also  was  an  overall  tendency  among  subjects  to  tap  to  repeated  signs,  signs  with  primary  stress,  and  phrase-­‐final  signs.  

Boyes  Braem  (1999)  •  According  to  naEve  signers  of  DGS,  the  early  learners'  signing  

is  easier  to  watch  and  to  understand  than  the  late  learners's  signing  because  it  is  more  "rhythmic".  

•  A  study  based  on  spontaneoues  signed  narraEves  found,  for  example,  that  early  learners  use  a  regular  side  to  side  movement  of  the  torso  more  consistently  than  late  learners  to  phoneEcally  mark  larger  chunks  of  some  types  of  discourse.    

2  

Loehr  (2007)  •  There  is  a  rich  rhythmic  relaEonship  between  the  hands,  head,  

and  voice;  each  arEculator  produces  short,  disEncEve  expressions  in  complex  synchrony  with  other  arEculators.  

•  The  movements  of  the  hands,  head,  and  speech  all  have  an  average  tempo  similar  to  previously  reported  natural  human  tempos  although  hands  tend  to  move  most  quickly  and  speech  most  slowly.    

•  All  three  also  share  a  common  tempo  of  around  a  third  of  a  second,  perhaps  to  synchronize  inter-­‐arEculator  meeEng  points.  

Luck  &  Sloboda  (2008)  

•  A  kinemaEc  percepEon  study  on  conducEng  gestures  which  invesEgated  the  distribuEon  of  visually  perceived  beats,  generaEng  the  rhythm  of  these  gestures.  

•  The  results  show  that  there  is  a  link  between  high  acceleraEon  value  and  visual  beat  percepEon  (velocity  was  found  to  be  a  factor  in  the  percepEon  process  as  well).  

Puupponen  et  al.  (2016)  

•  A  comparison  of  the  temporal  (rhythmic)  alignment  of  head  nods  with  syntacEc  units  in  FinSL  and  SSL.  

•  Lots  of  variaEon  but,  in  general,  a  clear  majority  of  nods  was  produced  on  a  syntacEc  border  in  both  languages  (ca.  76%)  and  there  was  also  a  tendency  to  produce  nods  sentence-­‐finally  (ca.  40%).  

RYTMISYYDEN  PERUSTEET  Osa  2  

3  

What  is  rhythm?  

•  General  defini?on:  The  organizaEon  of  "things"  or  events  in  Eme.  

•  In  music:  The  organizaEon  of  sounds  in  Eme.  •  In  linguis?cs:    

1)  The  organizaEon  of  linguisEc  units  in  Eme,  i.e.  sequenEal  structure;    

2)  One  of  the  three  classical  subdomains  of  prosody,  the  other  two  being  stress  and  intonaEon  (see  the  next  slide).  

•  Rhythm  generates  predictability.  

Sandler’s  (2012)  model  of  SL  prosody  

…with  three  subcomponents  (p.  57):    

•  Rhythm  (or  Eming);  conveyed  primarily  by  the  hands    

‘the  temporal  alignment  of  the  acEvity  of  different  arEculators  with  various  prosodic  units  (syllable,  prosodic  word,  phonological  phrase  etc.)’    

•  Intona?on;  conveyed  primarily  by  the  face  •  Stress  (cf.  prominence);  conveyed  by  both  types  of  arEculators.  

 

Beat  •  Beat  is  the  foundaEon  of  the  rhythm.    •  The  beat  is  a  pulse;  that  around  which  other  things  or  events  in  

a  sequence  are  centered  around;  or  that  which  funcEons  to  divide  things  or  events  into  sequences.  

•  In  music,  the  beat  has  a  speed  which  is  referred  to  as  tempo;  the  metre  is  the  constellaEon  or  group  of  recurring  strong  and  weak  beats.  

•  In  linguis?cs,  the  beat  is  oien  associated  with  prominence  (cf.  stress);  a  domain  in  which  the  beat  oien  occurs  is  the  syllable.  

•  The  beat  has  various  physical/phoneEc  correlates.    

Regularity  vs.  irregularity  •  To  have  a  rhythm  means  that  there  are  some  sort  of  

sequences  (with  a  beat)  that  occur  in  temporal  succession.  •  The  sequencing  may  be  regular  or  irregular.  •  In  music,  the  sequencing  (of  metre)  is  typically  highly  regular,  

that  is,  the  duraEons  between  the  sequences  (metres)  are  typically  the  same;  this  periodicity  oien  aims  at  establishing  synchronized  motor  behavior.  

•  In  language,  the  sequencing  is  more  irregular,  or  aperiodic,  than  in  music.    

4  

Regularity  vs.  irregularity  

Rhythm  of  dominant  hand  index  finger  velocity  

Rhythm  of  blinking  (addressee’s  eye  aperture  changes)  

Rhythm  of  speech  

Rhythm  of  color  shades  

PhoneEc  markers  of  linguisEc  rhythm  

•  Languages  are  sequenced  by  syllables,  words/signs,  phrases,  clauses,  sentences,  etc.  

•  A  linguisEc  sequence  may  be  marked  for  its  borders  or/and  for  its  domain.  

•  Rhythmically  central  border  and  domain  markers  in  spoken  language  include  dura?onal  lengthening,  pitch  changes  (these  two  are  phoneEc  correlates  of  prominence  or  stress),  and  the  ordering  of  vowels.  

…cont’d  •  Allegedly,  the  existence  of  manual  and  various  nonmanual  

arEculators  makes  the  number  of  phoneEc  correlates  of  border  and  domain  markers  higher  in  SL  than  in  SpL.  

•  In  signed  language,  the  areas  and  borders  of  rhythmical  sequences  have  been  claimed  to  be  marked  by  dura?onal  lengthening  and/or  temporal  balancing  of  sequence  final  elements,  velocity  peaks,  side-­‐to-­‐side  body  movements,  sentence  final  nods,  blinks,  etc.  

•  In  general,  the  above  listed  phoneEc  properEes  and  events  (both  in  spoken  and  in  signed  language)  contribute  to  the  rhythmic  feel  of  a  language.    

VIIMEAIKAISTA  VIITTOMAKIELIÄ  VERTAILEVAA  TUTKIMUSTA  MANUAALISESTA  JA  EI-­‐MANUAALISESTA  RYTMISTÄ  (Jantunen  et  al.  2016)  

Osa  3  

5  

Main  data  FinSL  

•  10  signers  (4  male,  6  female),  age  20-­‐30  •  Task:  signing  a  cartoon  

–  Snowman  (3  male,  2  female)  –  Frogstory  (1  male,  4  female)  

•  DuraEon  of  video:  35  min,  18  sec  •  Annotated  for  signs,  translaEons  and  head  

movements  in  ELAN.  •  Computer-­‐vision  data  on  head  pose  angle.  

SSL  

•  10  signers  (4  male,  6  female),  age  30-­‐40  •  Task:  signing  a  cartoon  

–  Snowman  (1  male,  4  female)  –  Frogstory  (3  male,  2  female)  

•  DuraEon  of  video:  29  min,  35  sec  •  Annotated  for  (signs,)  translaEons  and  

head  movements  in  ELAN.  •  Computer-­‐vision  data  on  head  pose  angle.  

Hypothesis  &  research  quesEons  

The  rhythm  of  signing  is  different  between  FinSL  and  SSL.    1.  Are  the  sign  duraEon  and  signing  speed  

different  in  FinSL  and  SSL?  2.  Are  the  movements  of  the  head  distributed  

differently  in  terms  of  their  amplitude  (bigness,  smallness)  in  FinSL  and  SSL  sentences?  

QuesEon  1  –  Data  &  method  •  Direct  comparison  of  sign  duraEons  and  signing  speed  not  

possible  due  to  differences  in  annotaEon  convenEons.  •  30  second  strecth  of  signing  from  each  signer  (5+5  minutes,  

10+10  signers),  extracted  from  the  middle  of  the  story.  •  DuraEons  of  signs  annotated  in  ELAN  by  one  annotator  who  

was  familiar  with  both  languages.  •  Altogether  645  FinSL  signs  and  572  SSL  signs.  

Jantunen,  T.  (2015).  How  long  is  the  sign?  Linguis:cs  53(1),  93-­‐124.  –  WALLIN,  Lars  &  Johanna  Mesch  (2015).  Annoteringskonven:oner  för  teckenspråkstexter.  Version  6.  Stockholms  universitet,  InsEtuEonen  för  lingvisEk,  Avdelningen  för  teckenspråk.  

Results  –  sign  duraEon  

FinSL  average  duraEon  0.37  secs  (SD=0.26),  SSL  average  duraEon  0.42  secs  (SD=0.27).  The  difference  is  staEsEcally  very  significant  (p=0.0019;  unpaired  two-­‐tailed  t  test).  

6  

Results  –  signing  speed  •  Signing  speed  =  number  of  signs  /  30  seconds  •  FinSL:  64.5  signs  per  30  seconds  in  average  (SD=15.34)  •  SSL:  57.2  signs  per  30  seconds  in  average  (SD=8.19)  •  The  difference  is  not  sta?s?cally  significant    

(p=0.2008;  unpaired  two-­‐tailed  t-­‐test)  •  Signing  speed  in  both  FinSL  and  SSL  is  ca.  2  signs  per  1  second  

QuesEon  2  –  Data  •  16  declara?ve  sentences  (8  for  FinSL,  8  

for  SSL)  produced  by  8  signers  (4+4).  •  All  the  sentences  extracted  from  the  

Snowman  story,  in  which  the  sentences  occurred  story-­‐iniEally.  

•  Syntac?cally,  the  producEons  of  each  signer  correspond  to  coordinated  two-­‐sentence  sequences.    

•  Seman?cally,  all  the  sequences  express  the  same  contents  (roughly:  'the  boy  wakes  up  and  sees  that  it  is  snowing  outside').    

•  3D  numerical  data  on  the  head  movements  of  signers  describing  the  moEon  of  the  head  in  the  yaw,  pitch,    and  roll  dimensions.    

JANTUNEN,  T.  (forthcoming).  Clausal  coordinaEon  in  Finnish  Sign  Language.  Studies  in  Language  40.  –  KARPPA,  M.,  V.  Viitaniemi,  M.  Luzardo,  J.  Laaksonen  and  T.  Jantunen,  "SLMoEon  -­‐  An  extensible  sign  language  oriented  video  analysis  tool,"  in  Proceedings  of  LREC  2014.  Paris:  ELRA,  pp.  1886–1891,  2014.  –  LUZARDO,  M.,  M.  Karppa,  J.  Laaksonen,  T.  Jantunen,  "Head  pose  esEmaEon  for  sign  language  video,"  in  J.-­‐K.  Kamarainen  and  M.  Koskela  (eds.),  Image  Analysis.  Springer,  Lecture  Notes  in  Computer  Science,  Vol.  7944,  pp.  349–360,  2013.    

Method  

•  Take  a  sentence.  •  Divide  it  into  three  sequences  in  ELAN.    •  Calculate  the  numerical  range  (R)  for  yaw,  

pitch  and  roll  in  each  sequence.    •  Repeat  for  each  sentence  in  FinSL/SSL.    •  For  each  sequence  of  both  languages,  

calculate  the  average  range  for  yaw,  pitch  and  roll.  

•  InvesEgate  the  similariEes  and  differences  between  the  two  languages  via  visual  observa?on  and  with  the  linear  correla?on  co-­‐efficient  (r).  

“Recipe”  

Results  •  Yaw:  the  shapes  of  the  language-­‐specific  

amplitude  curves  were  almost  diametrically  opposed  to  each  other  (r=-­‐0.95,  a  near  perfect  negaEve  correlaEon)    

•  Pitch:  the  shapes  of  the  curves  were  simply  different,  showing  no  linear  correlaEon  at  all  (r=0.19).  

•  Roll:  A  notable  similarity  in  the  results,  that  is,  the  ElEng-­‐like  movement  was  larger  in  the  opening  secEon  of  sentences  than  in  the  closing  secEon  in  both  FinSL  and  SSL  (r=1.0,  a  perfect  posi?ve  correla?on).    

The  average  amplitude  (in  degrees)  of  the  movement  of  the  head  in  yaw,  pitch,  and  roll  dimensions  for  the  opening  (1),  middle  (2),  and  closing  (3)  secEons  of  8+8  semanEcally  and  structurally  comparable  FinSL  and  SSL  sentences.  

7  

A  discussive  summary  –  research  quesEons  

1.  There  was  a  sta?s?cal  difference  in  the  sign  dura?on  but  no  difference  in  the  average  signing  speed  between  FinSL  and  SSL;  signer’s  age  and  presentaEon  style  may  affect  the  results.  

2.  There  were  more  differences  than  similari?es  in  the  way  in  which  the  head  moved  in  terms  of  its  amplitude  in  FinSL  and  SSL  sentences;  the  similarity  of  the  head  movement  in  the  roll  dimension  may  be  the  only  factor  that  is  related  to  the  rhythm.  

Conclusion  •  The  hypothesis  that  there  is  a  rhythmic  difference  

between  FinSL  and  SSL  cannot  be  unambiguously  supported  or  refuted  on  the  basis  of  the  present  data  –  both  rhythmic  differences  and  similariEes  are  found.  

•  The  present  work  has  focused  only  on  a  few  aspects  of  the  rhythm  –  rhythm  is  a  complex  phenomenon  and  the  future  work  has  to  explore  it  also  from  other  perspecEves.  

Kirjallisuus  (jota  ei  ole  lueteltu  dioissa)  

•  ALLEN,  George  D.,  Wilbur,  Ronnie  B.  &  Schick,  Brenda  B.  (1991).  Aspects  of  Rhythm  in  ASL.  Sign  Language  Studies  72:435-­‐483.  

•  BOYES  Braem,  Penny  (1999).  Rhythmic  Temporal  Payerns  in  the  Signing  of  Deaf  Early  and  Late  Learners  of  Swiss  German  Sign  Language.  Language  and  Speech  42(2-­‐3):177-­‐208.    

•  JANTUNEN,  T.,  Mesch,  J  &  Puupponen,  A.  (2016).  Aspects  of  the  rhythm  in  FinSL  and  SSL.  Paper  presented  in  the  12th  Conference  on  TheoreEcal  Issues  in  Sign  Language  Research  (TISLR  12),  Melbourne,  Australia,  6  January,  2016.  

•  LOEHR,  Daniel  (2007).  Aspects  of  rhythm  in  gesture  and  speech.  Gesture  7(2):179-­‐214.    •  LUCK,  G.  &  Sloboda,  J.  (2008).  Exploring  the  spaEo-­‐temporal  properEes  of  simple  conducEng  

gestures  using  a  synchronizaEon  task.  Music  PercepEon  25:  225–239.  •  PATEL,  Aniruddh  D.  (2006).  Musical  Rhythm,  LinguisEc  Rhythm,  and  Human  EvoluEon.  Music  

PercepEon  1(24):99-­‐104.    •  PATEL,  A.  D.  &  Daniele,  J.  R.  (2003).  An  empirical  comparison  of  rhythm  in  language  and  

music.  CogniEon,  87:B35–B45.    

…jatkuu  •  PUUPPONEN,  A.  (2012).  Horisontaaliset  ja  verEkaaliset  päänliikkeet  suomalaisessa  

viiyomakielessä  [Horizontal  and  verEcal  head  movements  in  FinSL],  MA  thesis,  University  of  Jyväskylä,  Jyväskylä,  Finland.      

•  PUUPPONEN,  A.;  Wainio,  T.;  Burger,  B.  &  Jantunen,  T.  (2015).  Head  movements  in  Finnish  Sign  Language  on  the  basis  of  MoEon  Capture  data:  a  study  of  the  form  and  funcEon  of  nods,  nodding,  head  thrusts,  and  head  pulls.  Sign  Language  &  LinguisEcs  18(1),  41-­‐89.    

•  PUUPPONEN,  A.;  Jantunen,  T.  &  Mesch,  J.  (forthcoming  in  May  2016).  The  alignment  of  head  nods  with  syntacEc  units  in  Finnish  Sign  Language  and  Swedish  Sign  Language.  To  appear  in  the  Proceedings  of  the  Speech  Prosody  2016,  to  be  organized  in  Boston  (USA),  31  May-­‐3  June,  2016.    

•  RAMUS,  Franck,  Nespor,  Marina  &  Mehler,  Jacques  (1999).  Correlates  of  linguisEc  rhythm  in  the  speech  signal.  CogniEon  73:265-­‐292.  

•  SANDLER,  Wendy  (2012).  Visual  prosody.  In  R.  Pfau,  M.  Steinbach  &  B.  Woll  (Eds.),  Sign  language:  An  internaEonal  handbook,  55–76.  Berlin:  Mouton  De  Gruyter.  

•  SANDLER,  W.,  I.  Meir,  S.  Dachkovsky,  C.  Padden  &  M.  Aronoff  (2011).  The  emergence  of  complexity  in  prosody  and  syntax,  Lingua  121(13),  2014-­‐2033.