lexi cal decay

8/11/2019 Lexi Cal Decay

1/20

5

1965 In te rna t iona l Confe rence on

C o m p u ta t i o n a l L in g u i s t i c s

M O D E L S O F L E X I C A L D E C A Y

D .

K le in e c k e

T E C H N I C A L M I L I T A R Y P L A N N I N G O P E R A T I O N

G E N E R A L E L E C T R I C C O M P A N Y

7 3 5 S t a t e S t r e e t ( P . O . D r a w e r Q Q )

S A N T A B A R B A R A , C A L I F O R N I A 9 3 1 0 Z


2/20

A b s t r a c t

L e x i c a l d e c a y is t he p h e n o m e n o n u n d e r l y i n g t he da ti ng t e c h-

n i q ue s k n o w n a s g l o t to c h r on o l og y a n d l e x i c os t a t i st i c s . M u c h o f

t h e c o n t r a v e r s i a l n a t u r e o f w o r k i n t h i s f i e ld i s t he r e s u lt o f e x t r e m e l y

i m p r e c i s e f o u n d a t i o n s a n d l a c k o f a t te n ti o n t o t h e u n d e r l y i n g s ta ti st ic al

a n d s e m a n t i c m o d e l s .

A s a ti s fa c to r y s e m a n t i c m o d e l c a n b e f o u n d in t he c o n c e p t of s e -

m a n t i c a t o m . N o t w i t h s t a n d i n g a n u m b e r o f p h i l os o p h i ca l o bj e ct io n s,

t h e s e m a n t i c a t o m is a n o p e r a t i o n a l l y f e a si b le s u p p o r t f o r a l e x i c o n

w h i c h i s a s e m a n t i c s u b s e t o f a ll p o s s i b le m e a n i n g s a n d a t t he s a m e

t i m e , e x h a u s t s t he v o c a b u l a r y o f a l a n g u a g e . L e x i c a l d e c a y i s t h e

p r o c e s s b y w h i c h t he l ex ic al i t e m c o v e r i n g a n a t o m is r e p l a c e d b y

another lexical item.

E x p o n e n t i a l l e xi c al p r e s e r v a t i o n i s, i n t h i s m o d e l , d i r ec t l y

a n a l o g o u s to d e c a y p h e n o m e n a i n n u c l e a r p h ys i cs . C o n s i s t e n c y re -

q u i r e s t ha t t he d e c a y p r o c e s s i n v o l v e d i n e x p o n en t i a l ly p r e s e r v e d

v o c a b u l a r i e s b e a P o i s s o n p r o c e s s. T h i s s h o w s h o w to f o r m te st

v o c a b u l a r i e s f o r d at i ng a n d p r o v e s t ha t p r e s e n t l y u s e d v o c a b u l a r i e s

a r e n o t c o r r e c t l y f o r m e d .

D i a l e c t a t i o n s t u d ie s s h o w t ha t h i s t or i c a ll y d i v e r g i n g p o p u l a t i o n s

m u s t b e m o d e l l e d b y c o r r e l a t e d P o i s s o n p r o c e s s e s . D ef in it iv e s ta -

tistical tr ea tm en t of these quest ions is not possible at this time, but

m u c h d e s i r a b l e r e s e a r c h c a n b e in di ca te d.


3/20


4/20

K l e i n e c k e - Z

D e c a y p h e n o m e n a i n n u c l e a r p hy s i c s a r e g o v e r n e d b y r el at iv el y

s i m p l e , w e l l u n d e r s t o o d p r i n c ip l e s. T o a p p l y t h e s e r e s u lt s t o l e xi c al

d e c a y w e f i rs t e s t ab l i sh t he c o n c e p t s o f a s e m a n t i c a t o m a n d a s et o f

i n d e p e n d e n t s e m a n t i c a t o m s . T h e o b s e r v e d f ac t o f e x p on e n ti a l d e c a y

o f v o c a b u l a r y t h e n i s a c c o u n t e d f o r b y a s s u m i n g t ha t t he l ex i ca l i t e m

c o v e r i n g a n a t o m d e c a y s a c c o r d i n g t o a P o i s s o n p r o c e s s . O e n e r a l l y

s p e a k in g , t he c o n v e r s e o f t h i s is a l s o t r u e, a n d o n l y a P o i s s o n p r o c e s s

w o u l d p r o d u c e e x p o n e n ti a l d e c a y . F r o m t h e se c o n s i de r a t io n s , w e

c a n d r a w m a n y c o n c l us i o n s a b o u t h o w to a n d h o w n o t to c o n s t r uc t t es t

v o c a b u l a r i e s f or d a ti n g p u r p o s e s .

W i t h t h i s m o d e l i n h a n d , w e c a n d r a w c o n c l u s i o n s o f a st at is ti ca l

n a tu re . F o r e x a m p l e , w e c a n d e v e l o p f o r m u l a s f or the p r o p e r m e t h o d

o f d at i ng t he s p li t b e t w e e n t h r e e o r m o r e l a n g u a g e s a n d f or g o o d e st i-

m a t o r s i n m o r e c o m p l e x situ atio ns.

W e c a n c o n s t ru c t a n i n p r ec i s e h eu ri s ti c m o d e l f or t he d y n a m i c

s e m a n t i c s u n d e r l y i n g t h e P o i s s o n p r o c e s s . S o l o ng a s t he f i rs t o r d e r

t h e o r y i s a d e q u a t e , t h i s i s m u c h i n t he n a t u r e o f a cu r io s it y . It s e e m s ,

h o w e v e r , t ha t f i r st o r d e r t h e o r y i s n o t a d e q u a t e . A c t u al l y , s u c h a

c o n c l u s i o n i s r e a l ly p r e m a t u r e b e c a u s e t h e k i n d o f v e r if i c at i o n s tu d i e s

n e e d e d h a v e n o t b e e n m a d e . A s s u m i n g t he p e s s i m is t i c c on c lu s io n , w e

h a v e t o c o n s t r u c t s e c o n d ( or h i g h e r ) o r d e r t h e o r i e s t o a c c o u n t f o r t h e

i n a d e q u a c i e s o f f i rs t o r d e r t h eo r y. A t t he m o m e n t , w e h a v e n o u s ef u l

r e su l ts i n t h is d i r e c ti o n - - th e p r o b l e m m e r g e s i nt o t he p r o b l e m o f

d ia le ct at io n. P r o b a b l y t he m o s t i m p o r t a n t s e r v i c e w e c a n r e n d e r i s

t o i n d ic a t e e x a c t l y w h a t k i n d o f d e t a i le d s t u d i e s a r e n e e d e d .

S e m a n t i c A t o m s

I t is ve ry ea sy to raise objections of a philosophical nat ure to

t he c o n c e p t o f a s e m a n t i c a t o m . I n t h i s p a p e r w e w il l s i m p l y i g n o r e


5/20

K l e i n e c k e - 3

t h e s e o bj e c t i o ns a n d d e fi n e s e m a n t i c a t o m i n a n o p e r a t i o n a l w a y .

T h e r e a r e a l s o o p e r a t i o n a l d if fi cu lt ie s, b u t t h e s e s e e m t o b e s u r -

m o u n t a b l e .

A s e m a n t i c a t o m is a

c i e nt l y s p e c if i e d t o r e m o v e

c o m p l e t e l y d e f i n e d u n it c o n c e p t s uf fi -

all a m b i g u i t y . F o r e x a m p l e , i n a n

a n t h r o p o l o g i c a l c o nt e xt , w e m i g h t h a v e s u n , a s p o i n t e d a t b y a m a l e

a n t h ro p o l o gi s t at h i g h n o o n i n t he m i d d l e o f s u m m e r o n a n a v e r a g e

d a y a m o n g a g r o u p o f y o u n g m e n w i t h p l e nt y to d r i n k . T h e k i n d o f

su bt ili ti es n e e d e d t o c o m p l e t e t h e d ef in it io n r e m i n d s o n e o f K o r z y b s k i a n

G e n e r a l S e m a n t i c s , b u t t he i n te n ti o n is n o t t he s a m e . W e s e e k t o

r e m o v e a m b i g u i t y b u t w e m u s t h a v e a n o n - u n i q u e c o n c e p t - - o n e t ha t is

a l w a y s p r e s e n t .

C e r t a i n ly t h e r e h a s b e e n little u s e o f s e m a n t i c a t o m s a n y w h e r e

i n t h e p a st . T h o s e i n t e r e s t e d i n s e m a n t i c s f o r its o w n s el f w i ll r e j e c t

t h e m a s u s e l e ss o r m e a n i n g l e s s ; l e x o g r a p h e r s d ea l i n m o r e g e n e r a l i z e d

c o n c e p t s . It w o u l d b e h a r d t o a r g u e t ha t t h e y h a v e g e n e r a l u t il it y, b u t

t h e y a r e p r e c i s e l y w h a t i s n e e d e d f o r s t ud y i n g l ex i ca l d e c a y .

E a c h s e m a n t i c a t o m , i n a n y s p e e c h at a n y t i me , is a s s u m e d to

b e c o v e r e d b y s o m e l ex ic al i t em . T h a t is, t h e re is s o m e w o r d w h o s e

m e a n i n g i n c lu d e s t ha t o f t he a t o m . T h u s , v o c a b u l a r i e s c a n b e f o r m e d

o v e r a n y s et o f s e m a n t i c a t o m s b y li st in g t he c o v e r i n g l e xi c al i t e m

f o r e a c h a t o m . T h e k i n d o f d e c a y b e i n g s t u d i ed i s t ha t w h e r e t h e c o v -

e r i n g l e xi c al i t e m i s r e p l a c e d b y a n o t h e r i t e m . T h e r e p l a c e d w o r d

o n ly ra r e l y i m m e d i a t e l y d i s a p p e a r s f r o m t he l a n g u a g e a s a w h o l e , b ut

it h a s d i s a p p e a r e d f r o m t he s e m a n t i c a t o m .

A n i n d e p e n d e n t s et o f s e m a n t i c a t o m s is a se t o f a t o m s all o f

w h i c h d if fe r a m o n g t h e m s e l v e s e n o u g h to m a k e t he d e c a y at a n y a t o m

c o m p l e t e l y i n d e p e n d e n t o f t ha t a t a n y o t h e r a t o m . T h u s , o n l y o n e f r o m

s et s o f w o r d s , l ik e n u m e r a l s o r p r o n o u n s , w i t h h a b it u a l i n t e rr e l a ti o n s


6/20

Kle inec ke - 4

c a n a p p e a r i n t h e s e t . I n d e p e n d e n t s et s a r e us e f ul b e c a u s e i n

t h e m , p r o b l e m s o f i n t e r - a t o m c o r r el a t i o ns n e e d no t b e c o n s i d e r e d .

B e f o r e p a s s i n g o n, w e s h o u l d s a y a f e w w o r d s a s to t he p r a c -

tical u s e of s e m a n t i c a t o m s . T h e r e d o e s n ot s e e m to b e a n y d o u b t

t ha t t he c ol l ec t or s o f v o c a b u l a r i e s w a n t t o w o r k w i t h s e m a n t i c a t o m s - -

e v e n if t h ei r r e s u lt s a r e c o m p l e t e l y u n s u c c e s s f u l . I n a n e n t r y d o g =

h u n d t h e y w o u l d l ik e to s a y t ha t t h e r e is a s e m a n t i c a t o m a n d i ts c o v e r

i n E n g l i s h i s d o g , i n G e r m a n , h u n d . T h e pi t fa l ls o f t hi s s o r t o f

t hi ng a r e w e l l - k n o w n . S o m e c a r e i n d ef in in g a t o m s m i g h t m a k e it

f e as i bl e if w e r e q u i r e n o t c o m p l e t e i de nt i ty o f t he E n g l i s h a n d G e r m a n

s e m a n t i c s , b u t r a t h er t he e x i s te n c e of s o m e c o n c r e t e c o n c e p t w h e r e

b o th t he E n g l i s h a n d G e r m a n w o r d s a r e a p p ro p r ia t e . C l e a r l y this m u c h

w e a k e r r e q u i r e m e n t w i ll b e e a s i e r to s at is fy , s o w e a d o p t it.

W e c o n c l u d e t ha t, w i t h a d e q u a t e pr e c au t i o ns , s e m a n t i c a t o m s

c a n b e o p e r a t i o n a l l y f e a s ib l e e v e n if t r u e r i g o r i s i m p o s s i b l e . I n t h e

c a s e of l i t t l e - k no w n l a n g u a g e s , t h e r e i s m u c h m o r e c h a n c e f o r e r r o r .

W e s h o u l d e n c o u r a g e c o ll e ct o rs of v o c a b u l a r i e s to i m p r o v e t he p r e -

cision of their definitions so that the at o m in ques tio n ca n b e identified.

D e c a y P r o c e s s

W e a s s u m e t ha t l ex ic a l d e c a y , f o r a s et o f i n d e p e n d e n t s e m a n t i c

a t o m s , i s a P o i s s o n p r o c e s s . T h a t is, it s a ti s fi e s t h r e e c o n d it i o n s:

i. E a c h a t o m d e c a y s i n d e p e n d e n t l y of all t he o t h e r a t o m s .

2. E a c h a t o m d e c a y s i n d e p e n d e n t l y o f its h i s t o r y o f e a r l ie r

de c ay.

3. T h e r e is a c o n s t a n t k s u c h t ha t f or e a c h a t o m t h e p r o -

bability of one d ec ay in a shor t ti me interval At is kAt,

a n d t h e p r o ba b i li t y o f m o r e t h a n o n e d e c a y is n e g li g i bl e .


7/20


8/20


ea ch point in time. In repo rtin g the study, all of this sho uld b e fully

d o c u m e n t e d i n detail. E a c h i n s ta n c e o f d e c a y c a n t h e n b e r e c o g n i z e d

a n d t a l l i e d . S t at is t ic a l t e st s s h o u l d b e a p p l i e d t o s e e w h e t h e r o r n o t

t h e m o d e l i s s a t is f i ed a n d to e s t i m a t e )~ . F o r e x a m p l e , if t h e r e a r e

i 0 0 s e m a n t i c i t e m s T, t h e r e s h o u l d b e a b o u t o n e d e c a y e v e r y 5 0 y e a r s

u n i f o r m l y s p r e a d t h r o u g h t im e . T h e s e t h i ng s c a n b e c h e c k e d statis-

tically. W e ho pe that sch ola rs will un de rt ak e definitive studies of this

t y p e f or a s m a n y c a s e s a s p o s s i b l e ( 4) .

U n ti l th e r e s u lt s o f t he k i n d o f r e s e a r c h j u st m e n t i o n e d a r e a v ai l -

able, the status of ~ is uns ure . W e anticipate it will be reco gn iz ed

a s a u n i v e r s a l c o n s t a n t.

T h e r e r e m a i n s t he p r o b l e m o f m a k i n g a P o i s s o n p r o c e s s a r e a-

s o n a b le a s s u m p t i o n . I n o t h er w o r d s , w e n e e d to d e s c r i b e s o m e s or t

of m e c h a n i s m w h i c h m a k e s w o r d s slip off s e m a n t i c a t o m s i n d e p e nd e n tl y

o f h o w l o n g t h e y h a v e b e e n c o v e r i n g t he a t o m , a n d a t a c o n s t a n t r at e

p e r u n it t i m e , a t l e a s t o v e r s h o r t t i m e i n t e r v al s . I n c i d en t a l ly ,

s i n c e )~ i s o n t h e o r d e r o f 1 / 5 0 0 0 y e a r s , 5 0 y e a r s i s a s h o r t t i m e

i nt er va l. S i n c e th e s p e a k e r s o f n o r m a l l a n g u a g e s a r e n o t h i st o ri a ns ,

t he i n d e p e n d e n c e f r o m h i s t or y s e e m s e a s y to a c ce p t.

T h e c o n s t a n t r a t e i s h a r d e r t o a c c e p t . F i r s t of a ll w e h a v e t o

ac co un t for an identical figure in populations, literate an d illiterate,

a n d b e t w e e n a h a n d f u l o f s p e a k e r s a n d h al f a b il li on s p e a k e r s . T h e

d e c a y e ff ec t m u s t b e i n d e p e n d e n t o f t he n u m b e r o f s p e a k e r s , h e n c e it

m u s t b e o p e r a t i v e a t t h e l e v el o f t h e s i n gl e i s o l a t e d s p e a k e r . T h i s i s

s a t i sf a c t or y s i nc e , b y a n d l ar g e, t he a m o u n t o f s p e e c h r e a c h i n g a n

i nd iv id ua l d o e s n ot s e e m to h a v e c h a n g e d m u c h t h r o u g h o u t hi s t or y a n d

d o e s n o t v a r y m u c h b e t w e e n c u l t u r es at t h e p r e s e n t d a y.

B u t w h y d o e s a s p e a k e r d e c i d e to c h a n g e a n o c c a s i o n a l l ex i ca l

i t e m - - a b o u t i~ 0 i n h i s l i f e t i m e - - a n d m a i n t a i n t he r est . T h e o n l y


9/20


h y p o t h e s i s w e h a v e b e e n a b le to c o n s t r u c t is t ha t all w o r d s a r e a l w a y s

u n d e r p r e s s u r e - - p e r h a p s f r o m s e v e r al s e m a n t i c d i re c t io n s at t he

s a m e t i m e. M o s t a t o m s r e si s t c h a n g e m o s t o f t he t i me , b u t s o m e s et

o f a c c i d e n t s ( a ll v e r y r e a l e v e n t s a t t h e s o c i o lo g i c a l a n d p s y c h o l o g i c a l

l e ve l s, b u t r a n d o m a c c i d e n t s in o u r c o nt e xt ) w e a k e n s a f e w, a n d th e

l e x i c o n d e c a y s . I n o t h e r w o r d s , t h e re is a c o n s t a n t d y n a m i c m o v e -

m e n t a m o n g s e c o n d a r y a n d i nc id en ta l c o v e r s o f t he s e m a n t i c a t o m

w h i c h t h r e a t e n th e p r i n c i p a l c o v e r . U s u a l l y t h e t h r e a t e n i n g le x ic a l

i t e m s r e c e d e , b u t o c c a si o n a ll y , i n a r a n d o m w a y , a b o u t o n c e e v e r y

f iv e t h o u s a n d y e a r s t h e p r i n c i p al c o v e r is d i s p l a c e d a n d a l e xi c al d e -

c a y o c c u r s .

T h e h y p o t he t i c a l m e c h a n i s m a d v a n c e d t o e x p la i n l ex ic a l d e c a y

c a n b e c h e c k e d a g a i n s t h i s t o r y b y c a s e s t ud i es o f s e m a n t i c a t o m s .

E a c h a t o m s h o u ld s h o w t i m e p e r i o ds w h e n t he p ri n ci p al w o r d w a s

n e a r l y d i s p l a c e d . D u r i n g t h e s e p e r i o d s i t is d if fi cu lt to d e c i d e w h e t h e r

t h e o l d w o r d o r a n e w w o r d is t he p r i nc i p al co v e r . U s u a l l y t he n e w

w o r d w il l p a s s a w a y a ga in , b u t s o m e t i m e s it w il l d i s p l a ce t he o l d w o r d .

A v e r y t e n ta ti ve g u e s s b a s e d o n a c a s u a l e x a m i n a t i o n o f o n e h u n d r e d

c u r r e n t E n g l i s h w o r d s s u g g e s t s t h e re a r e a b o u t f o u r v e r y h e a v i l y

t h r e a t e n e d w o r d s p e r h u n d r e d . S i nc e w e c a n e x p e c t a b o u t o n e w o r d

t o b e d e c a y i n g a t t hi s m o m e n t , w e c o n c l u d e t ha t a b o u t t h r e e ou t o f

f o u r t i m e s t h e o l d w o r d s u r v i v e s . A l l o f t hi s n e e d s t o b e v e ri f i e d o r

d i s p r o v e n i n d e t a i l e d s t u di e s.

D e c a y S t a t i s t i c s

T h e sta tist ica l c o n s e q u e n c e s of t he m o d e l - - t h e fi rst o r d e r m o d e l

d e s c r i b e d a b o v e - - n e e d to b e e x p l or e d . W e c a n n o t h a n d l e all p o s s i b l e

s it ua ti on s, b u t t he f o l l o w i n g e x a m p l e s s h o u l d p r o v i d e a n a d e q u a t e d e m -

o n s t ra t i o n o f t e c h n i q u e s o t ha t a n y o t h er p r o b l e m s w h i c h o c c u r c a n b e

s o l v ed in t he s a m e m a n n e r .


10/20


11/20


d p ( g ) : _ ] C c i X p ( g ) + X ( N -[ C ~ [) e x p ( - k t ) [ a l+ l ( 1 - e x p ( - X t ) ) N - I c ~ l - 1

d t

so t h a t

d < p ( c ~ ) e x p

x t ) l a I S .

= ( N - ] C ~ l ) k e x p ( - k t ) ( 1 - e x p ( - k t ) ) N - I c ~ l - 1

P ( g ) e x p ( X t ) ] a l : { 1 - e x p ( - X t ) ) N - I(l] ,"

a n d t h e h y p o t h e s i s i s p r o v e n b y in d u ct i o n.

T h u s , P ( c ~ ) d e p e n d s o n l y o n t h e v a l u e o f Ic~l = n . W e c a n r e c -

o g n i z e P ( n ) f o r n = Z , 3 , . . . , N b u t P ( 0) a n d P ( 1 ) c a n n o t b e d is ti n-

g u i s h e d s o w e c o m b i n e t h e s e i nt o P ' w h i c h is o b t a i n e d b y

P ' : 1 N ( N - I ) P ( Z ) . . . . N'.

Z n: N - n:

P ( n ) . . . . . P ( N )

~,,N

= 1 - ( ( 1 - e x p ( - X t ) ) + e x p ( - k t ) , - P { 0 ) - N P ( 1 ) ;

. /

s i n c e t h e r e a r e N ; / n ( N - n ) ' s e t s w i t h ]0~ I = n . T h u s ,

P ' = (1 - e x p ( - k t } ) N - 1 (1 + ( N - 1 ) e x p ( - k t ) ) .

N o w s u p p o s e t h a t f r o m K s e m a n t i c a t o m s w e o b s e r v e t h a t k N a t o m s

a r e c o v e r e d b y t h e s a m e w o r d i n a l l l a n g u a g e s , a n d k N _ 1 i n a l l b u t

o n e , a n d so o n t o k 2 , a n d t h e r e a r e k ' a t o m s d i f f e r e n t l y c o v e r e d i n

a l l l a n g u a g e s . T h e p r o b a b i l i t y o f t h i s o c c u r i n g i s


12/20

K l e i n e c k e - i0

k n k N - I k Z k '

P ( N ) P ( N - I) . . .. P ( 2 ) P '

(2ks + 3k s + ...

x

N k N ) (I x)

N K - k ' - ( Zk + . .. N k N ) k'

1 + N - l ) x )

w h e r e x = e x p ( - k t ) . A m a x i m u m l ik li ho od e s t i m a t e f or x s e e m s t o

b e th e b e s t s i ng l e v a l u e w e c a n a s s i g n to x . T h i s i s o b t a i n e d b y

s e t ti n g t h e ( l o g a r i t h m i c ) d e r i v a t i v e o f p r o b a b i l i t y to z e r o s o t h at

0 = A - k ' N K - A + ( N - l )k'

x l - x i + ( N - l ) x

w h e r e A = k ' + Z k s + 3 k s + . .. + N k N . O r

N ( N - l ) K x s - ( ( N - I ) A - N K + k ' )x - ( A - k ' ) = 0 .

If N = Z , x a = k s / K , w h i c h i s t he w e l l - k n o w n f o r m u l a f or t he s e p a r a -

t io n b e t w e e n t w o l a n g u a g e s . F o r g e n e r a l N , is t he s o lu t io n o f t he

X

q u a tr a t ic e q u a t i o n g i v e n a bo v e . N o t e t h at t he a n s w e r d e p e n d s o n t he

s ta ti st ic A w h i c h d o e s n o t u s u a l l y a p p e a r i n d i s c u s s i o n s o f l e xi c al

dating.

A n e v e n m o r e g e n e r a l d i ff e re n ce b e t w e e n t his t r e a t m e n t a n d

u s u a l t r e a t m e n t b y p a i r s is f o u n d in t he u s e m a d e o f t he n u m b e r o f all

t h e l a n g u a g e s c o n t a i n i n g a c e r t a in le x i ca l i t e m a s t h e c o v e r o f a s e -

m a n t i c a t o m . T h i s k i n d o f c o u n t is a l m o s t n e v e r m a d e i n t he l i te r at u re

o n d a ti ng p r o b l e m s .

A n o t h e r c a s e w h i c h c o n st a n t ly r e c u r s in p r a c t i c e is t ha t o f t h r e e

l a n g u a g e s ; i , 2 a n d 3, s ay . T h e p a i r 1 a n d 2 a r e m o r e c l o s e l y


13/20

K l e i n e c k e - Ii

r e l a t e d t h a n l a n g u a g e 3 i s to e i t h e r I o r ? . S u p p o s e t i s t i m e

f r o m t h e c o m m o n a n c e s t o r o f i, 2 a n d 3 t o 3, a n d t' t h e t i m e

f r o m t h e c o m m o n a n c e s t o r of 1 a n d 2 to 1 o r Z . L e t x = e x p ( - I t ) ,

x = exp(-kt' ) so that x / x i s t h e p r o b a b i l i t y a s s o c i a t e d w i t h t h e

t i m e f r o m t h e c o m m o n a n c e s t o r o f I, Z a n d 3 t o t ha t o f 1 a n d 2 .

W e m i g h t o b s e r v e a n y of f iv e s i tu a ti o ns c o n c e r n i n g t he c o v e r

of a se ma nt ic at om . It ma y be the sa me in all (i, Z, 3); or in an y

pai r (I, 2), (i, 3) or (Z, 3), or dif ferent in each . T h e pro bab ili ty of

e a c h o f t h e s e e v e n t s i s

X X l ~ X s I

X l S 3 = X ~ - T = X ,

X I t ) X ~ t

x l ~ = x ~ 3 = x - - r x l - x = l - x ) ,

X

x 1 ~ = ~ l - x + x l - x I ~ = x x - x ~ ) ,

t = . I . - t X ~ S

x I x ~ x - Z x 2 ( I x ) x ( x - x 2) = 1 - - Z x ~ + Z x ~ x

/ /

= (i - x ) (I + x - Zx s)

S u p p o s i n g k l z , k ~ s , k s 8 , k le a n d k ' o f e a c h of t h e s e is o b s e r v e d

w h e n K a t o m s a r e c o n s i d e r e d . T h e t ot al p r o b a bi l i t y i s

' (kls + klss ) x' + k~s + k2s xS) ls x'

Z( kl s+ k~ s+ k~ ss) x (i - )k' (x'- (i+ -Zx2) k'

l

M a x i m u m l i k li h o od e s t i m a t e s f o r x a n d x a r e g o t te n f r o m t he

e q u a t i o n s o b t a i n e d b y s e tt i ng t h e ( l o g a r i t h m i c ) d e r i v a t i v e s b y x a n d

x t o z e r o s e p a r a t e l y .


14/20

K l e i n e c k e - iZ

2(k~3 + k~3 + k12 ) 2k ls x ' 4k ' x

x x - X ~ l + x - 2 x 2 '

k t

k ~ s+ k ls a k ' + k ~ s + k ~ + + l + x ' 2 x

= x' 1 - x I

T h e s e e q u a t i o n s a r e b e s t s o l v e d n u m e r i c a l l y f or g i v e n v al u e s o f k~ s ,

kls , kls, kss an d k' .

T h e m e t h o d o l o g y is s t r a i g h t - f o r w a r d a n d t h e re is n o n e e d t o

m u l ti p l y e x a m p l e s . I n e v e r y c a s e w e o bt ai n n e w f o r m u l a s b a s e d o n

m a x i m u m l ik li ho od e s t i m at o r s . A n o t h e r a r e a i n w h i c h t h e se m e t h o d s

c o u l d a l s o b e u t i l iz e d i s i n t h e c o n s t r u c t i o n o f s i g n i f i c a n c e t e s ts a n d

c o n f i d e n c e ba n d s . W i t h this b a si s, m o s t o f t he m a c h i n e r y o f m o d e r n

s ta ti st ic s w o u l d b e a v a i l a b l e f o r u s e .

C r i t i c is m o f F i rs t O r d e r T h e o r y

A s w e e x p l a i n e d in d i s c u s s i n g s e m a n t i c a t o m s , w e f ee l t h e r e is

n o a d e q u a t e o b s e r v a t i o n a l d a t a to w h i c h to a p p l y t h e se f o r m u l a s f or a

c o n c l u s i v e t es t o f t he ir v al ue . W e h a v e m a d e a f e w e x p e r i m e n t a l

a p p l i c a t i o n s u s i n g t h e u n s a t i s f a c t o r y d a t a a v a i l a b l e i n t h e l i t er a t ur e .

N u m e r i c a l l y , t he t i m e e st i m a t e s w e o b t a in e d , w h i c h w e w i l l

n o t q u o t e h e r e , d o n o t d if fe r a g r e a t d e a l f r o m t h o s e o b t a i n e d b y c o n -

s i d e r i n g p a i r s a l o ne . T h i s i s to b e e x p e c t e d if t h e p h e n o m e n a a r e a t

all c o n si s t en t . T h e v a l u e i n t he f o r m u l a s d e r i v e d a b o v e l ie s i n t h e

f ac t t ha t t h e y c o r r e c t l y c o m b i n e t h e d a t a f r o m s e v e r a l p a i rs .

T h e f i r s t - o r d e r m e t h o d d o e s h a v e o n e v e r y i m p o r t a n t dif fic ulty

w h i c h a p p e a r s a l m o s t i m m e d i a t e l y if w e t ry to t re at m o r e t h an t h re e

l a n g u a g e s . T h i s d if fi cu lt y i s i n t h e f a m i l y t r e e o f t h e l a n g u a g e s .

I n t he en t ir e f i r s t - o r de r d e v e l o p m e n t , w e h a v e i m pl i ci t ly u s e d

t he c o n c e p t o f a t re e. L a n g u a g e s g o t o g e t h er a s a c o m m o n a n c e s t o r


15/20


16/20


17/20

K l e i n e c k e - 1 5

P I I = exp ( -Xt ) ( I - exp( - t ) )

T h e o r i g i n a l c o v e r r e m a i n s i n t h e s e t w o c a s e s o n l y s o t h a t t h e p r o b -

a b i l i t y

o f it r e m a i n i n g i s

P I + P I I = e x p ( - k t )

w h i c h i s e x a c t l y t h e s a m e a s i n f i r s t - o r d e r t h e o r y .

W h e n t h e s e c o n d - o r d e r t h e o r y i s a p p l i e d t o N l a n g u a g e s , t h e

r e s u l t s a r e q u i t e c o m p l i c a t e d . W e d i v i d e t h e l a n g u a g e s i n t o f o u r s e t s

(~ , B , Y , 6 d e p e n d i n g o n w h i c h s i t u a t i o n h o l d s i n t h e l a n g u a g e ; i n s e t 0%

s i t u a t i o n I h o l d s , a n d s o o n . T h e n w e h a v e t h e b a s i c d i f f e r e n t i a l

e q u a t i o n

; ' , )

( a , ~ , y , 6) = - 2 % p ( a , ~ , y , 6 ) , S ~ j e ~ + % P ( a , ~ , , 8 )

d t ie c~ . ~ L ~ k

~ j c ~

% P ( ~ @ j , ~ j , y , 6 ) + I k

x P ~@k, ~, X Cgj, 6)

+ ~ . ~ 6 % P ( ~ , ~E ) ~ , Y , 6 ~ , f . ) + Z ~ . c 6

w h i c h h a s t h e s o l u t i o n

P (& ,~ , ,6 ) = [e xp (-X t)] 21Ct{ + IBI + IYI [1 - ex p( -X t)] l~I + IYi + 2161

W e h a v e n o w a y o f r e c o g n i z i n g t he c o n d i t i o n o f t h e p o t en t i al c o v e r , s o

s e ts ez a n d ~ s h o u l d b e c o m b i n e d i nt o a s e t ~ a n d

P( ~,y , 6) = [exp (- t ) ] I rl l + Ivl [ I - exp (- t} ] IYI + 2 t 6 1


18/20

Kle i necke - 16

B e f o r e

w e

c a n a c tu a l l y a p p l y th e m a x i m u m l i kl i ho o d t e c h n i q u e t o l a n -

g u a g e s w i th o ut k n o w n a n ce s to r s, w e h a v e to m a k e S o m e f ur t he r c o m -

b i n a t i o n s b e c a u s e s e t s w i t h I~]I = 1 c a n n o t b e d i s t i n g u i s h e d f r o m

t h o s e w i t h I ~ I - o o r t h o s e w i t h I ~ I - i f r o m t h o s e w i t h l ~ J - 0

M o r e o v e r , w e c a n n o t d i st in g ui s h o r ig i na l c o v e r s f r o m p ot en ti al c o v e r s

s o t ha t t w o s e ts T] a n d y m u s t b e c o m b i n e d w i t h t he s a m e s et s i n

t he r e v e r s e o r d e r .

T h e g e n e r a l c a s e is v e r y c o m p l i c a t e d , s o w e r es tr i ct o u r s e l v e s

t o t w o l a n g u a g e s . W e t h e n o b s e r v e t ha t t h e c o v e r s a r e e i th e r t he

s a m e o r d i ff e re n t. If t h e y a r e t he s a m e , w e h a v e e i t h e r I~ I = 2 a n d

IYI = 161 = 0 , o r I~{I = 2 a n d IT]I = 161 = 0 Th us , the pr ob ab il it y is

[exp(-kt)] s

+

[exp(-kt) ] s [i

-

exp(-kt)] s

= exp(- Zkt) [i + (i exp(- kt)) s]

w h i c h d if fe rs f r o m t h e f ir st o r d e r t h e o r y b y t he t e r m i n t he s q u a r e

b r a c k e t .

T h e s i m p l e s t c a s e w h e r e t he s e c o n d - o r d e r t h e o r y is r ea l ly r e -

q u i r e d i s t h a t o f f o u r l a n g u a g e s . W e w i ll i ll u st ra t e t h e r es u l t s b y o n e

e x p r e s s i o n . If k ss w o r d s a r e c o v e r e d b y t w o i t e m s b o t h i n t w o l a n -

g u a g e s , k 4 w o r d s b y o n e i t e m i n all l a n g u a g e s , k 8 b y o n e i t e m i n

t h r e e l a n g u a g e s , k s b y o n e i t e m i n t w o l a n g u a g e s , a n d k ' b y n o

c o m m o n i t e m s , t h e n th e e x p r e s s i o n t o b e s o l v e d f or m a x i m u m l ik li ho od

is

4 k ss + 4 k 4 + 3 k s + 2 k s

2k ss + k 3 + 3ks + 5k

p 1 - p


19/20


4 k 4 ( I _ p ) S k s ( 3 4 p + 4 p s )

2 - 4p + 6p ~ - 4p ~ + p% + 2 + 3p - 2p~ + p4

k s ( 4 - Z p - 3 p s )

+ 2 + 4p - p~ - p3 +

k ' ( 5 + 6 p + 9 p 2 )

+ 5p + 3p s + 3p s

w h e r e p = e x p (- % t ) .

T h i s s e c o n d - o r d e r t h e o r y is n o t s at i s fa c t or y n o t o n l y b e c a u s e

it l e a d s t o v e r y c o m p l e x f o r m u l a s , b u t it a l s o s e e m s t o b e q u a li t a -

t i ve ly i n a d e q u a t e . T h e f o r m u l a f o r s pl it ti ng b e t w e e n t w o l a n g u a g e s

is n o t gr e a t l y m o d i f i e d e x c e p t f o r v e r y l o n g t i m es , a n d t he c h a n g e

d o e s n o t s e e m to b e e n o u g h t o a c c o u n t f or d a t a s h o w i n g s h o r t t i m e s

o f d i vi s io n . It i s h a r d t o t el l w h e t h e r t h e f o r m u l a f or s e v e r a l l a n -

g u a g e s i n c l u d i n g t h e q u a n ti t y k 2e i s a n y h e l p - - s o f a r w e h a v e n o

s t r i ki n g r e s u l t s t o q u o t e f r o m i ts u s e .

A s e c o n d - o r d e r t h e o r y w h e r e p ot en ti al c o v e r d e c a y e d a t a

d i ff e r en t r a te t h a n t h e o r i gi n a l c o v e r m i g h t c o r r e c t s o m e o f t h e s e

d ef ec t s, b u t w e h a v e n o e v i d e n c e u p o n w h i c h to e s t i m a t e t he d e c a y

r a te i n t hi s c a s e . It i s m u c h l ik el y t ha t a m o r e e l a b o r a t e m e c h a n i s m

m u s t b e po s t u la t e d -- i t n e e d no t l e a d to m o r e e l a b o r a t e r e su lt s. T h e

m o d e l m u s t b e b a s e d o n a k i n d o f d i al e ct a ti o n s t u d y w h i c h s e e m s to

b e a b s e n t a s y e t f r o m t he l it e ra tu r e.

C o n c l u s i o n

W e h a v e d e r i v e d a n u m b e r o f f o r m u l a s r el a ti ng to t he e s t i m a t i o n

o f t i m e d e p t h s b y o b s e r v a t i o n s o f l ex ic al d e c a y . T h e m e t h o d s u s e d

c a n b e a p p l i e d to o b ta i n m a n y m o r e s i m i l a r f o r m u l a s a s r e q u i r e d in

studies of actual data.

A ll o f t h e s e f o r m u l a s a r e b a s e d o n m o d e l s o f l ex ic al d e c a y u s i n g

t he c o n c e p t o f s e m a n t i c a t o m s a n d t h ei r l e xi c al c o v e r s . L e x i c a l d e c a y


20/20

Kle ine cke - 18

i s i d e n t i f i e d w i t h a c h a n g e i n l e x i c a l c o v e r . I f t h e s e ma n t i c a t o ms

a re s u f f i c i e n t l y i n d e p e n d e n t , t h e d e c a y i s a P o i s s o n p ro c e s s .

P ro b a b l y t h e mo s t i mp o r t a n t p r a c t i c a l c o n c l u s i o n i s t h e r e s u l t

t h a t a n y s e t o f s e ma n t i c a t o ms c a n b e u s e d t o e v a l u a t e l e x i c a l d e c a y

p ro v i d e d t h e s e t i s ma d e u p o f a t o ms :

.

.

f a r e n o u g h r e mo v e d i n me a n i n g f ro m o n e a n o t h e r t o a s s u re

i n d ep end en ce

w h i c h r e p re s e n t c o n c e p t s a s s u re d t o h a v e b e e n i n e x i s -

t e n c e t h ro u g h o u t t h e t i me p e r i o d b e i n g s t u d i e d .

( 1 )

(z)

3 )

(4)

En d N o t e s

S e e R o b e r t B . L e e s , T h e B a s i s o f G l o t t o c h r o n o l og y

L a n g u a g e , 2 9 . I 1 3 - 2 7 ( 19 5 3) .

T h e r e i s n o o u ts t a n d in g s t u dy o f t h i s p r o b l e m . A t t e m p t s

to i m p r o v e t he t es t v o c a b u l a r y b y l i mi t in g it to m e a n -

i n gs w h i c h h a v e b e h a v e d w e l l in e a r li e r s t ud i es a r e m e t h -

o d o l o g i c a l l y d i s a s t e r o u s b e c a u s e t h e y bi a s th e v a l u e o f k .

T h i s r e q u i r e m e n t is a ls o i n t e nd e d to r e m o v e b ia s f r o m

the est ima te of k .

T h i s i s a m a t t e r o f c l a ss i c al p h i lo l o gi c a l r e s e a r c h i n d e -

p e n d e n t o f s t at i st i ca l s y n t h e s e s m a d e f r o m t h e r es ul ts .

lexi cal decay

Documents