شرح کار پروژۀ دادگان وابستگی زبان فارسی

1

بسم رب الشهداء و الصدیقین

شرح کار پروژۀ�دادگان وابستگی زبان

فارسی

محمدصادق رسولیrasooli.ms{@AT@}gmail.com

پروژۀ� دادگان وابستگی زبان فارسی

2

دادگان زبانی در زبان شناسی رایانه ای

روش ه%ای هوش%مند پ%ردازش �ام%روزه در عم%دۀزب%انی از دادگ%ان و پیکره ه%ای مت%نی برچس%ب دار

استفاده می شود. ،زی%اد ب%رای آماده س%ازی پیکره ه%ا �با وج%ود هزین%ۀ

پروژه ه%ای بس%یاری در زبان ه%ای مختل%ف تعری%ف شده است.

نت%%ایج پیکره ه%%ا ب%%ر مبت%%نی رویکرده%%ای در پردازش%ی به%تری نس%بت ب%ه رویکرده%ای مبت%نی ب%ر

قاعده به دست آمده است.پروژۀ� دادگان وابستگی زبان فارسی

3

دادگان زبانی در زبان شناسی رایانه ای

در پروژه ه%ای اخ%یر پژوهش ه%ای دف%اعی ای%االتمتح%ده، یکی از دغ%دغه های اص%لی در پ%ردازش هوش%مند مت%ون، فراین%د تهی%ۀ� دادگ%ان زب%انی اعالم

شده است. �تهی%%ۀ ب%%رای مناس%%ب زب%%انی �نظری%%ۀ انتخ%%اب

زی%%ادی بس%%یار اهمیت از زب%%انی پیکره ه%%ای برخوردار است


4

هزینۀ� مربوط به تهیۀ� پیکره های زبانی

زبانی هزینه های بسیار �Q تهیۀ� پیکرۀ معموالزیادی را از نظر زمانی و نیروی انسانی در بر

می گیرد. درخ%تی �پیک%رۀ �تهی%ۀ از مرحل%ه دو مث%ال عن%وان به

سال به طول انجامید.5چینی در مجموع

متنی نمایندگی کافی برای �برای این که پیکرۀ �دادگان زبانی داشته باشد، باید اطالعات اولیۀمناسبی در مورد ویژگی های زبانی کسب کرد

پروژۀ� دادگان وابستگی زبان فارسیکه این خود فرایندی زمان بر است.

5

زبان فارسی و رایانه

،با توجه به دغدغه های موجود در زبان فارسیپروژه هایی با حمایت دبیرخانۀ� شورای عالی

اطالع رسانی شکل گرفت.

ویراستیار اولین گام جدی در کاربردی �پروژۀکردن مسائل علمی دنیای پردازش متن در

نرم افزارهای زبان فارسی بوده است.

� ویراستیار دغدغه های 1پس از اتمام نسخۀپردازشی برای تحلیل نحو و معنا در زبان

فارسی به وجود آمد.پروژۀ� دادگان وابستگی زبان فارسی

6

نتایج حاصل از تحقیقات

برای پردازش نحو در زبان فارسی نیاز به دومسألۀ� اساسی است:

انتخاب یک نمایش زبانی مناسب و اصولی با توجهبه خاصیت های زبان فارسی

نحو در زبان �نیاز جدی به یک پیکرۀ� برچسب خوردۀفارسی

زبان زندۀ� دنیا چنین پیکره ای وجود داشته است.28در ▪


7

وضعیت دادگانی امروز در نحو زبان فارسی

مناسب �تا آن زمان تنها پیکرۀ� برچسب خوردۀبرای فهم زبان فارسی، پیکرۀ� متنی

بی جن خان بوده است. تنها در آن اطالعات ساخت واژی زبان برچسب

خورده است و اطالعاتی در مورد ساختار نحوی و معنایی جمالت وجود ندارد.


8

انتخاب بازنمایی نحوی مناسب

هم اکنون دو نوع بازنمایی مرسوم درپیکره های نحوی و معنایی زبانی در دنیا وجود

دارد:دس%تور زایش%ی: مانن%د پیک%رۀ� درخ%تی پن، در این ن%وع 1.

ب%ه عب%ارات و عبارت ه%ایی ب%ه جمل%ه نم%ایش، از تقس%یم بندی واژه ه%ا ب%ه زیرعبارت ه%ا و زیرعب%ارات

می شوند.دس%تور وابس%تگی: مانن%د پیک%رۀ� وابس%تگی پ%راگ ک%ه در 2.

این ن%وع از نم%ایش، ارتباط ه%ای وابس%تگی بین واژه ه%ا مشخص می شود.


9

مقایسۀ� دستور زایشی و وابستگی

مقایسۀ� بازنمایی زایشی و وابستگی

در ه%ر دو ن%وع از بازنم%ایی می ت%وان س%طح نح%و ومعنا را پوشش داد.

دادن نش%%ان امک%%ان وابس%%تگی بازنم%%ایی در ب%ا بی ترتی%بی زب%انی نس%بت ب%ه بازنم%ایی جمالت

زایشی بیش تر و مناسب تر است. ،چکی مانن%د بی ت%رتیب زبان ه%ای در دلی%ل همین به

داده ت%رجیح وابس%تگی پیکره ه%ای ع%ربی و ت%رکی شده اند.

.در زبان فارسی نیز بی ترتیبی وجود دارد

مقایسۀ� بازنمایی زایشی و وابستگی

�پیکره ه%ای ب%ا بازنم%ایی دس%تور وابس%تگی قاب%ل تب%دیل ب%ه پیک%رۀزا%یش%ی ه%س%تند %ولی عکس%i ای%ن مس%أله ب%ه ص%ورت ص%د در ص%د

ام%کان پ%ذیر% نیست%..دس%تور وابس%تگی ب%ه نم%ایش انس%انی نزدیک ت%ر است مانن%د( واژگ%انی اطالع%ات از بس%یاری وابس%تگی دس%تور در

در ص%ریح ط%ور ب%ه می ت%وان% را% و %معن%ایی( نح%وی ظ%رفی%ت کمان% های %واب%ستگی% نشان داد.

دس%تور ک%ه رس%یده ایم نتیج%ه این ب%ه مس%ائل این وج%ود با با%زنم%ایی نح%وی پیک%رۀ� زب%ان فارس%ی وا%بس%تگی را% ب%ه عن%وا%ن

برگزینیم.

12

Valencyسرنخ تحقیقات:

« این اصطالح در کتابDependency Parsing دیده شد و با توجه به غریب بودن »

این مطلب تحقیقات در جهت شناخت این مسأله به وجود آمد.

در نهایت کتاب »ظرفیت فعل در زبانفارسی« به عنوان تنها کتاب مربوط به زبان

فارسی پیدا شد.


مفهوم ظرفیت واژگانی در زبان

واژه ها نیز مانند عناصر دارای ظرفیت

هستند. هر واژه ای دارای ظرفیت ترکیب نحوی/معنایی

خاصی است.

13

14

مفهوم ظرفیت واژگانی در زبان

پرسیدن

ت رفی

ظ

ژگانیوا

از�سی.. ک

واژگانیظرفیت

چیزی

...را

15

کاربرد زبانی ظرفیت واژگانی

با دانستن ظرفیت واژه ها می توان تولید زبانانجام داد.

( خودکار �(Machine Translationترجمۀ( تحلیل نحویSyntactic Analysis)( تولید زبانLanguage Generation)...

امید طبیب زاده، »ظرفیت فعل در زبان فارسی«، نشر .1385مرکز،

16

دستور وابستگی

در دستور وابستگی مبنا روابط نحوی/معناییبین واژه های درون جمله است.

.در این دستور مفهوم گروه معنا ندارد واژه ها بر اساس ظرفیتشان و نوع قرار

گرفتن در جمله وابسته هایی می گیرند.

17

ارتباط واژه ها در دستور وابستگی

دارمدوسترااوباصحبت

فعل مرکزی

فعل یار

مفعول وابستۀ� پیشین

�حرف اضافۀاسم

وابستۀ� پسین

Richard Hudson, “An introduction to word grammar,” Cambridge University Press, 2010.

18

مقایسۀ� اجمالی با دستور زایشی

( در دستور زایشیGenerative با گروه ها ،)سر و کار داریم.

( دستور مستقل از متنCFG)دستور مبتنی بر عباراتامکان وجود بی ترتیبی در جمالت وجود ندارد.در دستور وابستگی با واژه ها سر و کار داریم

.امکان بی ترتیبی در جمالت وجود دارد

19

درخت های وابستگی

فرض های زبانی متفاوتی در مورد درخت هایوابستگی می شود.

فرض های ما.درخت وابستگی بدون دور است �هر جمله دارای یک واژۀ� فرضی به عنوان ریشۀ

جمله است..جمله( تنها یک هسته دارد �هر واژه )غیر از ریشۀ

20


درخت های وابستگی دو نوع هستند( افکنشیProjective)

هیچ کمانی دیگری را در صورت رسم کمان ها از یک ▪سمت بر روی کاغذ قطع نمی کند.

( غیرافکنشیNon-projective)ممکن است کمانی باشد که برخی دیگر از کمان ها را ▪

قطع کرده باشد.در جمالت بی ترتیب زبانی دیده می شود.▪

21


آگاههستم

کهمی آیی

ازآگاهآمدنت

هستم

ریشه

ریشه

افکنشی

غیرافکنشی

22

تجزیۀ� وابستگی

وابستگی �روش های تجزیۀمبتنی بر داده

(Supervisedباناظر )▪(Graph basedمبتنی بر گراف )▪(Transition basedمبتنی بر گذار )▪

(Unsupervisedبی ناظر )▪(Semi-supervisedنیمه ناظر )▪

مبتنی بر دستور زبان

23

سادگی تجزیۀ� وابستگی

یال -معیار �به عنوان نمونه الگوریتم تجزیۀ(Arc-Standard) مبتنی بر گذار �روش های مختلفی برای تجزیۀ

وجود دارد.( یال -معیار �( برای arc-standardتجزیۀ

درخت های افکنشی است. Joakim Nivre. 2004. Incrementality in deterministic dependency

parsing. In Workshop on Incremental Parsing: Bringing Engineering and Cognition Together, pages 50–57.


24

تجزیۀ� یال -معیار

S: Stack of processed words

I: Buffer of unprocessed words

A: Set of arcs created until now

: An empty arcset

Fast Unsupervised Dependency Parsing with Arc-Standard Transitions

25


You are very good

BufferStack

Arc-sets

You are very good


26


You are very good

BufferStack

Arc-setsActio

n

You are very good

Shift


27


You are very good

BufferStack

Arc-setsActio

n

You are very good

Shift


28


You are very good

BufferStack

Arc-setsActio

n

You are very good

Left-ReduceRel(are,

You)


29


are very good

BufferStack

Arc-setsActio

n

You are very good

ShiftRel(are, You)


30


are very good

BufferStack

Arc-setsActio

n

You are very good

ShiftRel(are, You)


31


are very good

BufferStack

Arc-setsActio

n

You are very good

Left-ReduceRel(are, You)Rel(good, very)

`


32


are good

BufferStack

Arc-setsActio

n

You are very good

Right-ReduceRel(are,

You)Rel(good, very)

`

Rel(are, good)

`


33


are

BufferStack

Arc-setsActio

n

You are very good

Right-ReduceRel(are,

You)Rel(good, very)

`

Rel(are, good)

`

Rel(root, are)

34

پیشنهاد پروژه: دادگان نحوی زبان

در آغاز برای دادگان نحوی زبان پیشنهاد پروژهشد.

خاصیت های دستور وابستگیقدرت باال برای کارهای پردازشی امکان تبدیل آن به ساختار زایشی )ساختار مبتنی

بر گروه ها(مناسب برای زبان فارسی


35

1389فرآیند اولیۀ� کار: پاییز

پژوهش های کاربردی در مورد دستور وابستگی

به هدف برچسب زنی

استخراج دادگان فعلی

ابزار برچسب

زنی


36

مراحل تفکیکی کار


تعریف اولیۀ� پروژه

فرهنگ

ظرفیت

پیکرۀ� وابستگ

ی

�تهیۀابزار

برچسب زنی


فعل یاب و تحلیل

فعل

�تهیۀداده های

خام اولیه

برچسب زنی دادگان

پژوهش ه iای زبانیکاربردی


برچسب زنی

�تهیۀداد های خام اولیه

برچسب زنی دادگان

37

شناخت فعل مرکب در زبان فارسی

با توجه به دغدغه های موجود در شناخت فعلمرکب، بررسی های رایانه ای متفاوتی بر روی

فعل مرکب انجام شد که در مقالۀ� ذیل این روند گزارش شده است.

Mohammad Sadegh Rasooli, Heshaam Faili, and Behrouz Minaei-Bidgoli, "Unsupervised Identification of Persian Compound Verbs", Advances in Artificial Intelligence, Pages 394-406, 2011.


38

تهیۀ� ابزار برچسب زنی

به پایان رسید.1389این ابزار در پایان پاییز


39

آغاز به کار پروژۀ� فرهنگ ظرفیت

.دادگان زبانی از اواسط دی ماه شروع شد �پروژۀ در این حین تیم برنامه نویسی به آماده سازی ابزار

برچسب زنی پرداخت.

برای تحقیق بیشتر و اطمینان از روند طی شده، یکسخنرانی علمی با حضور دکتر طبیب زاده در دانشگاه

تهران ترتیب دادیم. �این سخنرانی علمی با عنوان »دستور وابستگی، نظریۀ

گروه های خودگردان« در دانشکدۀ� ادبیات و علوم انسانی با حضور اساتیدی از جمله »دکتر بیجن خان« و »دکتر

غالمحسین کریمی دوستان« برگزار شد.پروژۀ� دادگان وابستگی زبان فارسی

40

سخنرانی علمی دانشگاه تهران


41

سخنرانی علمی دانشگاه تهران


42

حضور در گردهمایی قم و معرفی پروژه

در این گردهم آیی مسائل پیشینی و آتی پروژهمورد بررسی و مرور قرار گرفت.


43

فرهنگ 1اتمام نسخۀ� ظرفیت

در خرداد �، 1390همزمان با اتمام این پروژۀوبگاه دادگان نیز فعال شد.

این فرهنگ بارها مورد بازبینی جدی قرارگرفته است.

� از این فرهنگ بر روی 2.2.2هم اکنون نسخۀوبگاه دادگان وجود دارد.


44

فرهنگ 1اتمام نسخۀ� ظرفیت

زیر نوشته �گزارش کار این فرهنگ در مقالۀشده است:

Mohammad Sadegh Rasooli, Amirsaeid Moloodi, Manouchehr Kouhestani, and Behrouz Minaei-Bidgoli, "A Syntactic Valency Lexicon for Persian Verbs: The First Steps towards Persian Dependency Treebank", in 5th Language & Technology Conference (LTC): Human Language Technologies as a Challenge for Computer Science and Linguistics, Poznań, Poland, pp. 227-231, 2011.


45

آماده سازی ابزار برچسب زنی و داده های اولیه


46

آغاز رسمی پروژۀ� پیکرۀ� وابستگی

1390زمان: تیر و مرداد

برای این هدف، از افراد زبان شناس دعوتعمومی به عمل آمد و در یک کالس آموزشی و با تهیۀ� جزوات مفصل، به افراد آموز ش های

الزم داده شد.


47

یک اتفاق: پیکرۀ� دانشگاه اوپساال

تج%اری در �پ%روژۀ ی%ک اوپس%اال باخبر ش%دیم ک%ه در دانش%گاه ی%ک% %دانش%جو%ی �ع%ه%دۀ ب%ر ا%ین %پ%رو%ژه ک%ه% انج%ا%م %ا%س%ت ح%ا%ل%

دکترای ایرانی است. علمی پژوهش%ی ادع%ا کردن%د �این تیم تحقیق%اتی در ی%ک مقال%ۀ

را فار%س%ی واب%س%تگی %زب%ان �پیک%رۀ اولی%ن ک%ه %م%ی خ%وا%هن%د% بسازند.

�هنوز این پیکره در آن دانشگاه ساخته نشده است ولی دو مقالۀعلمی از آن استخراج کرده اند.

1390بر اساس اولویت های کار در آغاز بهمن � نسخۀپیشینی از پیکره را بر روی وبگاه دادگان همراه با راهنمای

صفحه ای قرار دادیم.26پروژۀ� دادگان وابستگی زبان فارسی

48

پیکره0/1نسخۀ�


49

وضعیت کنونی

جمله برچسب نحوی 25,500هم اکنون حدود و صرفی کامل خورده اند.

جمله 30,000به امید خدا، این پیکره با حدود با برچسب زنی اولیه آماده 1391در پایان بهار

می شود. در تابستان، اشکال گیری های نهایی و

مستندسازی نهایی انجام خواهد شد.


50

ابزارهای توسعه یافتۀ� جانبی

فعل یاب سریع و هوشمند درhttps://github.com/rasoolims/PersianVerbAnalyzer/

تجزیه گر مبتنی بر گراف درhttps://github.com/rasoolims/MSTParserCSharp/

تجزیه گر مبتنی بر گذارترسیم درخت نحوی �برنامۀ خطایاب نحوی مبتنی بر ظرفیت فعل ها در

زبان فارسی


https://github.com/rasoolims/PersianVerbAnalyzer/

https://github.com/rasoolims/PersianVerbAnalyzer/

https://github.com/rasoolims/MSTParserCSharp/

https://github.com/rasoolims/MSTParserCSharp/

51

وبگاه دادگان

این وبگاه دارای مقاالت علمی و منابع قابلدریافت و اطالعات و اخبار مرتبط است.

این وبگاه به دو زبان فارسی و انگلیسی بهصورت عمومی وجود دارد.


52

قابلیت های محیط آموزشی مجازی

امکان آموزش زبان فارسی به صورت برخطامکان آمارگیری از ساخت های زبانیهوشمند جمالت زبان �امکان تجزیۀ


53



54



55

اعضای پروژه

پژوهش زبانیمنوچهر کوهستانیامیرسعید مولودی

برچسب زنی دکتر مریم فعال

همدانچیسحر اولی پورفرزانه بختیاریندا پورمرتضی خامنهپری ناز دادرسسوده رسالت پو مرتضی رضاییسلیمه زمانی

اکرم شفیعی سعیده قدردوست

نخچیمصطفی مهدویآزاده میرزایی

فرهنگ ظرفیتتحت وب

یاسر سوریعلیرضا نوریان

ابزار برچسب زنیسید مهدی حسینی

وبگاه دادگانمحسن حسین علیزاده

جمله یابیفائزه عباسی ابیانهشیما زمانی پورحورا نورینرمین قادریسیده مانلی هاشمیان


56

آیا این پروژه ادامه خواهد داشت؟

در صورت تعریف جامع از دادگان معناییوابستگی، این پروژه به صورت کامل ادامه

خواهد داشت. پروژه های معنا بر اساس دستور وابستگی در

زبان های بسیاری مانند چکی انجام شده است.


57

کالم آخر

ک%ه مق%امی ه%ر در کس هر ک%ه مس%ئولیتی ه%ر و هس%ت هم%ان و مق%ام هم%ان دارد اوس%ت... امتح%ان مس%ئولیت هم%%ان در ادارات اه%%ل و مرک%%%ز خودش%%%ان ادارات

امتحان آنهاست.1362 بهمن 11امام خمینی،


58

با تشکر از توجه شما


شرح کار پروژۀ دادگان وابستگی زبان فارسی

Documents