中文文本自動分詞與標注 第 9 章 漢語自動分詞軟件系統

Download 中文文本自動分詞與標注 第 9 章 漢語自動分詞軟件系統

Post on 12-Jan-2016

49 views

Category:

Documents

0 download

Embed Size (px)

DESCRIPTION

中文文本自動分詞與標注 第 9 章 漢語自動分詞軟件系統. CPTWT Presentation R95921094 楊祝晉. 摘要. 自 80 年代初提出漢語自動分詞系統以來,已經提出了多種分詞方法 例如:正向最大匹配、逆向最大匹配、窮多層次列舉、鄰接約束、聯想 - 回溯、詞頻統計、專家系統、類神經網路等方法。 不同的分詞方法模擬了分詞行為的不同面向,取得了不同的成效,並且已應用在不同用途的中文訊息處理系統上。 本次報告主要介紹二種分詞軟體系統. Outline. 字串頻率統計和詞形匹配相結合的分詞系統 系統結構及其各種模型的主要功能 實驗結果及分析 - PowerPoint PPT Presentation

TRANSCRIPT

  • 9CPTWT Presentation

    R95921094

  • 80-

  • Outline

    -

  • Part I

  • 1. ()

    181

  • LR L*

    LR *R

    + 115

  • 2. 1200() W = F * L3(FL)

    Sliding Window

    String Hashing Slot Slot = Sliding Window +

  • 33 * 23 = 24 Threshold Value Threshold Value S T S T TS(81)3

  • 3. ()() 5000 ()

    3

  • 4. (1/3) 98.4 %236(IBM-PC386)

  • 4. (2/3)

  • 4. (3/3)S n ( n > 1 )S n * ( n + 1 )/2 S m ( 0 < m < n ) n m m * ( m + 1 ) / 2 + ( n - m) * ( n m + 1 ) / 2 S m * (n m )10 55 530 5 * 5 = 25

  • Part II-

  • -ABWS(Association-Backtracking Word Segmentation)AB98%

  • ABWS

  • (1/3)1.

    2.

  • (2/3)3. 45

    4. (3)

  • (3/3)5.

  • /////

  • //

  • ()

  • Thanks for your attention

Recommended

View more >