基于翻译日志的统计机器翻译模型剪枝
DESCRIPTION
基于翻译日志的统计机器翻译模型剪枝. 刘凯 吕雅娟 姜文斌 刘群 中科院计算所. 大纲. 研究动机 翻译解码方法 翻译日志模型剪枝 实验结果. 大纲. 研究动机 翻译解码方法 翻译日志模型剪枝 实验结果. 研究动机. 实用机器翻译系统 训练语料庞大. 研究动机. 实用机器翻译系统 训练语料庞大 翻译模型庞大. 研究动机. 实用机器翻译系统 训练语料庞大 翻译模型庞大 较大的运行成本 & 应用场景受限. 研究动机. 规则表规模 FBIS(0.2M) 规则数： 32M 大小： 1G （压缩后） LDC(1.5M) 规则数： 167M - PowerPoint PPT PresentationTRANSCRIPT
基于翻译日志的统计机器翻译模型剪枝
刘凯 吕雅娟 姜文斌 刘群
中科院计算所
大纲• 研究动机
• 翻译解码方法
• 翻译日志模型剪枝
• 实验结果
大纲• 研究动机
• 翻译解码方法
• 翻译日志模型剪枝
• 实验结果
研究动机• 实用机器翻译系统– 训练语料庞大
研究动机• 实用机器翻译系统– 训练语料庞大
– 翻译模型庞大
研究动机• 实用机器翻译系统– 训练语料庞大
– 翻译模型庞大
– 较大的运行成本 & 应用场景受限
研究动机• 规则表规模– FBIS(0.2M)• 规则数： 32M• 大小： 1G （压缩后）
– LDC(1.5M)• 规则数： 167M• 大小： 4G （压缩后）
– Baidu 、 Bing 、 Google……
研究动机• 规则表规模问题– 需要大规模服务器提供服务
研究动机• 规则表规模问题– 需要大规模服务器提供服务
– 难以移植到移动终端
研究动机• 规则表规模问题– 需要大规模服务器提供服务
– 难以移植到移动终端• 国际流量漫游包月≈ 2000 元（泰国）
研究动机• 可行性
– 长尾现象– 大规模剪枝是可能的
研究动机• 解码器搜索空间有限– 参数固定则搜索空间固定
输出参数
研究动机• 解码器搜索空间有限– 参数固定则搜索空间固定
参数 输出
研究动机• 解码器搜索空间有限– 参数固定则搜索空间固定
参数 输出
研究动机• 解码器搜索空间有限– 参数固定则搜索空间固定
参数 输出
找出模型搜索空间并去除搜索空间外的不必要的规则
√
研究动机• 解码器搜索空间有限– 参数固定则搜索空间固定
参数 输出
找出模型搜索空间并去除搜索空间外的不必要的规则
√
翻译日志！
大纲• 研究动机
• 翻译解码方法
• 翻译日志模型剪枝
• 实验结果
翻译解码• 翻译例子– 布什 与 沙龙 举行 了 会谈– 解码： ⟨ 布什 与 X1 X2, Bush X2 with X1⟩
⟨ 沙龙 , Sharon⟩⟨ 举行 了 会谈 , held a meeting⟩⟨ 沙龙 , Salon⟩⟨ 举行 了 会谈 , hold a meeting⟩⟨ 举行 了 会谈 , hold a conference⟩……
翻译解码• 翻译例子– 布什 与 沙龙 举行 了 会谈– 解码： Bush held a meeting with Sharon
⟨ 布什 与 X1 X2, Bush X2 with X1⟩⟨ 沙龙 , Sharon⟩⟨ 举行 了 会谈 , held a meeting⟩⟨ 沙龙 , Salon⟩⟨ 举行 了 会谈 , hold a meeting⟩⟨ 举行 了 会谈 , hold a conference⟩……
翻译解码• 翻译例子– 布什 与 沙龙 举行 了 会谈– 解码： Bush held a meeting with Sharon Bush hold a meeting with Sharon
⟨ 布什 与 X1 X2, Bush X2 with X1⟩⟨ 沙龙 , Sharon⟩⟨ 举行 了 会谈 , held a meeting⟩⟨ 沙龙 , Salon⟩⟨ 举行 了 会谈 , hold a meeting⟩⟨ 举行 了 会谈 , hold a conference⟩……
翻译解码• 翻译例子– 布什 与 沙龙 举行 了 会谈– 解码： Bush held a meeting with Sharon Bush hold a meeting with Sharon Bush hold a conference with Salon ……
⟨ 布什 与 X1 X2, Bush X2 with X1⟩⟨ 沙龙 , Sharon⟩⟨ 举行 了 会谈 , held a meeting⟩⟨ 沙龙 , Salon⟩⟨ 举行 了 会谈 , hold a meeting⟩⟨ 举行 了 会谈 , hold a conference⟩……
翻译解码• 翻译例子– 布什 与 沙龙 举行 了 会谈– 解码： Bush held a meeting with Sharon Bush hold a meeting with Sharon Bush hold a conference with Salon ……
⟨ 布什 与 X1 X2, Bush X2 with X1⟩⟨ 沙龙 , Sharon⟩⟨ 举行 了 会谈 , held a meeting⟩⟨ 沙龙 , Salon⟩⟨ 举行 了 会谈 , hold a meeting⟩⟨ 举行 了 会谈 , hold a conference⟩……
√1best
翻译解码• 翻译例子– 布什 与 沙龙 举行 了 会谈– 解码： Bush held a meeting with Sharon Bush hold a meeting with Sharon Bush hold a conference with Salon ……
⟨ 布什 与 X1 X2, Bush X2 with X1⟩⟨ 沙龙 , Sharon⟩⟨ 举行 了 会谈 , held a meeting⟩⟨ 沙龙 , Salon⟩⟨ 举行 了 会谈 , hold a meeting⟩⟨ 举行 了 会谈 , hold a conference⟩……
√1best
翻译解码• 翻译例子– 布什 与 沙龙 举行 了 会谈– 解码： Bush held a meeting with Sharon Bush hold a meeting with Sharon Bush hold a conference with Salon ……
⟨ 布什 与 X1 X2, Bush X2 with X1⟩⟨ 沙龙 , Sharon⟩⟨ 举行 了 会谈 , held a meeting⟩⟨ 沙龙 , Salon⟩⟨ 举行 了 会谈 , hold a meeting⟩⟨ 举行 了 会谈 , hold a conference⟩……
√1best
大纲• 研究动机
• 翻译解码方法
• 翻译日志模型剪枝
• 实验
翻译日志模型剪枝• 利用翻译获取规则信息
⟨ 布什 与 X1 X2, Bush X2 with X1⟩⟨ 沙龙 , Sharon⟩⟨ 举行 了 会谈 , held a meeting⟩⟨ 沙龙 , Salon⟩⟨ 举行 了 会谈 , hold a meeting⟩⟨ 举行 了 会谈 , hold a conference⟩……
翻译日志模型剪枝• 利用翻译获取规则信息
⟨ 布什 与 X1 X2, Bush X2 with X1⟩⟨ 沙龙 , Sharon⟩⟨ 举行 了 会谈 , held a meeting⟩⟨ 沙龙 , Salon⟩⟨ 举行 了 会谈 , hold a meeting⟩⟨ 举行 了 会谈 , hold a conference⟩……
√√√
布什 与 沙龙 举行 了 会谈
翻译日志模型剪枝• 利用翻译获取规则信息
⟨ 布什 与 X1 X2, Bush X2 with X1⟩⟨ 沙龙 , Sharon⟩⟨ 举行 了 会谈 , held a meeting⟩⟨ 沙龙 , Salon⟩⟨ 举行 了 会谈 , hold a meeting⟩⟨ 举行 了 会谈 , hold a conference⟩……
111
布什 与 沙龙 举行 了 会谈
翻译日志模型剪枝• 利用翻译获取规则信息
⟨ 布什 与 X1 X2, Bush X2 with X1⟩⟨ 沙龙 , Sharon⟩⟨ 举行 了 会谈 , held a meeting⟩⟨ 沙龙 , Salon⟩⟨ 举行 了 会谈 , hold a meeting⟩⟨ 举行 了 会谈 , hold a conference⟩……
………
…………
…………
翻译日志模型剪枝• 利用翻译获取规则信息
⟨ 布什 与 X1 X2, Bush X2 with X1⟩⟨ 沙龙 , Sharon⟩⟨ 举行 了 会谈 , held a meeting⟩⟨ 沙龙 , Salon⟩⟨ 举行 了 会谈 , hold a meeting⟩⟨ 举行 了 会谈 , hold a conference⟩……
………
…………
…………
翻译日志
翻译日志模型剪枝• 模型剪枝– 仅保留在翻译中命中的规则– 命中次数 >0 的规则
大纲• 研究动机
• 翻译解码方法
• 翻译日志模型剪枝
• 实验
实验• 实验配置（汉 - 英）– 训练语料： LDC ， 1.5M 句对– 语言模型：法新社 +Giga 新华 5 元– 翻译日志模拟语料：• 训练集 1.5M• 新闻语料 5.28M• Web 语料 6.06M （搜狗全网）
– 开发测试集：• Dev:nist06; Tst:nist04,nist05,nist08
实验• 实验结果– 直接过滤规则表
– Count: 低于等于该使用频度的规则不被保留
翻译日志 训练集 新闻语料 Web语料
过滤频度 Count=0 Count=1 Count=2 Count=0 Count=0
规则表大小% 2.40 0.89 0.47 3.68 2.78
NIST04 (BLEU%) 34.01 33.08 32.40 33.74 32.76
NIST05(BLEU%) 31.46 30.78 30.12 31.07 30.58
NIST08(BLEU%) 27.24 26.45 25.80 26.70 26.50
测试集均值 30.90 (-0.28) 30.10 (-1.08) 29.44 (-1.74) 30.50 (-0.68) 29.95 (-1.23)
实验• 实验结果– 在过滤规则表基础上重新调参
– 能够更加接近原始规则表的效果
翻译日志 训练集 新闻语料
测试集均值（重调参前） 30.90 30.50
测试集均值（重调参后） 31.03 30.90
实验• 讨论– OOV 问题• 解决：利用训练集获取翻译日志
– 领域问题• 确实存在
– 新闻 : 34.06=>33.74– Web: 34.06=>32.76
结论• 简单动机和方法
• 效果显著– 规则表大小： 100%=>2.4%– 翻译效果： 31.18=>31.03
• 语言模型剪枝也可参照该思想
谢谢！