关于机器翻译的评测问题.pdf

关于机器翻译的评测问题姚天顺,。一个好的评测系统其开发难度并不亚于被测系统。,是十分重要的。根据自然语言的固有特点,评测在系统的研制过程中同样也起着不可缺少的作用。著名的L :“。”对评测研究赋予特殊关注的是美国政府的“自动化语言处理指导委员会”(ALPAC),60 年代他们对机器翻译的研究持过反对态度。想想这几十年,不无道理。现在他们以机器翻译和人工翻译比较的态度,从三个方面去考虑评测工作:即“速度、费用和质量”,然后给出评价。按“很清楚和理解”到“不可理解”共分成9个等级,得出最后的结论。非常注重市场和机器翻译的实际效益。另一个组织就是ARPA。他们从1992年开始也支持机器翻译的评测,见O’ConnF'll,O’Mara andWhitell9]的报告。由于该组织是一个提供资金的组织,关心的主要点是“前展的核心技术(Further the technology)”,立足于全自动和批量处理,对不同语言和不同翻译技术的测在美国政府、欧共体和上述类组织的推动下,比较著名的系统有: EAGLES(Expert Advisory Group on Language Engineering Standards)i系统【8l 按需求分析各种要求(显示的或隐含的需要),并不断细化,, 这些描述落实到设计的不同部分,按这些部分依此测试各个软件模块。该系统最重要的贡献是陈述的或隐含需求的形式化。其的目标是构造一些自动化过程。整个系统从拼写、语法、风格检查到自然语言界面、机器翻译系统,包括: 1)书写辅助工具: 拼写检查器:语法检查器:风格检查器 2)信息管理工具: 自动索引系统;文本检索系统:自然语言的信息检索系统:具有信息管理的写作辅助工具 3)白然语言界面: 信息系统:数据库系统;计算机系统 4)翻译辅助I:具: 机器翻译(translationmemory):专用]i作站:术语管理数据库:电子单语和多语字典;字典访问系统;多语同义词典 5)机器翻译系统 6)自然语言生成系统 TEMAA(A Testbed Study ofEvaliationMethodologies∥”这是一项Sprogteknologi中心(哥本哈根)、ISSCO(日内瓦)、StichtingTaaltechnolohgie(E 本,字都宫)、语言技术组(爱丁堡)和Clads Inlalld(都柏林)【211等开发的。主要用于英语、意丈利语、丹麦语和荷兰语的拼音检查软件的检测。利用面向对象的程序设计,设计和利用参数化测试平台(PTB)方法进行的, COBALT[8l 这是~个LRE项目下的子项目,利用EAGLES的评测方法,评测哪些能对财政类感兴趣的新闻文章的系统。 4 RENOSl8】也是一个LRE项目下的子项目,利用类似TEMAA的方法评测哪些全文检索中减少噪声的系统。TSNLP(Test Suites Natural Language Processing)? 1993年12月份开