北二外发布大语言模型翻译质量评测报告
和商网北京6月23日电(记者 李京泽)6月23日，北京第二外国语学院发布《大语言模型翻译质量评测报告 BISU-AiTQA(v1.0)》。
据悉，该评测突破国际现有评测以英语为核心的现状，构建了以汉语为核心，覆盖多语种、多领域的大语言模型翻译质量评测体系，具有开创性意义，是促进中外人文交流，提升汉语全球表达力的积极探索。
基于多年的外语学科与教学积淀、结合前期翻译评测研究成果，北二外集中英语、日语、俄语、法语、阿拉伯语五个语种师生力量，面向ChatGPT、Claude、Gemini、Grok、DeepSeek和通义千问六个国内外语言大模型，从当代文学、党政文献和外事新闻三个领域开展翻译质量测评研究。
据了解，BISU-AiTQA(v1.0)以汉语为核心、以中国特色文本为基础，从语言特征维度、神经网络维度构建了包括词汇多样性、句法复杂度、篇章衔接度、语言可接受度等在内的六项指标体系，着重关注译文的语言使用特性，可有效识别模型在词法、句法和篇章衔接方面的能力，同时考察模型对语义的理解与语言表达能力。
这不仅实现了对大语言模型译文的多维分析，更以实证方式检验了模型对中国话语、文化意涵与政策表述的处理能力，填补了“以汉语为核心”的多语种评测空白。
从评测结果来看，生成式人工智能目前不完全具备处理复杂语言的能力，在借助人工智能技术时，使用者必须具有判断力，而培养这种判断力正是外语教育重要的育人功能之一。
人工智能时代的外语学习，必要且必须。基于这样的逻辑，BISU-AiTQA(v1.0)脱胎于文工交叉学科，又反哺语言教学，项目中的多语种多领域语料及翻译评测指标可广泛应用于翻译课程、语言测试、语言分析等教学场景，为推动翻译教育与语言研究的数字化转型提供重要的实践平台。(完)