从2019年发布第一个开源模型开始,我们一直相信开放协作的力量。
世界上有超过7000种语言,但现有的商业翻译系统能覆盖的不到其中1%。小语种的翻译质量之所以长期落后,根本原因不是技术不够好,而是缺乏足够规模的高质量平行语料和针对性的研究投入。
我们成立这个开源社区的初衷很简单——把我们已经做出来的成果分享出来,让其他研究者不必从零起步。你可能对中英翻译很满意,但如果你关注的是泰语-老挝语或者斯瓦希里语-英语的翻译质量,就会发现这个领域还有巨大的空白等着被填补。
社区发布的所有模型和数据都采用宽松的许可证,商业使用友好。你可以在我们的基础上做二次训练、领域微调、或者直接集成到你的产品里。
团队成员在ACL、EMNLP、NAACL、WMT等顶级会议和期刊上发表的代表性工作。
我们创建和维护的高质量平行语料与评测数据集,所有数据均已去重和清洗。
来自中国裁判文书网和英文法律数据库的对齐语料,涵盖合同、判决书、法规条文等子类。每条数据都通过了执业律师的人工抽检。
中英 法律五个语种(中英日韩法)的医学文献摘要和临床报告平行语料。药品名、疾病名、手术名等关键实体已做命名实体标注。
多语种 医疗从跨国电商平台采编的商品标题、描述和用户评价的平行语料,覆盖18个品类。每条语料标注了文体风格(正式/口语/营销)。
中英日韩 电商面向泰语、越南语、印尼语、他加禄语等8个东南亚语种与英语的平行语料。这是我们与东南亚三所大学合作收集和标注的成果,旨在改善该地区语种的机器翻译质量。
低资源 东南亚包含12个语种对、4个专业领域的翻译质量评测集。每条数据包含源文、参考译文和人工标注的多维度质量评分(语义保真度、流畅度、术语准确性)。
评测 多维度涵盖RPG、策略、休闲三种游戏类型的UI文本、剧情对话和系统提示的平行语料。特别标注了字符串长度约束和占位符位置信息,适合游戏本地化研究。
中英日韩 游戏来自学术界和工业界的核心贡献者,以及来自全球的社区志愿者。
与高校和企业研究实验室的长期合作,是社区持续产出的基础。
联合培养博士生,共建中英法律平行语料库,在ACL和EMNLP上合作发表多篇论文。
共同设计翻译质量多维度评测框架,推进东南亚语种机器翻译的基线提升。
聚焦印地语和南亚语种的翻译模型研究与数据采集,共建LowRes-SouthAsia数据集。
在跨语言表征学习和对比学习方向上的深度合作,博士生联合指导项目。
提供脱敏后的电商翻译场景数据,共建EcomTrans数据集,验证模型在生产环境的表现。
共享欧洲语种的平行语料资源,参与欧盟Horizon框架下的低资源语种翻译研究项目。