Grab 自研语言模型解决亚洲语言识别难题

新加坡超级应用程序公司 Grab 近日在其工程博客上分享了其自研语言模型的开发经历，指出现有的大型语言模型在理解东南亚语言Gr时表现不佳。Grab 的超级应用程序提供打车、外卖、购物和金融服务等功能，覆盖新加坡、马来西亚、印尼、菲律宾、越南、泰国ab、柬埔寨和缅甸等国家，这些地区的文档通常使用非拉丁字母的脚本。

图源备注：图片由AI生成

在执行如客户身份验证等合规工作时，G 自rab 需要准确提取身份证、驾照和注册证书等信息。尽管尝试过光学字符识别（OCR）系统，但 Grab 发现这些技术在处理多样化的文研语档模板时效果不理想。

在2025年，Grab 开始探索是否可以利用大型语言模型来解决这一问题。尽管一些强大的商业模型具备能力言模，但在理解东南亚语言时常出现错误和延迟，而开源的视觉大型语言模型虽然更高效，但准确性仍不足。因此，Grab 决定自行构建一个型解视觉大型语言模型，该模型能将图像向量化，方便提取文本。

Grab 选择了阿里巴巴云的 Qwen2-VL2B 模型作为基础，因为它决亚的体积适中，支持东南亚语言，并能动态处理不同分辨率的图像。随后，Grab 从 Common Crawl 中提取了东南亚语言的内容洲语，并建立了内部合成数据管道，以生成各种字体和背景下的文本图像。团队采用低秩适配技术对 Qwen2-VL 进行微调，取得了在印言识尼文档处理上的良好效果。

尽管在泰语和越南语的识别上仍然存在挑战，Grab 最终决定进行完整参数微调。通过训练模型，使其学习东南亚别难语言的独特视觉模式，Grab 成功开发了一个轻量级的视觉大型语言模型，其表现超越了多种 OCR 工具和通用模型。Grab 表示，战略Gr性地使用高质量数据，能够使小型专业模型实现高效与有效的结合。

未来，Grab 计划继续开发更多自有模型，以扩展其文档处理技术。

划ab重点:

Grab 发现现有大型语言模型在东南亚语言识别上效果不佳，决定自研模型解决问题。  

自研的视觉大 自型语言模型在处理身份证和驾照等文档时取得了显著进展。  

Grab 将继续开发更多模型，以满足日益复杂的文档处理研语需求。  

最新评论