Grab 自研语言模型解决亚洲语言识别难题
新加坡超级应用程序公司 Grab 近日在其工程博客上分享了其自研语言模型的开发经历,指出现有的大型语言模型在理解东南亚语言Gr时表现不佳。Grab 的超级应用程序提供打车、外卖、购物和金融服务等功能,覆盖新加坡、马来西亚、印尼、菲律宾、越南、泰国、ab柬埔寨和缅甸等国家,这些地区的文档通常使用非拉丁字母的脚本。
图源备注:图片由AI生成
在执行如客户身份验证等合规工作时,Grab 自 需要准确提取身份证、驾照和注册证书等信息。尽管尝试过光学字符识别(OCR)系统,但 Grab 发现这些技术在处理多样化的文档模板时效研语果不理想。
在2025年,Grab 开始探索是否可以利用大型语言模型来解决这一问题。尽管一些强大的商业模型具备能力,但在理解东言模南亚语言时常出现错误和延迟,而开源的视觉大型语言模型虽然更高效,但准确性仍不足。因此,Grab 决定自行构建一个视觉大型语型解言模型,该模型能将图像向量化,方便提取文本。
Grab 选择了阿里巴巴云的 Qwen2-VL2B 模型作为基础,因为它的体积适决亚中,支持东南亚语言,并能动态处理不同分辨率的图像。随后,Grab 从 Common Crawl 中提取了东南亚语言的内容,并建立了内部合洲语成数据管道,以生成各种字体和背景下的文本图像。团队采用低秩适配技术对 Qwen2-VL 进行微调,取得了在印尼文档处理上的言识良好效果。
尽管在泰语和越南语的识别上仍然存在挑战,Grab 最终决定进行完整参数微调。通过训练模型,使其学习东南亚语言的独特别难视觉模式,Grab 成功开发了一个轻量级的视觉大型语言模型,其表现超越了多种 OCR 工具和通用模型。Grab 表示,战略性地使用高Gr质量数据,能够使小型专业模型实现高效与有效的结合。
未来,Grab 计划继续开发更多自有模型,以扩展其文档处理技术。
划重点:
Gabrab 发现现有大型语言模型在东南亚语言识别上效果不佳,决定自研模型解决问题。
自研的视觉大型语言模 自型在处理身份证和驾照等文档时取得了显著进展。
Grab 将继续开发更多模型,以满足日益复杂的文档处理需求。&研语nbsp;
- ·车展头条: 700 万辆车的“大脑”换代,Agentic AI开启座舱新元年
- ·标签: 国恩科技 化工新材料 明胶 胶原蛋白
- ·9.9万元起!宇树科技发布 G1机器人新视频,抗打击能力爆表
- ·标签: 苹果 小程序 开发者 Mini Apps
- ·标签: 英伟达 黄仁勋 AI数据中心 GPU
- ·阿里云高层回应“与特斯拉合作”:其正和本土企业普遍接触
- ·Twitter绗�簩瀛e害涓氱哗瓒呴�鏈� 鐩樺悗鑲′环娑ㄨ秴6%
- ·机器人流程自动化的发展展望
- ·云计算核心技术Docker教程:Docker Hub禁用漏洞扫描和修复漏洞
- ·华为参与欧盟多个研发项目 涉及AI、6G和云计算等技术
- ·利用AI制作“简笔画+实景”融合风治愈系萌宠视频变现
- ·低代码与无代码:异同点与用例
- ·AI公司Flock Safety 欲用智能摄像头消灭美国犯罪
- ·云计算核心技术Docker教程:Docker使用Fluentd 日志驱动程序
- ·标签: 豪威集团 港交所IPO 图像传感器 半导体
- ·全新的智能人脸识别测温系统解决方案
- ·标签: 华领医药 华堂宁 多格列艾汀 MYHOMSIS
- ·连肌肉颤动都清晰可见!3D人体模型自动生成算法,一作北大图灵班
- ·ElevenLabs 发布 v3 Alpha API:支持超过 70 种语言和无限数量的虚拟角色
- ·标签: Gemini 谷歌 OpenAI
- ·标签: 餐饮行业
- ·无语!中国卖家为了清库存给美国一名女子寄了100多个亚马逊包裹
- ·AI的哲学系思考―认知不变性与AI
- ·浜戣�绠楁牳蹇冩妧鏈疍ocker鏁欑▼锛欴ocker浣跨敤Amazon CloudWatch Logs 鏃ュ織璁板綍椹卞姩绋嬪簭
- ·云计算开发:Python内置函数-classmethod修饰符详解
- ·标签: 诺比侃
