像Git一样用AI数据!免费托管工具上线,用「活」数据集训练
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。
搞机器学习的人,很多都饱受数据管理的折磨。
要么是数据集老旧,需要手工修订标注。
要么是同一个数据集有很多被别人调整过的版本,无从下手。
或者,干脆没有合适数据集,需要自己建立。
国外,一位名叫Simon Lousky的程序员像G小哥终于不能忍了,开发出了一套用于机器学习的数据版本控制工具 (Data Version Control,DVC)。
一键调用数据集、一键查看编辑历史……最重要的是,在DVC工具背后,有一个GitHub一样的数据托管社区。
“盘活”数据集
Simon Lousky在学生时代做项目时,就已经感受到it了机器学习数据集管理不便的痛点。
当时,他的模型需要一个植物和花朵的数据进行训练,而开源数据集无论如何也得不到合理的结果。
于是他自己花了几个小时的时间,一一修正了数据集中大量过时、不合理的标注,之后训练结果让人十分满意。
除了这个项目,他之后又进行过很多数据集的修正、增补、创建工作,他把这些费时费力一样的工序称为“数据集的调试试错”,并且开始有意记录操作历史。
他逐渐发现,自己的项目中,数据管理总是一塌糊涂,而依靠GitHub托管的代码,却一直井井有条。
那为什么不做一个类似GitHub、专门服务数据管理的工具呢?
DVC就这样诞生了。
这是一个预装的工具库,实现功能包括对数据集的调用、历史操作信用A息的查看等等功能。
它的出现,意味着之前,研究人员在本地“死”的数据集上训练模型的方式彻底改变。
你可以将项目链接到在线托管的数据集(或任何文件),建立实时、准确的联系。数据集的任何更新变动,都能及时获知,方便项目的开展。
比如,现在有一个Repository A,这是一个“活”数据集,其中元数据文件,I数指向存储在专用服务器的真实大文件。
用户可以将数据集文件组织到目录中,并添加带有utils函数的代码文件,以此来方便调用。
此外,还有一个Repository B,这是对应机器学习项目,项目代码中,包含使用DVC导入数据集的指令。
只要创建一个数据注册表,就能建立A和B之间的联系:
mkdir my据!-dataset && cd my-dataset git init dvc init
此时,数据集目录会是这样:
需要查看数据集相关信息时,输入指令:
dvc add annot免费ations dvc add images git add . && git commit -m “Starting to manage 托管;my dataset”
数据集的预览会保存到一个目录里,这个目录也会被DVC跟踪。
然后用户只需要把代码和数据推送到托管仓库,这样就随时随地访问它,并与其他人分享。
当然,DVC要发挥作用,自然少不了背后的DAGsHub。
DAGsHub就是一个GitHub的数据管理版本,由三部工具分组成,git仓库、DVC、和机器学习流程平台mlflow。
用户可以提交自己的项目,DAGsHub会自动扫描提交,并提取有用的信息,如实验参数,数据文件和模型的链接,并将它们结合到一个简单的界面。
DAGsHub可以浏览和比较代码、数据、模型和实验,而且不需要下载任何东西。
此外,还能生成可视化数据管上线道、数据操作历史,并记录模型性能,自动且美观。
如何在机器学习项目中使用“活”数据集
要使用DAGsHub,只需要注册登录。
通过以下指令安装DVC:
pip3 install dvc
在DAGsHub上找到一个数据集,如何在自己的模型中使用它呢?
首先,要从托管的数据集中导入一个,用目录,并把它当作原始文件:
mkdir -p data/raw dvc import -o data/raw/images https://dagshub.com/Simon/baby-yoda-segmentat「活ion-dataset data/images dvc import -o data/raw/annotations https://dagshub.com/Simon/baby-yoda-segmentatio」数n-dataset data/annotations
接着,图片和注释就会下载到你自己的项目中,并保留其中历史信息的信息。
当你想要知道数据集的变更历史时,只需运行命令:
dvc update
就能将可视化结果返回默认目录保存:
是不是很方便?
对了,无论是DVC,还是D据集AGsHub,都是开源且免费的,赶快来试试吧
传送门:
DVC教程:https://dagshub.com/docs/experiment-tutorial/2-data-versioning/
DAGsHub主页:https://dagshub.com/
-
ChatGPT 聊天即买!AI 革命电商:一键下单,告别浏览器跳转Transformer又出新变体∞-former:无限长期记忆,任意长度上下文Meta 计划推出超级政治行动委员会,力挺 AI 监管轻松化自动化工作流革命:Pokee AI发布“一句话”智能代理,零代码配置标签: 长安汽车 新能源汽车 自主品牌 财报标签: 蚂蚁视觉 东风日产NX8 极氪9X 尚界H5云计算开发:Python3-len()方法详解标签: VLA 理想 郎咸朋 宇树科技IDC:全球 PC 市场持续火热, 2020 年第四季度同比增长 26.1%IDC:2020年全球物联网支出达到6904.7亿美元 中国市场占比23.6%
- ·Salesforce拟斥资逾270亿美元收购Slack 进一步加强与微软竞争
- ·蟋蟀又称什么名字
- ·25分钟训练机器人学会6个动作,伯克利开发高效机器人操纵框架
- ·AI训练的福音:关于合成数据的一切
- ·标签: 正力新能 动力电池 磷酸铁锂 三元电池
- ·标签: 货拉拉 快狗打车 滴滴货运 网络货运
- ·马斯克与阿尔特曼的法庭对决:关于 OpenAI 创始使命的争论
- ·标签: 京东物流 2025Q3 一体化供应链 云仓
- ·谷歌CEO确认:Gemini3年内发布,AI Agent能力或成突破口
- ·奇点灵智获数千万融资剑指儿童AI教育!清华团队打造英语机器人伴侣,挑战传统启蒙模式
- ·云安全日报220519:思科安全设备和威胁防御软件发现权限提升漏洞,需要尽快升级
- ·为什么说物理安全和云计算密不可分?
- ·「土行孙」机器人登上Science子刊封面,用气流在地下穿梭自如
- ·英特尔CEO :还有100多家公司等着我们代工芯片
- ·大数据阻止网络安全威胁的5种可行方法
- ·睡袋和穿衣服睡觉有什么区别
- ·机密文件:谷歌计划在所有平台分销游戏 包括Mac
- ·微软正在就以100亿美元收购移动聊天服务商Discord进行谈判
- ·甲骨文与 OpenAI 的千亿交易:是投资新机遇还是风险豪赌?
- ·标签: 挪瓦咖啡 健康咖啡 0脂拿铁 NOWWA COFFEE
- ·报道称:OpenAI 与博通合作开发自家 AI 芯片,明年开始量产
- ·标签: 尊界V800 iOS27 月之暗面 华为
- ·Scality 推出20多种关键工具的 AI 认证,助力企业加速 AI 应用开发
- ·云安全日报210610:红帽OpenShift云应用平台发现符号链接攻击漏洞,需要尽快升级
- ·成熟了的西梅是什么颜色的
- ·xAI 发布 Grok4Fast,效率提升40%,基准测试表现不输 Grok4!
- ·标签: GoogleI/O2026 Gemini3.5Flash TPU8i Antigravity2.0
- ·马斯克预言未来:AI 将取代手机与应用程序!
- ·利用AI“发现”新药 为研发提速
- ·AI面试官初创公司Alex获1700万美元A轮融资:每天完成数千场面试,投资者看好招聘自动化趋势
- ·苹果iOS15.4.1正式版发布 修复电量消耗过快问题
- ·摩根大通:给予FANG增持评级 Alphabet和Facebook是今年最佳选择
- ·云计算开发:Python3-min()方法详解
- ·ElevenLabs 发布 v3 Alpha API:支持超过 70 种语言和无限数量的虚拟角色
- ·云安全日报210310:Adobe会议环境软件发现任意代码执行漏洞,需要尽快升级
- ·苹果新研究揭示LLM对齐新范式:清单式强化学习优于传统奖励模型
