这个登上Nature封面的群体学习,无需中央协调员比联邦学习更优秀
如今,在一些疾病的诊断领域,AI的准确率已经超过了医生。
靠谱的诊断结果背后,是建立海量数据集上的机器学习。
但实际上,可用于训练的医疗数据非常分散,想要把世界各地的数据都集合起来又这个会引发对数据所有权、隐私性、保密性、安全性的担忧,甚至数据垄断的威胁……
常用的方法如联邦学习,可以解决上述的一些问题,但该模型的参数由“中央协调员”( central coordinator)处理,造成登上了“权力”的集中,且它的星形架构也导致容错性降低。
就没有好的解决办法吗?
有,Nature封面为我们刊登了一种叫做Swarm Learning (群体学习,SL)的全新机器学习方法!
该方法结合Na了边缘计算、基于区块链的对等网络,无需“中央协调员”,超越了联邦学习,可以在不违反隐私法的情况下集合来自世界各地的任何医疗数据。
研究人员用了四个异质性疾病 (结核病、COVID-19、tu白血病和肺部病变),来验证了Swarm Learning方法使用分布式数据来诊断疾病的可行性。
具体如何实现?
群体学习方法采用去中心化的架构,用私人许可的区块链技术实现。
整个Swarm网络由多个Swrearm边缘节点组成,节点之间通过该网络来共享参数,每个节点使用私有数据和网络提供的模型来训练自己的模型。
该方法提供安全措施,以支持通过私有许可区块链技术保证数据的所有权、安全性和机密性。
其中,只封面有预先授权的参与者才能加入,且新节点的加入是动态的,通过适当的授权措施来识别参与者,并通过区块链智能合约注册,让参与者获得模型,执行本地模型训练。
直到本地模型训练到满足定义的同步条件后,才可以的群通过Swarm的API交换模型参数,并在新一轮训练开始之前,合并新的参数配置来更新模型。
△ 群体学习与其他机器学习方法的架构对比
因此该群体学习方法具有以下特点:
可以将数据所有者的医疗数据保存在本地; 不体学需要交换原始数据,因此可减少数据流量(data traffic); 可以提供高水平地数据安全保护; 无需中央管理员就可保证分散成员安全、透明和公平地加入; 允许所有成员同等权利地合并参数; 保护机器学习模型免受习,攻击。
为了验证该方法基于分布式数据开发诊断疾病功能的可行性,研究人员用它来诊断四种疾病。
区分轻度和重度 COVID-19 ,表现优于单个节点
首先是白血病。
研究人员将超过12000多个的样本数据“孤立”到各无需个节点,以模拟中现实世界中分布在世界各地的医疗中心。
再用群体学习训练这些数据再去诊断未知病人,他们发现,无论如何改变各个节点的样本分布情况,群体学习方法的诊断准确率均优于单个节点。
接着使用群体学习中央识别结核病或肺部病变患者,结果也是如此,且减少训练样本的数量以后,群体学习的预测效果虽然下降,但仍优于任何一个单独的节点。
紧跟疫情,研究人员也检测了群体学习对于诊断新冠病毒的效果。
结果显示,在协调区分轻度和重度 COVID-19 时,群体学习的表现优于单个节点。
最后,研究人员表示,群体学习作为一个去中心化的学习方法,有望取代目前跨机构医学研究中的数据共享模式,在保证数据隐私等方面的情况下,帮助A员比I获得更丰富全面的数据,为AI诊断疾病提供更高的准确率。
论文地址:
https://www.nature.com/articles/s41586-021-03583-3
GitHub代码:
http联邦s://github.com/schultzelab/swarm_learning
- ·巨额投资难解信任危机:Meta与Scale AI合作现裂痕
- ·标签: 英伟达 黄仁勋 Deepseek R1 自动驾驶 CES2026
- ·Gartner:到2029年,用于AI工作负载的云计算资源比例将达到50%
- ·科学家利用无人机在南极为企鹅做“人口普查”
- ·应用在客户服务团队的人工智能和机器学习工具
- ·阿里云开源全模态模型Qwen2.5-Omni-7B,手机上就能部署
- ·小米开源首个原生端到端语音大模型 Xiaomi-MiMo-Audio
- ·过半作者是华人!Google Research图像表征模型ALIGN霸榜ImageNet
- ·AWS CEO:用 AI 取代初级员工是 “最愚蠢的想法”
- ·2021年后求职分析:你敢裸辞吗?
- ·标签: 阳光电源
- ·AI换脸有危险,VR滑雪体验棒
- ·OB Cloud已支持100多个可用区服务,将登陆阿里云精选市场
- ·标签: KPL AG超玩会 狼队 黄承
- ·阿里夸克“C计划”曝光:目标直指对话式AI应用,或剑指字节“豆包”
- ·标签: Mind Robotics Rivian RJ Scaringe 工业机器人
- ·标签: 中国恒大 普华永道香港 香港证监会 恒大审计事件
- ·标签: 保时捷 Strategy 2035 骆明楷 电动车战略
- ·世界多地发现金属柱,被怀疑是外星标记,谷歌地图有记录!
- ·沃尔玛携手 OpenAI 推出 ChatGPT 购物新体验
- ·标签: 一汽大众 ID.4 CROZZ 三电质保 车主权益
- ·Google重磅突破!AI Agent 实现“自我进化”,从错误中学习变身超级智能体
- ·标签: Anthropic ClaudeOpus4.8 大模型 人工智能
- ·云计算核心技术Docker教程:在docker-compose中使用卷
- ·Zoom 新推出 AI 助手AI Companion,为迟到的与会者总结会议内容
- ·云计算开发:Python3-List clear()方法详解
