莆田版GPT-3开源:同等复现预训练模型GPT Neo
GPT-3开源了?Eleuther AI推出的名为GPT-Neo的开源项目:公开发布的GPT-3同等复现预训练模型(1.3B & 2.7B),可在Colab上完成微调。
……当然此 GPT-3非彼 GPT-3。
近日,Eleu莆田ther AI在GitHub上推出了一个名为GPT-Neo的开源项目:GPT-3同等复现预训练模型(1.3B & 2.7B),并可在Colab上完成微调。
虽然GPT-Neo与真正的GPT-3比,参数量仍然很小(较大版本也只与GPT-3最版G小模型的参数量),但开源又免费,仍然得到了「同性好友们」的认可!
项目目前在GitHub上已经得到了近3k的star。
Eleuther AI也表示,未来会进一步开源10B版本和原始大小版本的GPT3模型参数。
「莆田版」GPT-3
在EleutherPT AI官网上,他们对GPT-Neo的描述是,「一系列基于变换器的语言模型的代码名称,这些模型的风格松散地围绕着GPT架构,我们计划对其进行训练和开源。我们的主要目标是复制一个GPT-3大小的模型,并将其免费开源给公众。」
在这一过程中,我们将对-3替代架构和注意力类型进行实验,发布任何中间模型,并在我们的博客上写出任何发现。
GPT-Neo模型是在Tensorflow-mesh中构建的,这将使他们能够使用同步的模型和数据并行来扩展到GPT-3和更大的规模。
据Eleuther AI称开源,他们已经建立了大部分的模型,训练了GPT-2大小的模型,并实施了几个实验性的架构。
目前的代码库应该能够扩展到GPT-3规模的模型。
而他们接下来的步骤,将是正在努力完成GPT-2规模的模型复制。
「到目前为止,2 们得到的单步训练的最大模型是:同200B参数。」
GPT3: 一般人玩不起
6月,OpenAI发表了一篇论文,详细介绍了GPT-3,这是一个机器学习模型,在一些自然语言基准上取得了强大的效果。在1750亿个参数——模型从历史训练数据中学习的部分——它是同类模型中最大的模型等复之一,也是最复杂的模型之一,能够进行原始类比,以某种风格写作,甚至完成基本代码。
与GPT-3的前身GPT-2和GPT-1相比,OpenAI选择不将模型或训练数据集开源,而是选择通过商业API提供前者。该公司选择将GPT-3独家授权给微软,进一现预步缩减了访问权限,而OpenAI与微软有业务关系。
微软已经向OpenAI投资了10亿美元,并建立了一台Azure托管的超级计算机,旨在进一步推动OpenAI的研究。
来看下OpenAI的定价策略。
自由探索Explore版 (我等):可以免费使训练用3个月,或者10万token,哪个先到按哪个算,占着不用可不行。
Create版(普通用户): 100美元一个月,200万token每月,超出的部分1k token按8美分计算;
Build版(VIP): 400美元一个月,1000万tok模型en每月,超出的部分1k token按6美分计算;
Scale版(尊享版):如果你是也就是生产级的大规模用户,联系官方就好,有专人服务。
这个200万token,能有多少字呢?大约相当于3000页的文本。
这样说可能还是不直接,举个例子,莎士比亚全集GP是大约有90万个单词,折算到token的话大概能有120万。
贫穷使人进(fu)步(ke)。
现在,一些人开始在开源中重新创建GPT-3,但可能目前最值得期待的就是GPT-Neo了。
关于Eleuther AI
Eleuther AI是一个由研究T 人员组成的草根集合,致力于开源人工智能研究。
Connor Leahy,Leo Gao和Sid Black三人联合创立,于去年11月宣布推出GPT-Neo的开源项目,该项目基于GPT系列的设计原理,旨在复现GPT系列的各种项目。
其中Sid是目前世界Ne上最牛的TPU黑客之一。
不过,也有人也认为这伙人炒作太多!
「据我所知,他们正在大肆宣传他们无法兑现的夸大其词。」
「例如,他们在OpenAI宣布几天后就运出了一个DALL-E repo,这是坏的,而且由于他们的架构不能扩展,他们已经把他们的G莆田PT-3复制宣称走回了复制1.5B。」
项目地址:
https://github.com/EleutherAI/gpt-neo
- ·标签: Suplay 卡卡沃 米哈游 原神
- ·标签: 柏奥尼克机器人 PNDbotics Adam系列 人形机器人
- ·标签: 万辰集团
- ·标签: 保时捷 充电网 尊享充电 电动车
- ·“无意”当流媒体巨头的亚马逊为何要花90亿美元买下米高梅?
- ·标签: 小赢科技 WinPROT赢护 Win-Daidai 金融科技
- ·标签: CNN 特德·特纳 特朗普 马克·汤普森
- ·高粱杆可以吃吗
- ·宝尊与阿里云达成战略合作,加速全面上云与数字化产品集成
- ·标签: 菜鸟 淘天集团 阿里中国电商事业群 物流科技
- ·标签: 西贝 罗永浩 贾国龙 餐饮
- ·标签: 本田汽车 电动汽车 电气化战略 日本车企
- ·阿里云辟谣“标杆客户小红书已下云”
- ·标签: 我爱我家 张军 房地产中介 工亡赔偿
- ·标签: 小赢科技 WinPROT赢护 Win-Daidai 金融科技
- ·标签: 联想控股 李蓬 于浩
- ·Kimi K2 高速版 AI 模型再提速,输出速度达每秒 100 Tokens
- ·蚂蚁集团数据安全实践案例入选IDC最新报告
- ·Twitter发布首款订阅服务Twitter Blue 可撤回推文
- ·标签: 美团闪购 品牌官旗闪电仓 索尼PlayStation 珀莱雅
- ·AMD姝d粠鑻辩壒灏旀墜涓�ず鍙栧競鍦轰唤棰濓細涓氬姟澧為暱閫熷害楂樹簬甯傚満棰勬祴
- ·标签: 字节跳动 豆包 AI耳机 歌尔股份
- ·洋葱出芽可以吃么
- ·男士衬衫39相当于什么尺码
- ·Kimi k2性能被赞超越 GPT-5,月之暗面再获数亿美元重磅融资
- ·Zoom CEO袁征预言:AI将终结五天工作制,未来每周只需上班三到四天
