AI已经会刷LeetCode了
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。
你在面试中会遇到的那种算法题,AI已经能自己解决了,比如下面这道题:
对于一个记录论文引用次数的数组,每个元AI素都是非负整数。请写出函数h_index,输出这些论文的h指数,即至多有h篇文章被至少引用了h次。
例:
输入: [3, 0, 6, 1, 4]
输出: 3
AI给出的Python答案是这样的:
除了排序没用coun已经ts.sort(reverse = True)让人看着血压升高,算是顺利通过测试:
来自UC伯克利的研究团队,将上面这道题被归为“面试级”难度(看来国外程序员面试题有点简单)。
此外还有更简单的“入门级”和更难的会刷“竞赛级”,总共5000道题的测试中,AI能做出15%。
另外有人声称,他专门用GPT-2训练了个专门做LeetCode的AI,能完成80%。
在刷LeetCode的你,是否在颤抖?
GPT-Neo赢Le过GPT-3
本研究使用的题目形式是自然语言题干,不同于以往研究常用的伪代码和代码之间翻译。
题目是从Codeforces、Kattis等刷题网站收集的10000道题,5000道用于训练,另外500et0道作为测试集。
题干的平均长度为293.2个单词,在测试集中每道题平均有21.2个测试用例。
入门级难度的题不需要复杂算法,有1-2年经验的程序员都能回答的那种,有3639个。
面试级难度的题会涉及数据Co结构,比如树或者图,或需要修改常见的算法,有5000个。
剩下的是竞赛级难度,达到USACO、IOI和ACM等竞赛的水平。
研究人员分别训练了GPT-2的1亿参数版和15亿参数版、GPT-3以及“高仿版”GdePT-Neo。
参数规模“只有”27亿的GPT-Neo和更低的GPT-2在测试用例通过率上,表现却比1750亿的GPT-3还要好。
在严格模式下,通过所有测试用例才算完全正确,成绩最好的GPT-Neo只通AI过了1.12%,不过这也有56道题了(反正比我强)。
GPT-Neo来自EleutherAI团队尝试复现GPT的开源项目。
虽然参数规模比GPT-3小得多,但训练数据包含了更多技术网站,比如Stack O已经verFlow和Stack Exchange等,这可能是它在代码生成上胜出的原因之一。
至于GPT-3为什么表现还不如GPT-2,有人猜测可能是它见过的文本太多,虽然擅长生成自然语言,但在逻辑和解题方面会刷过拟合了。
如何评价AI“做题家”
论文一发出来,吃瓜群众脑洞大开。
如果我没通过面试但我写的算法通过了会怎么样?
有人回答他:
没关系,你还可以当你算法的助手。
还有很多人给出下一步建议,比如不用自回归的GPT,改Le用自编码语言模型会怎样?比如CodeTrans。
或者,再用一个GPT专门生成自己回答不出来的问题。
△矛盾相争是吧
乐观的人认为这是解放了人的创造力,未来编程是关于写更少的代码,做更多的架构、工程。
有人畅想,et只需要描述需求就能生成代码可太爽了。
嗨IDE,用我的数据库做一个JavaScript的增查改删,要带测试。
△Ruby on Rails直呼内行
悲观的人却认为,将来有一天,人类程序员只能做做维护工作和评Co审机器生成的代码了。
面对AI“做题家”,你怕了吗?
论文地址:
https://arxiv.org/abs/2105.09938
数据集地址:
https://github.com/hendrycks/appdes
自动刷LeetCode项目:
https://github.com/gagan3012/project-code-py
- ·标签: 哈啰单车 猎鹰计划 共享单车 竞品打压
- ·清华IDEA团队重磅发布GUAVA!单张照片0.1秒生成3D化身,技术突破震撼全球
- ·标签: 小红书 电商 商业化 欧迪
- ·美光针对数据中心推出业界首款基于176层NAND的SATA SSD
- ·Twitter CFO不担心苹果调整隐私政策:竞争环境更公平对推特有利
- ·「思想钢印」成真!33位中美科学家最新成果:用光改变大脑认知
- ·标签: 海信视像 MiniLED 东芝 Vidda
- ·应对万亿数据上亿并发!字节跳动的图数据库研发实践
- ·标签: 张迪 快手可灵 B站 阿里巴巴
- ·Facebook遭反垄断诉讼 Instagram和WhatsApp或被剥离
- ·云计算开发:Python练习实例-利用数轴来分界,定位。
- ·标签: 腾讯云 元宝派 OpenClaw 龙虾Bot
- ·消息称欧盟反垄断监管机构正准备就Spotify的投诉对苹果提出指控
- ·标签: 红果短剧 抖音集团 李亮 少年往事
- ·IDC:全球 PC 市场持续火热, 2020 年第四季度同比增长 26.1%
- ·美团发布Meeseeks评测基准!o3-mini霸榜,DeepSeek-R1意外垫底引发热议
- ·标签: 石头科技 扫地机器人 RockMow 智能清洁
- ·标签: 贝斯特 港交所上市 电子材料 新能源
- ·青少年男孩青睐个性化 AI:用于治疗与情感关系的隐忧
- ·Cohere推出全新模型Command A Reasoning,专为企业级复杂推理任务打造
- ·标签: 夜巴黎 大河报 DoNews 未成年人直播
- ·云计算开发:Python3数学函数fabs()方法详解
- ·标签: 字节跳动 豆包手机 林夕 Ocean
- ·苹果连续12年蝉联全球最具价值品牌,报告揭示信任与设计重于 AI 狂热
- ·标签: 纽欧申医药 申华琼 CNS创新药 礼来亚洲基金
- ·Claude Code网页版重磅来袭!无需CLI,AI编程助手直击云端!
