没有数据的数据科学?请尽早聘用数据工程师
本文转载自公众号“读芯术”(ID:AI_Discovery)。
“这一刻你正在应对什么挑战?”这位前研究学者回应道:“嗯,我好像应聘成为首席数据科学家了,在一个没有数据的公司里。”
这件事让人啼笑皆非。离开了数据,数据科学家的存在毫无意义。这可不是件个例。本没有文将讨论一些胸怀大志的数据科学家们(以及他们将来的雇主)真正需要了解的事情。
什么是数据工程?
如果数据科学是让数据变得有用的一门学科,那么可以想像数据工程是将数据变得能用的一门学问。数据工程师们是提供幕后基础设施支持的英雄们,这些基础设施让机器能够记录工作,让海量的数据数据与数据科学工具包兼容储存。
与数据科学家不同,数据工程师们更倾向于不花费那么多的时间研究数据。与此相反,他们研究并处理那些承载数据的基础设施。数据科学家是数据的管理者,而数据工程师们是对数据管道进行管理的人。
图源:hackernoon
数据工程有三种主的数要工作方式:
使数据大规模地储存(数据库)和传输(数据管道)。 维护那些支持企业运作的数据流。 为数据科学提供数据集。
如果没有数据,你无法研究数据科学。如果你被一个没有数据和数据工程的机构聘用为数据科学总监,猜猜谁将会成为一名数据工程师?
数据工程的艰难之处在哪?
食品据科进购是件简单的事,如果你只是煮你一个人的晚餐还好说,但规模扩大会将这件琐事变得复杂无比——你该如何获得,存储和处理20吨的冰淇淋,且让它一点都没有融化?
相似地,“数据工程”在你为学校项目下载一个小的电子数据表时是相当容易的,但当你在处理千万亿字节规模的文件时就学?会让人头晕眼花。规模使其本身成为一个复杂的工程学科。
不幸的是,了解这两个学科其中之一并不代表着你就对另一个的知识有所了解。
如果你有了跑去学习两个学科的冲动,你可能成为了那个(令人倍有压力且适得其反的)信念的受害者——数据专家们必须对数据的所有事项都有所请尽了解。数据宇宙正在飞速地扩展着,现在是时候让人们意识到这个领域有多么广阔了,在数据领域的某个领域工作并不自动要求人们去成为全知全能的专家。
讲这么多就是为了说明,这门学科包含了太多的知识,以至于最有决心的天才也无法全部理解和掌握。与其希望数据工程师们全知全早聘能,不如问问彼此(也问问自己),“你是哪一类人?”让我们齐心协力一起工作,而不是在这条路上孤军奋斗。
但这不是一个绝佳的学习机会吗?可能是。这取决于你对已知的学问有多大的感情。数据工程不同于数据科学,所以如果你是个未经受过数据工程训练的数据科学家,那么你得用数从零开始。
这可能正是你所寻求的乐趣——只要你带着开放的眼光一路前行。建立你的数据工程团队可能要花费好几年的时间。当然,有理由去学习新事物是件好事,但相同的是,你的数据科学“肌肉”可能会因此萎缩。
作为一个类比,想象你是一位能流利使用英日两语的译者。你被提供了据工一个叫做“译者”的职位。当你来到岗位工作时,你发现你被聘来进行将普通话译为斯瓦希里语的工作,而这两种语言你都不会说。抓住机会成为一个四语达人可能是一件振奋人心且有益的事情,但请从现实的角度来思考你该如何有效地利用初级培训。
换句话来说,如果一个公司没有任何的数据或程师者数据工程师,那么接受首席数据科学家的工作会在你组建数据工程团队时,为了成为一个数据工程师(你很可能还未达标),将你的数据科学家生涯搁置好几年的时间。
最终,你会很骄傲地看着你所建的团队,然后意识到你不再需要亲自去处理那些细枝末节。那时你的团队已经能够成熟应对那没有些绝妙的神经网络或者你读博时研究的复杂巧妙的贝叶斯定理推论,你就只能袖手旁观,看着他人完成目标。
给你一些小建议
(1) 弄清你正在接手的事物
如果你在考虑接受一个成为数据科学总管的工作,你第一个应该提出的问题是:“谁来保证我的团队有数据能研究?”如果答案是你,嗯,至少数据你将知道自己的签约将意味着什么。
(2) 请记住你是顾客
既然数据科学受数据支配,只有数据工程师们作为同事可能并不够。如果那些同事们没能将你认定为他们工作的一个关键客户,你将面对的是一个艰难的斗争。如果他们的态度让你更多的感受到自己是一个博物馆策展人,为了数据而保存数的数据,那这可不是一个好兆头。
(3) 要有全局观
诚然你是数据工程师们的关键客户,但很可能你并不是他们的唯一客户。现代企业使用数据推动业务发展,通常情况下,无需人为干预,数据就能很好地运转。当你对公司的贡献只是“可有可无”时,表现得好像世界都是围绕着你和你的团队转的据科,这是不明智的。
(4) 坚持问责
在登记你新的十亿字节之前,考虑与数据工程同事协商,让他们对与你的合作负责。如果他们没有将你拒之门外的反应,你的团队就不太可能蓬勃发展。
-
温州正式成立人工智能局,浙江率先布局 AI 治理云计算开发:Python3集合内置add()方法云计算开发:Python内置函数-memoryview()函数详解OpenAI 推出 gpt-oss-safeguard:实时可更新的开源 AI 安全模型比尔·盖茨小女儿创业杀入AI电商!Phia获800万美元融资,海莉·比伯、卡戴珊家族抢投,60万用户已用它“聪明购物”标签: 微软 Xbox Game Pass Azure苹果发布iPhone 17系列新品,AI功能缺失引发行业关注云安全日报210118:Ubuntu Web音频管理系统发现SQL注入漏洞,需要尽快升级阿里云宣布历史最大规模降价:核心产品最高降幅达50%AI用50个三角形画出抽象版蒙娜丽莎,有股后现代的感觉了
- ·云计算开发:Python内置函数-reload() 函数详解
- ·PerplexityCEO 称 AI 浪潮将强化而非取代iPhone的核心地位
- ·谷歌云宣布将开始采用基于Arm技术的计算芯片
- ·腾讯辟谣!OpenAI 前研究员姚顺雨 “百万年薪” 入职传闻不实
- ·标签: 保时捷 充电网 尊享充电 电动车
- ·OpenAI CEO 回应收入质疑,强调增长前景
- ·标签: 万物新生 爱回收 二手手机回收 3C回收
- ·标签: 中国太平 保险控股 2025业绩 资本市场
- ·标签: 白犀牛 RoboVan 自动驾驶无人货运 智能物流
- ·加州州议会通过AI伴侣聊天机器人监管法案,旨在保护未成年人
- ·标签: Kimi K2.5 Anthropic Agent集群
- ·云计算的未来,属于“国家队”?
- ·标签: 思仪科技 创业板IPO 电子测量 国泰海通
- ·标签: 华为 余承东 尊界 高端设计
- ·云安全日报220105:红帽Telnet服务协议发现执行任意代码漏洞,需要尽快升级
- ·谷歌反垄断案进展:如何保护机密信息成为关注点
- ·NLP领域索引神器,3000+代码库,一键查找论文、GitHub库
- ·美光245TB 6600 ION 数据中心 SSD 现已出货
- ·豆腐怎么炒啊
- ·腾讯发布并开源新一代生图模型“HunyuanImage3.0”
- ·谷歌人工智能科学家本吉奥辞职 或受此前研究人员被解雇影响
- ·FTC敦促法官拒绝Facebook驳回垄断诉讼的请求
- ·盲人也能“看见”街景?Google新AI系统让虚拟探索无障碍,科技向善迈出关键一步
- ·云计算开发:Python3 - capitalize()方法详解
- ·京东科技京东云事业群副总裁金旸:每一家成长中的企业都将经历数字化转型的历程
- ·亚马逊敦促法官撤销美国防部授予微软的100亿美元云计算合同
