大数据解决方案能负担的起吗?
目前最大的误区之一仍然是,只有大公司才能负担得起大数据驱动的解决方案,它只适用于海量数据,而且价格昂贵。这已不再是事实,有几次技术变革改变了这种心态。
大数据技术的成熟度
第一次技术变革与成熟度和质量有关。毫无疑问,十年前,大数据技术需要做出一定的努力才能使其工作或使所有部分协同工作。
过去有大数无数来自开发人员的故事,他们浪费了80%的时间试图用Spark,Hadoop,Kafka或其他方法克服愚蠢的故障。如今,这些技术已变得足够可靠,它们消除了早期的各种故障并学会了如何相互配合。
与捕捉内部错误相比,出现基础设施故障的机会要大得多。在大多数情况下,即使是基础设施问题也可以容忍,因为大多据解数大数据处理框架的设计都是容错的。此外,这些技术为计算提供了稳定、强大和简单的抽象,并允许开发人员专注于开发的业务方面。
各种大数据技术
第二次技术变革正在发生——近年来,无数的开源和专有技术被发明出来——Apache Pino、Delta Lake、Hudi、Presto、Clickhouse、Snow决方flake、Upsolver、Serverless等等。数千名开发者的创造力和创意已经转化为大胆而卓越的解决方案,并具有巨大的激励作用。
让我们讨论一个典型的分析数据平台(ADP)。它包括四个主要层次:
· 仪表板和可视化– ADP的外观,向最终用户提供分析摘要。
· 数据处理–数据流水线,用于验证案能,丰富和转换数据从一种形式到另一种形式。
数据仓库–存放组织良好的数据的地方–汇总,数据集市等
· Data Lake,用于存放纯原始数据的地方,是Data Warehouse的基础。
· 每个等级都有足够的替代品,可满足任何口味和要求。这些技术中有一半是在过去5年内出现的。
关于它们的重要一点是,技术负担的开发旨在相互兼容。例如,典型的低成本小型ADP可能包含Apache Spark作为处理组件的基础,AWS S3或类似的Data Lake,Clickhouse作为仓库,OLAP用于低延迟查询,而Grafana用于漂亮的仪表板。
具有更强保证的更复杂的ADP可以以不同的方式组成。例如,将Apach的起e Hudi和S3引入作为数据仓库可以确保更大的规模,而Clickhouse仍然可以低延迟地访问聚合数据。
成本效益
第三次技术变革是由云端造成的。云服务成为真正的游戏规则改变者。他们将大数据作为即用型平台(大数据即服务)进行处理,使开发人员可以专注于功能开发,从而使云计算能够关注基础架构。
开发人员可吗?以选择特定技术和一定程度的无服务器。无服务器越多,它的可组合性就越好,但是更多的供应商锁定将使它成为不利的一面。锁定在特定的云提供商和无服务器堆栈上的解决方案可以缩短上市时间。在无服务器技术之间明智地选择可使解决方案具有成本效益。
尽管此选项对初创公司而言不是很有用,因为它们倾向于利用典型的10大数万美元云信用额度,并且在AWS,GCP和Azure之间进行跳转是一种很普通的生活方式。必须事先弄清这个事实,而必须提出更多与云无关的技术。
通常,工程师会区分以下成本:开发费用、维修费用、变更成本。
开发费用
云技术无疑简化了工程工作。有好几个区域对它有积极的影响。
第一个是架构和设计决策。无服务器堆栈提据解供了丰富的模式和可重用组件集,为解决方案的体系结构提供了坚实而一致的基础。
只有一个问题可能会减慢设计阶段:大数据技术是自然分布的,因此在设计相关解决方案时必须考虑可能的故障和中断,以确保数据的可用性和一致性。另外,解决方案所需的精力更少,可以扩展。
第二个是集成和端到端测试。无服务器堆栈允许创建决方隔离的沙箱,播放,测试,修复问题,从而减少开发回送和时间。
另一个优势是,云强加了解决方案部署过程的自动化。不用说,此功能是任何成功团队的必备属性。
维修费用
云提供商声称要解决的主要目标之一是减少监视和保持生产环境活动的精力。他们试图建立几乎没有零投入的理想抽象。
但是,实际情况有所不同。关于这个想法,案能通常维护仍然需要一些努力。下表突出显示了最突出的种类。
但除此之外,该方案在很大程度上取决于基础架构和许可成本。设计阶段非常重要,因为它可以挑战特定技术并提前估算其运行时间成本。
变更成本
大数据技术关注客户的另一个重要方面-变更成本。我们的经验表明,大数据与任何其他技术之间没有区别。如果解决方案负担不是过度设计的,那么变更的成本就可以与非大数据堆栈完全媲美。大数据带来了一个好处。大数据解决方案被设计为分离是很自然的。设计正确的解决方案看起来不像是整体解决方案,可以在需要的地方短期内应用局部更改,而影响生产的风险较小。
总而言之,我们确实认为大数据可以负担得起。它为开发人员提出了新的设计模式和的起方法,开发人员可以利用它来组装符合最严格的业务要求并同时具有成本效益的任何分析数据平台。
大数据驱动的解决方案可能是快速成长的初创公司的良好基础,这些初创公司希望变得灵活,应用快速更改且TTM跑道短。一旦企业需要更大的数据量,大数据驱动的解决方案就可以与企业一起扩展。
大数据技术允许以小规模或吗?大规模实施近实时分析,而经典解决方案却难以与性能相提并论。
云提供商已将大数据提升到了新的水平,从而提供了可靠,可扩展和即用的功能。快速交付来开发具有成本效益的ADP从未如此简单。利用大数据提升您的业务。
- ·套现超120亿元 阿里出售高鑫零售全部股权
- ·寰�蒋楂樼�瑙h�2021璐㈠勾Q4璐㈡姤锛氫簯涓氬姟澧為暱鏄�暱鏈熸寔涔呯殑
- ·亚马逊正在进一步蚕食传统媒体的市场份额
- ·标签: 欧菲光 智能手机摄像头 智能汽车视觉 机器视觉深度相机
- ·2021年大数据和分析4大趋势
- ·阿里云泄露用户数据隐忧:云端用户隐私,是否真安全?
- ·陕西省规划到2027年建立5个人工智能学院
- ·2021年需要关注的5个开源Kubernetes项目
- ·承诺不利用大数据“杀熟”!京东、美团等10平台签署承诺书
- ·标签: Meta 元宇宙 扎克伯格 地平线
- ·光子处理器达到前所未有的计算密度
- ·火山引擎发布豆包大模型1.6-vision 视觉理解能力实现重大突破
- ·标签: OpenAI Anthropic 生成式AI 企业AI
- ·阿里云加速海外布局,墨西哥数据中心正式开服
- ·Anthropic 的 Claude AI 正式上线 Xcode 26,助力开发者提升编码效率
- ·云安全日报210714:Adobe Acrobat和Reader软件发现任意代码执行漏洞,需要尽快升级
- ·OpenAI Sora 2全新功能上线,Pro用户生成视频长达 25 秒
- ·标签: 它石智航 具身智能 Pre-A轮融资 高瓴创投
- ·云服务商Fastly道歉:软件漏洞导致昨日全球大量网站宕机
- ·微软计划降低游戏商店分成比例:吸引独立开发者
- ·谷歌推新AI学习工具Learn Your Way,用 AI 打造个性化教科书
- ·微软在 Teams 中引入 AI 助手,提升工作效率
- ·数据分析速成班?包就业?扒一扒数分培训行业黑幕!
- ·Anthropic 推出 Claude for Chrome:AI 浏览器代理进入竞争白热化阶段
- ·蚂蚁百灵推出开源高效思考模型,推理成本大幅降低
- ·风投巨头押注AI改造传统服务业:General Catalyst投入15亿美元,目标实现软件级利润率
