Hadoop,大数据离不开它
搭建数仓,hadoop虽然有点落伍,但还是不可或缺的。本文描述下单机版的hadoop运作机制。
HDFS是Google GFS的开源实现,是一个分布式文件系统,是大数据技术的基石,直接上架构图:
主要包含Namenode和Datanodes,MapReduce主要就是在Datanodes进行并行计算。
core-site.xml:
fs.defaultFS Ha; hdfs://localhost:8001 hadoop.tmp.dir /root/hadoop-3.2.2/tmp
其中8001端口就代表hdfs的根路径,另外hdfs-site.xml配置参数也非常多。
比如dfs.doreplication表示hdfs副本集,单机版就设置1;dfs.namenode.http-address是NameNode web管理地址,可以查看hdfs的一些情况;dfs.datanode.address是DataNode的端口;dfs.namenode.name.dir和dfs.namenode.data.dir表示Namenode和Datanodes的存储目录,默认继承于hadoop.tmp.dir值。
如果修改目录相op关的参数,需要格式化hdfs:
$ bin/hdfs namenode -format
经验就是建议删除dfs.namenode.data.dir下的文件,再格式化。
一旦hdfs可用,操作它们就像操作本地文件一样:
#创建登陆用户的根目录,有了根目录,则不需要指定hdfs://前缀 $ ./bin/hdfs dfs -mkdir -,大p "hdfs://localhost:8001/user/root" $ ./bin/hdfs dfs -mkdir -p test2 $ ./bin/hdfs dfs -put ~/test.log hdfs://localhost:8001/test&nb数据sp;$ ./bin/hdfs dfs -put ~/test.log test2 $ ./bin/hdfs dfs -ls test2 $ ./bin/hdfs dfs -cat test2/test.log
接下去说说MapReduce,主要包离不含map和reduce过程,另外不能忘记shuffle,map相对于从hdfs dataNodes处理数据,然后shuffle将相关联的数据交给reduce进行处理。
运行MapReduce过程很简单:
$ bin/hdfs dfs -mkdir input $ bin/hdfs dfs -put etc/hadoop/*.xml input开它 # 将mapreduce任务执行的结果放入 hdfs output 目录中 $ bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar grep input output 'dfs[a-z.]+' &nHabsp;bin/hdfs dfs -cat output/*
早期的MapReduce即包含计算框架,又包含调度框架,比较臃肿,比如想在当前集群运行另外一种计算任务,就不方便了,所以后来从MapReduce中将调度框架抽取出来,命名为Yarn,这样不管是MapReduce还是Spark只要符合Yarn接口定义,就能被Yarn调度,MR和Spark专做做分布式运算,相当于解耦了。
Yarn的do架构图如下:
主要包括ResourceManager和NodeManager,另外为了分布式运算NodeManager一般和HDFS的DataNodes运行在一起。
ResourceManager主要包含Scheduler和ApplicationsManager。
修改yarn-site.xml:
yarn.nodemanager.aux-services &opnbsp; mapreduce_shuffle yarn.resourcemanager.webapp.address 0.0.0.0:7088
其中,mapreduce_shuffle表示调度MapReduce任务,7088 是Yarn的Web,大管理地址;当然Yarn还有很多的参数。
修改 mapred-site.xml:
mapreduce.framework.name yarn
mapreduce.framework.name的值yarn表示MapReduce使用Yarn调度。
然后执行yarn调度:
$ bin/yarn&n数据bsp;jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar grep input output 'dfs[a-z.]+'
只是将上面的hadoop修改为yarn,不过结果测试,不管怎么写,yarn都是生效的,通过yarn Web UI能看出来。
另外我是以root运行的,所以sbin下的一些sh文离不件要修改:
HDFS_DATANODE_USER=root HDFS_DATANODE_SECURE_USER=root HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root
最后的启动命令:
$ ./sbin/start-all.sh $ ./sbin/stop-all.sh
参考链接:
ht开它tps://kontext.tech/column/hadoop/265/default-ports-used-by-hadoop-services-hdfs-mapreduce-yarn
https://hadoop.apache.org/docs/r3.2.2/hadoop-project-dist/hadoop-common/SingleCluster.html
-
标签: 盈科律所 梅向荣 律师行业 融资担保云安全日报201231:华为视讯业务管理系统发现特权升级漏洞,需要尽快升级Nord Security联合创始人新创企业Nexos.ai完成3500万美元A轮融资:专注企业AI安全中间层标签: 苹果 AppStore 抖音 佣金费率标签: 三星电子 SK海力士 HBM3E 存储涨价谷歌地球推出3D时间推移功能 显示了气候变化对地球造成的破坏性Hive底层原理:Explain执行计划详解标签: 蔚来 财报 毛利率 现金储备云安全日报210802:思科网络安全设备发现特权提升漏洞,需要尽快升级前谷歌 CEO 施密特:人工智能面临黑客攻击风险,或学会危险技能
- ·谷歌发布Veo 3.1视频生成模型:新增音频功能和精细化编辑能力
- ·AI 助力解决 911 紧急呼叫中心人手不足难题
- ·寿司可以隔夜吃吗
- ·苹果更新Apple Card服务:家庭成员可共享额度
- ·标签: 字节跳动 Meta 电商 利润
- ·亚马逊:全美范围内扩展杂货商品的“智能锁”入户配送服务
- ·阿里云:早期未意识到Apache log4j2漏洞情况的严重性 将强化漏洞管理
- ·标签: 亚马逊 杨钧 AGS 裁员
- ·云计算核心技术Docker教程:Docker Swarm 模式管理将节点作为管理节点加入
- ·京东618:京东云实现单位订单资源成本同比下降30%
- ·从粗糙几何到逼真3D视频:VideoFrom3D重塑图形设计新纪元
- ·标签: AMD 霄龙 进博会2025 2025进博会 绿色算力 Zen5 EPYC
- ·云计算公司Fastly:已修复造成多个网站宕机的故障
- ·原神雷电国崩是什么梗
- ·标签: 理想汽车 理想MEGA 李想 理想i8
- ·国产AI视觉模型"橘洲"V1.5发布:首个基于国产算力的全生态端侧大模型落地长沙
- ·奔驰携手字节跳动,共同推出搭载豆包大模型的全新纯电 CLA
- ·标签: 章泽天 小天章 刘嘉玲 播客
- ·Meta AI部门大裁员600人:重塑架构,提升效率,扎克伯格力挺新战略
- ·阿里云季度营收再次超过200亿元 同比环比均保持增长
- ·前Salesforc 联席CEO创办的AI公司Sierra获得3.5亿美元融资,估值达100亿美元
- ·谷歌联手印度信实Jio,免费向5亿用户推送Gemini AI!人均396美元福利引爆新兴市场
- ·机器学习平台在Kubernetes上的实践
- ·标签: 智谱 科创板 AI大模型 智谱英文名变更
- ·浜戣�绠楁牳蹇冩妧鏈疍ocker鏁欑▼锛欴ocker浣跨敤syslog鏃ュ織椹卞姩绋嬪簭
- ·云安全日报220301: 红帽Ruby脚本语言发现任意代码执行漏洞,需要尽快升级
