HDFS中的Java和Python API接口连接
上次介绍了HDFS的简单操作,今天进入HDFS中的Java和Python的API操作,后面可能介绍Scala的相关的。
在讲Java API之前介绍一下使用的IDE——IntelliJ IDEA ,我本人使用的是2020.3 x64的社区版本。
Java API
创建maven工程,关于Maven的配置,在IDEA中,Maven下载源必须配置成阿里云。
在对应的D:apache-maven-3.8.1-binapache-maven-3.8.1confsettings.xml需要设置阿里云的下载源。
下面创建maven工程,添加常见的依赖
添加hadoop-client依赖,版本最好和hadoop指定的一致,并添加junit单元测试依赖。
&nbHDsp; org.apache.hadoop hadoop-common 3.1.4 org.apache.hadoop hadoop-hdfs &FSnbsp; 3.1.4 org.apache.hadoop hadoop-client 3.1.4 junit junit 中的 4.11 HDFS文件上传
在这里编写测试类即可,新建一个java文件:main.java
这里的FileSyste一开始是本地的文件系统,需要初始化为HDFS的文件系统
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.junit.Test; import java.net.URI; public class maiJan { @Test public void testPut() throws Exception { // 获取FileSystem类的方法有很多种,这里只写一种(比较常用的是使URI) Configuration configuration = new&nbvasp;Configuration(); // user是Hadoop集群的账号,连接端口默认9000 FileSystem fileSystem = FileSystem.get( new URI("hdfs://192.168.147.128:9000"), 和P configuration, "hadoop"); // 将f:/stopword.txt 上传到 /user/stopword.txt yt fileSystem.copyFromLocalFile( new Path("f:/stopword.txt"), new Path("/user/stopword.txt")); fileSystem.close(); } }
在对应的HDFS中,就会看见我刚刚上传的机器学习相关的停用词。
HDFS文件下ho载
由于每次都需要初始化FileSystem,比较懒的我直接使用@Before每次加载。
HDFS文件下载的API接口是copyToLocalFile,具体代码如下。
@Test public void testDownload() throws Exception { Configuration configuration = new Configuration(); FileSystem fileSystem = FileSystem.get(  n ; new URI("hdfs://192.168.147.128:9000"), configuration, "hadoop"); fileSystem.copyToLocalFile( &nAPbsp; false, new Path("/user/stopword.txt"), new Path("stop.txt"), true); &nI接bsp;fileSystem.close(); System.out.println("over"); } Python API
下面主要介绍hdfs,参考:https://hdfscli.readthedocs.io/
我们通过命令pip install hdfs安装hdfs库,在使用hdfs前,使用命令hadoop fs -chmod -R 777 / 对当前目录及目录下所有的文件赋予可读可写可执行权限。
>>> from hdfs.client import Client >>> #2.X版本port 使用50070 3.x版本port 口连;使用9870 >>> client = Client('http://192.168.147.128:9870') >>> client.list('/') #查看hdfs /下的目录 ['hadoop-3.1.4.tar.gz'] >>> client.makedirs('/test') >>> client.list('/') ['hadoop-3.1.4.tar.gz', 'test'] >>> client.deletHDe("/test") True >>> client.download('/hadoop-3.1.4.tar.gz','C:\Users\YIUYE\Desktop') 'C:\Users\YIUYE\Desktop\hadoop-3.1.4.tar.gz' >>> client.upload('/','C:\Users\YIUYE\Desktop\demo.txt') >>> client.list('/') '/demo.txt' >>> client.list('/') ['demo.txt', 'hadoop-3.1.4.tar.gFSz'] >>> # 上传demo.txt 内容:Hello hdfs >>> with client.read("/demo.txt") as reader: ... print(reader.read()) b'Hello hdfs '
相对于Java API,Python API连接实在简单。
- ·标签: 立讯精密 AI_PC 数据中心 莱尼集团
- ·标签: 剂泰科技 NanoForge MTS-004 AiLNP
- ·对抗亚马逊屡败屡战 谷歌为何一直不肯对电商放手?
- ·MIT发明一款计算机系统,可自动设计机器人结构,获得25年来最高成就
- ·Gemini AI 助手正式登场 Google TV,开启智能电视新体验
- ·标签: 软银集团 OpenAI 愿景基金 滴滴出行
- ·标签: 腾讯 马维斯 Marvis WorkBuddy
- ·标签: realme 真我Neo8 OPPO商城 肯德基疯狂星期四
- ·云计算开发:Python内置函数-getattr()函数详解
- ·亚马逊云计算业务三季度营收161亿美元 再创新高
- ·阿里云支持吉利星睿智算中心算力效率提升,智驾模型训练提速200倍
- ·谷歌云计算去年四季度营收同比大增44% 但与亚马逊差距依旧明显
- ·标签: 美光 Micron 存储器芯片 DRAM
- ·标签: 亿咖通 路特斯 ECX LOT
- ·抖音发布AIGC创作新规:严禁未经授权“换脸仿声”,强调真实消费体验
- ·标签: 百川智能 M3 Plus 海纳百川 证据锚定
- ·标签: Uber Blacklane UberElite 专车服务
- ·标签: 哪吒之魔童闹海 小米17 Ultra 鸿蒙系统 一汽丰田卡罗拉
- ·字节OmniHuman-1.5重磅发布!一张图+音频秒变超真实视频,AI数字人再进化!
- ·Fedora 社区推出 AI 辅助贡献政策草案,征求意见中
- ·标签: 极越汽车 上海集度 预重整 战略投资
- ·微软前董事长:CEO纳德拉赢得了成为董事长的权利
- ·标签: 创维 松下 OLED电视 全球战略合作
- ·影响苹果电池健康度的因素有哪些呢?
- ·标签: 适马 山木和人 CP+ 2026 光学制造
- ·双11大促:AI 引领潮流,即时零售崛起,海外市场成新战场!
