当前位置: 首页 > news >正文

hadoop的shell操作命令

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/xiaoyaGrace/article/details/103276776

1.hadoop fs -setrep 3  /            

修改 (/ 根目录下)原来所有文件的副本为3      对以后上传的文件没有影响 ,不会设置成副本为3;

2、hadoop fs -get  文件名    下载路径

下载文件

3、hadoop fs -put  文件名    上传路径

上传文件

4、hdfs getconf -confkey fs.defaultFS

查看hdfs主节点

5、hdfs getconf -confkey dfs.blocksize

查看设置分块大小

6、hdfs getconf -confkey dfs.replication

查看设置副本数

 

7、常用shell命令

选项名称 使用格式 含义
-ls -ls <路径> 查看指定路径的当前目录结构
-lsr -lsr <路径> 递归查看指定路径的目录结构
-du -du <路径> 统计目录下个文件大小
-dus -dus <路径> 汇总统计目录下文件(夹)大小
-count -count [-q] <路径> 统计文件(夹)数量
-mv -mv <源路径> <目的路径> 移动
-cp -cp <源路径> <目的路径> 复制
-rm -rm [-skipTrash] <路径> 删除文件/空白文件夹
-rmr -rmr [-skipTrash] <路径> 递归删除
-put -put <多个linux上的文件> <hdfs路径> 上传文件
-copyFromLocal -copyFromLocal <多个linux上的文件> <hdfs路径> 从本地复制
-moveFromLocal -moveFromLocal <多个linux上的文件> <hdfs路径> 从本地移动
-getmerge -getmerge <源路径> <linux路径> 合并到本地
-cat -cat <hdfs路径> 查看文件内容
-text -text <hdfs路径> 查看文件内容
-copyToLocal -copyToLocal [-ignoreCrc] [-crc] [hdfs源路径] [linux目的路径] 从本地复制
-moveToLocal -moveToLocal [-crc] <hdfs源路径> <linux目的路径> 从本地移动
-mkdir -mkdir <hdfs路径> 创建空白文件夹
-setrep -setrep [-R] [-w] <副本数> <路径> 修改副本数量
-touchz -touchz <文件路径> 创建空白文件
-stat -stat [format] <路径> 显示文件统计信息
-tail -tail [-f] <文件> 查看文件尾部信息
-chmod -chmod [-R] <权限模式> [路径] 修改权限
-chown -chown [-R] [属主][:[属组]] 路径 修改属主
-chgrp -chgrp [-R] 属组名称 路径 修改属组
-help -help [命令选项] 帮助

 

hdfs命令大全

hdfs常用命令:

第一部分:hdfs文件系统命令

第一类:文件路径增删改查系列:

hdfs dfs -mkdir dir  创建文件夹

hdfs dfs -rmr dir  删除文件夹dir

hdfs dfs -ls  查看目录文件信息

hdfs dfs -lsr  递归查看文件目录信息

hdfs dfs -stat path 返回指定路径的信息

 

第二类:空间大小查看系列命令:

hdfs dfs -du -h dir 按照适合阅读的形式人性化显示文件大小

hdfs dfs -dus uri  递归显示目标文件的大小

hdfs dfs -du path/file显示目标文件file的大小

 

第三类:权限管理类:

hdfs dfs -chgrp  group path  改变文件所属组

hdfs dfs -chgrp -R /dir  递归更改dir目录的所属组

hdfs dfs -chmod [-R] 权限 -path  改变文件的权限

hdfs dfs -chown owner[-group] /dir 改变文件的所有者

hdfs dfs -chown -R  owner[-group] /dir  递归更改dir目录的所属用户

 

第四类:文件操作(上传下载复制)系列:

hdfs dfs -touchz a.txt 创建长度为0的空文件a.txt

hdfs dfs -rm file   删除文件file

hdfs dfs -put file dir  向dir文件上传file文件

hdfs dfs -put filea dir/fileb 向dir上传文件filea并且把filea改名为fileb

hdfs dfs -get file dir  下载file到本地文件夹

hdfs dfs -getmerge hdfs://Master:9000/data/SogouResult.txt CombinedResult  把hdfs里面的多个文件合并成一个文件,合并后文件位于本地系统

hdfs dfs -cat file   查看文件file

hdfs fs -text /dir/a.txt  如果文件是文本格式,相当于cat,如果文件是压缩格式,则会先解压,再查看

hdfs fs -tail /dir/a.txt查看dir目录下面a.txt文件的最后1000字节

hdfs dfs -copyFromLocal localsrc path 从本地复制文件

hdfs dfs -copyToLocal /hdfs/a.txt /local/a.txt  从hdfs拷贝到本地

hdfs dfs -copyFromLocal /dir/source /dir/target  把文件从原路径拷贝到目标路径

hdfs dfs -mv /path/a.txt /path/b.txt 把文件从a目录移动到b目录,可用于回收站恢复文件

 

第五类:判断系列:

hdfs fs -test -e /dir/a.txt 判断文件是否存在,正0负1

hdfs fs -test -d /dir  判断dir是否为目录,正0负1

hdfs fs -test -z /dir/a.txt  判断文件是否为空,正0负1

 

第六类:系统功能管理类:

hdfs dfs -expunge 清空回收站

hdfs dfsadmin -safemode enter 进入安全模式

hdfs dfsadmin -sfaemode leave 离开安全模式

hdfs dfsadmin -decommission datanodename 关闭某个datanode节点

hdfs dfsadmin -finalizeUpgrade 终结升级操作

hdfs dfsadmin -upgradeProcess status 查看升级操作状态

hdfs version 查看hdfs版本

hdfs daemonlog -getlevel <host:port> <name>  打印运行在<host:port>的守护进程的日志级别

hdfs daemonlog -setlevel <host:port> <name> <level>  设置运行在<host:port>的守护进程的日志级别

hdfs dfs -setrep -w 副本数 -R path 设置文件的副本数

 

第二部分:运维命令

start-dfs.sh   启动namenode,datanode,启动文件系统

stop-dfs.sh   关闭文件系统

start-yarn.sh  启动resourcemanager,nodemanager

stop-yarn.sh  关闭resourcemanager,nodemanager

start-all.sh    启动hdfs,yarn

stop-all.sh    关闭hdfs,yarn

hdfs-daemon.sh start datanode  单独启动datanode

start-balancer.sh -t 10% 启动负载均衡,尽量不要在namenode节点使用

hdfs namenode -format  格式化文件系统

hdfs namenode -upgrade  分发新的hdfs版本之后,namenode应以upgrade选项启动

hdfs namenode -rollback  将namenode回滚到前一版本,这个选项要在停止集群,分发老的hdfs版本之后执行

hdfs namenode -finalize  finalize会删除文件系统的前一状态。最近的升级会被持久化,rollback选项将再不可用,升级终结操作之后,它会停掉namenode,分发老的hdfs版本后使用

hdfs namenode importCheckpoint 从检查点目录装载镜像并保存到当前检查点目录,检查点目录由fs.checkpoint.dir指定

 

第三部分:mapreduce命令

hdfs jar file.jar 执行jar包程序

hdfs job -kill job_201005310937_0053  杀死正在执行的jar包程序

hdfs job -submit <job-file>  提交作业

hdfs job -status <job-id>   打印map和reduce完成百分比和所有计数器。

hdfs job -counter <job-id> <group-name> <counter-name>  打印计数器的值。

hdfs job -kill <job-id>  杀死指定作业。

hdfs job -events <job-id> <from-event-#> <#-of-events> 打印给定范围内jobtracker接收到的事件细节。

hdfs job -history [all] <jobOutputDir>     

hdfs job -history <jobOutputDir> 打印作业的细节、失败及被杀死原因的细节。更多的关于一个作业的细节比如成功的任务,做过的任务尝试等信息可以通过指定[all]选项查看。

hdfs job -list [all]  显示所有作业。-list只显示将要完成的作业。

hdfs job -kill -task <task-id>   杀死任务。被杀死的任务不会不利于失败尝试。

hdfs job -fail -task <task-id>   使任务失败。被失败的任务会对失败尝试不利。

 

第四部分:hdfs系统检查工具fsck

hdfs fsck <path> -move    移动受损文件到/lost+found

hdfs fsck <path> -delete   删除受损文件。

hdfs fsck <path> -openforwrite   打印出写打开的文件。

hdfs fsck <path> -files     打印出正被检查的文件。

hdfs fsck <path> -blocks     打印出块信息报告。

hdfs fsck <path> -locations     打印出每个块的位置信息。

hdfs fsck <path> -racks    打印出data-node的网络拓扑结构。

 

第五部分:运行pipies作业

hdfs pipes -conf <path> 作业的配置

hdfs pipes -jobconf <key=value>, <key=value>, ...  增加/覆盖作业的配置项

hdfs pipes -input <path>  输入目录

hdfs pipes -output <path> 输出目录

hdfs pipes -jar <jar file> Jar文件名

hdfs pipes -inputformat <class> InputFormat类

hdfs pipes -map <class> Java Map类

hdfs pipes -partitioner <class> Java Partitioner

hdfs pipes -reduce <class> Java Reduce类

hdfs pipes -writer <class> Java RecordWriter

hdfs pipes -program <executable> 可执行程序的URI

hdfs pipes -reduces <num> reduce个数

 

相关文章:

  • 读写分离很难吗?springboot结合aop简单就实现了
  • 瞭望|工业软件之忧
  • 别再瞎猜了!“携号转网”后谁是赢家?看完这篇便知晓...
  • 安卓ssss定位
  • SpringBoot 导出 Excel
  • 剑指offer第14题:链表中倒数第k个结点
  • CodeBlocks运行程序时弹出360等杀毒软件木马拦截警告提醒
  • 金鸡百花电影节星光熠熠,成龙走红毯和机器人过招
  • 条款10:令operator=返回一个reference to *this——82
  • namenode: Unknown command
  • git 命令收集
  • HDU 1000.A + B Problem:~scanf("%d%d",&a,&b)表示什么意思 输入字母字符为什么会进入死循环
  • Docker Images: 构建单机版 Spark 镜像,解决第三方 Jar 包的依赖问题
  • mybatis缓存
  • 夜光带你走进C# 游戏开发等(八十四)擅长的领域
  • 阅读笔记(TIP2019)Subjective and Objective Quality Assessment of Stitched Images for Virtual Reality
  • 国标GB/T28181协议下EasyGBS互联网无插件视频播放器起播慢或延迟高问题解决方案
  • (C语言)求1-n的阶乘之和
  • 如何在centos7上搭建自己的项目
  • Android-Universal-Image-Loader源码分析