下面分享一下最近学到的HDFS的有关文件系统操作shell命令
一、创建文件夹
hadoop fs -mkdir [-p] <path> ... hdfs dfs -mkdir [-p] <path> ... #hadoop fs -mkdir -p /ijc/bigdata #hdfs fs -mkdir -p /jc/hadoop
二、查看指定目录下内容
hadoop fs -ls [-h] [-R] [<path> ...]
hdfs dfs -ls [-h] [-R] [<path> ...]
三、上传文件到HDFS指定目录下
hadoop fs -put [-f] [-p] <localsrc> ... <dst> hdfs dfs -put [-f] [-p] <localsrc> ... <dst> #hadoop fs -put words.txt /jc #hdfs dfs -put file:///etc/profile hdfs://node1:8020/jc
四、查看 HDFS文件内容
hadoop fs -cat <src> ... hdfs dfs -cat <src> ... #hadoop fs -cat /jc #hdfs dfs -cat /jc
如果文件较大，可以进行按页查询
hadoop fs -cat <src> | more
hdfs dfs -cat <src> | more
五、下载HDFS文件
hadoop fs -get [-f] [-p] <src> ... <localdst> hdfs dfs -get [-f] [-p] <src> ... <localdst> 下载文件到本地文件系统指定目录，localdst必须是目录 -f 覆盖目标文件（已存在下） -p 保留访问和修改时间，所有权和权限。
六、拷贝HDFS文件
hadoop fs -cp [-f] <src> ... <dst>
hdfs dfs -cp [-f] <src> ... <dst>
-f 覆盖目标文件（已存在下）
七、追加数据到HDFS文件中
hadoop fs -appendToFile <localsrc> ... <dst> hdfs dfs -appendToFile <localsrc> ... <dst> 将所有给定本地文件的内容追加到给定dst文件。 dst如果文件不存在，将创建该文件。 如果<localSrc>为-，则输入为从标准输入中读取。
八、HDFS数据移动操作
hadoop fs -mv <src> ... <dst> hdfs dfs -mv <src> ... <dst> 移动文件到指定文件夹下 可以使用该命令移动数据，重命名文件的名称
九、HDFS数据删除操作
hadoop fs -rm -r [-skipTrash] URI [URI ...] hdfs dfs -rm -r [-skipTrash] URI [URI ...] 删除指定路径的文件或文件夹 -skipTrash 跳过回收站，直接删除
回收站需要自己手动开启
在core-site.xml内配置
property> <name>fs.trash.interval</name> <value>1440</value> </property> <property> <name>fs.trash.checkpoint.interval</name> <value>120</value> </property>
总结
