跳到主要内容

HDFS命令行操作

HDFS（Hadoop Distributed File System）是Hadoop生态系统中的分布式文件系统，设计用于存储大规模数据集并提供高吞吐量的数据访问。HDFS命令行工具是管理HDFS文件系统的主要方式之一，它允许用户通过简单的命令来执行文件操作。

介绍​

HDFS命令行工具提供了类似于Linux文件系统的操作命令，如ls、mkdir、put、get等。通过这些命令，用户可以方便地在HDFS上进行文件管理。本文将逐步介绍如何使用这些命令，并通过实际案例展示其应用场景。

基本命令​

1. 查看HDFS文件列表​

使用hdfs dfs -ls命令可以查看HDFS中的文件和目录列表。

bash
hdfs dfs -ls /user/hadoop

输出示例：

Found 2 items
drwxr-xr-x   - hadoop supergroup          0 2023-10-01 12:34 /user/hadoop/dir1
-rw-r--r--   1 hadoop supergroup       1024 2023-10-01 12:35 /user/hadoop/file1.txt

2. 创建目录​

使用hdfs dfs -mkdir命令可以在HDFS中创建目录。

bash
hdfs dfs -mkdir /user/hadoop/newdir

3. 上传文件到HDFS​

使用hdfs dfs -put命令可以将本地文件上传到HDFS。

bash
hdfs dfs -put localfile.txt /user/hadoop/newdir/

4. 下载文件到本地​

使用hdfs dfs -get命令可以将HDFS中的文件下载到本地。

bash
hdfs dfs -get /user/hadoop/newdir/localfile.txt ./localfile_downloaded.txt

5. 删除文件或目录​

使用hdfs dfs -rm命令可以删除HDFS中的文件或目录。

bash
hdfs dfs -rm /user/hadoop/newdir/localfile.txt
备注

删除目录时，需要使用-r选项递归删除目录及其内容。

bash
hdfs dfs -rm -r /user/hadoop/newdir

实际案例​

案例1：批量上传日志文件​

假设你有一批日志文件需要上传到HDFS进行存储和分析。你可以使用以下命令将本地目录中的所有日志文件上传到HDFS。

bash
hdfs dfs -put /local/logs/* /user/hadoop/logs/

案例2：定期清理旧数据​

为了节省存储空间，你可能需要定期清理HDFS中的旧数据。以下命令可以删除7天前的日志文件。

bash
hdfs dfs -rm -r /user/hadoop/logs/$(date -d "7 days ago" +%Y-%m-%d)

总结​

通过本文，你已经学习了如何使用HDFS命令行工具进行基本的文件操作，包括查看文件列表、创建目录、上传和下载文件、删除文件等。这些命令是管理HDFS文件系统的基础，掌握它们将帮助你更高效地处理大数据任务。

附加资源​

练习​

  1. 使用hdfs dfs -ls命令查看HDFS根目录下的文件和目录。
  2. 创建一个名为/user/hadoop/exercise的目录，并上传一个本地文件到该目录。
  3. 下载刚刚上传的文件到本地，并验证文件内容是否一致。
  4. 删除/user/hadoop/exercise目录及其内容。

通过完成这些练习，你将进一步巩固对HDFS命令行操作的理解。