Hadoop 与大数据技术考试重点复习提纲

第一部分：选择题与理论题高频考点 (对应资料一、二)

这部分主要考察对基本概念、组件功能和命令的记忆与理解。

第二部分：程序题与综合体核心考点 (对应资料三、四)

这部分侧重于流程理解和动手能力，需要能写出HQL、描述流程、完成简单的Java/Shell编程。

考点1：HiveQL (HQL) 编程 (对应例2)

• 建表：

  sql

  CREATE TABLE student (
  stu_no INT,
  stu_name STRING,
  stu_dept STRING,
  stu_age INT,
  stu_date STRING
  )
  ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' — 指定分隔符
  STORED AS TEXTFILE; — 指定存储格式

• 插入数据：

  sql

  INSERT INTO TABLE student VALUES
  (2221001,'张三','信息工程系',18,'2022-9-12'),
  (2321002,'李四','数科系',19,'2023-9-15'),
  (2321002,'王五','信息工程系',20,'2023-9-17');

• 条件查询与排序：

  sql

  SELECT * FROM student
  WHERE stu_date >= '2023-01-01'
  ORDER BY stu_age DESC; — 降序

• 分组统计：

  sql

  SELECT
  stu_dept,
  COUNT(*) AS student_count,
  AVG(stu_age) AS avg_age
  FROM student
  GROUP BY stu_dept;

考点2：HDFS 读写流程 (对应例3)

• 写入流程 (以500MB文件为例)：

• 客户端请求：客户端向NameNode发起写文件请求。

• 元数据检查：NameNode检查文件是否存在、权限等，通过后返回可写入的DataNode列表。

• 文件切分：客户端将500MB文件切分成数据块 (Block)。默认128MB/块，所以会被切成4个完整的块 (128M*4=512M，最后一个块大小为116M)。

• Pipeline (流水线) 复制：

  • 客户端将第一个Block发送给第一个DataNode。

  • 第一个DataNode接收一部分后，立即转发给第二个DataNode。

  • 第二个DataNode接收后，转发给第三个DataNode。

  • 数据以Packet包为单位在Pipeline中流动。

• 确认机制：

  • 每个DataNode成功写入一个Block后，会向NameNode发送块报告 (Block Report)。

  • 所有DataNode都确认写入成功后，客户端通知NameNode写入完成。

  • NameNode更新元数据，记录新文件的块与DataNode的映射关系。

• 读取流程：客户端向NameNode请求文件，NameNode返回文件所有块的位置信息（DataNode地址），客户端就近读取。

考点3：MapReduce 原理与 Shuffle (单词统计案例)

• 输入：student teacher student may can can may

• Map 阶段输出：<"student", 1>, <"teacher", 1>, <"student", 1>, <"may", 1>, <"can", 1>, <"can", 1>, <"may", 1>

• Shuffle 处理：对Map输出的键值对进行分区、排序、分组。结果为：<"can": [1, 1]>, <"may": [1, 1]>, <"student": [1, 1]>, <"teacher": [1]>

• Reduce 阶段输出：<"can", 2>, <"may", 2>, <"student", 2>, <"teacher", 1>

考点4：Hadoop 集群规划与部署

• 场景：1台Master (NameNode + ResourceManager)，2台Slave (DataNode + NodeManager)。

• 核心配置文件：core-site.xml, hdfs-site.xml, yarn-site.xml, mapred-site.xml, workers(或 slaves)。

• 关键步骤：

• 配置各文件。

• 格式化NameNode：hdfs namenode -format(仅首次执行)。

• 启动集群：start-dfs.sh(启动HDFS), start-yarn.sh(启动YARN)。

• 验证：使用 jps命令查看进程；访问Web UI (master:9870, master:8088)；运行一个简单的Hadoop示例程序（如WordCount）。

考点5：Java 调用 HDFS API

• 核心包：hadoop-common, hadoop-hdfs, hadoop-client。

• 核心类：org.apache.hadoop.fs.FileSystem。

• 核心代码片段 (下载文件)：

  java

  import org.apache.hadoop.conf.Configuration;
  import org.apache.hadoop.fs.*;
  import java.net.URI;

  public class HDFSDemo {
  public static void main(String[] args) {
  Configuration conf = new Configuration();
  try {
  // 1. 获取FileSystem实例
  FileSystem fs = FileSystem.get(new URI("hdfs://master:9000"), conf, "your_user");

  // 2. 定义路径
  Path hdfsPath = new Path("/user/hive/warehouse/sample.txt"); // HDFS源路径
  Path localPath = new Path("/home/user/downloads/"); // 本地目标路径

  // 3. 下载文件
  fs.copyToLocalFile(false, hdfsPath, localPath);

  System.out.println("File downloaded successfully!");
  fs.close();
  } catch (Exception ex) {
  ex.printStackTrace(); // 获取具体错误信息
  }
  }
  }

  • 上传：使用 fs.copyFromLocalFile(localPath, hdfsPath)。

考点6：Shell 批处理操作

• 创建目录：hdfs dfs -mkdir -p /user/test

• 判断并创建：hdfs dfs -test -d /user/test || hdfs dfs -mkdir -p /user/test

• 上传匹配的文件：hdfs dfs -put ./demo* /user/test/(将所有以demo开头的文件上传)

• 递归遍历：hdfs dfs -ls -R /user/test

• 统计文件数量：ls /aaa/bbb | wc -l

总结建议：