【Hive 实战】车辆联网数据存储与超速查询全流程（附代码 + 案例）

目录

一、Hive 在车辆数据处理中的应用背景

二、Hive 数据库与表的创建

三、数据上传与加载

四、Java 程序查询超速数据

五、结果验证与总结

一、Hive 在车辆数据处理中的应用背景

1. 需求与数据说明

（1）需求概念：车联网数据是车辆行驶过程中产生的结构化 / 半结构化信息，涵盖车速、位置、能耗等核心维度。Hive 作为基于 Hadoop 的分布式数据仓库工具，能够高效支撑海量车联网数据的存储、查询与分析，本次核心需求是通过 Hive 完成车辆超速数据的筛选与提取。

（2）数据字段说明：本次实战使用car.csv数据文件，核心字段如下表所示：

car.csv示例数据（5 行，含超速记录）：

2024/3/31 22:28,AB198562,100.5,116.403874,39.914885,85.0
2024/3/31 22:28,AB198562,103.3,116.404121,39.915012,85.5
2024/3/31 22:27,AB198562,101.5,116.404356,39.915128,85.2
2024/3/31 22:23,AB198562,102.1,116.404589,39.915234,85.1
2024/3/31 22:02,AB198562,101.5,116.404812,39.915345,85.3

2.环境准备

（1）环境概念：Hive 本身不存储数据，依赖 Hadoop 的 HDFS 完成分布式数据存储，依赖 YARN 完成分布式计算，需搭建完整的 Hadoop+Hive 生态环境才能实现海量数据处理能力。

（2）环境清单：

二、Hive 数据库与表的构建

1.数据库的创建

（1）数据库的概念：Hive 数据库是表的逻辑隔离容器，核心作用是划分业务数据域，避免不同业务场景下的表名冲突，同时支持精细化的权限管控，保障数据安全。

（2）创建数据库的操作案例场景：为区分车辆数据与其他业务数据，创建以 “db_car_个人学号” 命名的专属数据库（示例学号：20246030191）。

— 进入Hive命令行终端后执行创建语句
hive> create database db_car_20246030191;
OK
Time taken: 0.697 seconds

— 切换至目标数据库，后续操作均基于该库
hive> use db_car_20246030191;
OK
Time taken: 0.077 seconds

2.数据表的创建

（1）Hive 表的概念：Hive 表分为内部表和外部表，内部表的元数据与数据均由 Hive 管理，删除表会同步删除 HDFS 数据；外部表仅管理元数据，原始数据存储在 HDFS 指定路径，删除表不影响原始数据，更适合业务原始数据的存储场景。

（2）创建数据表的操作案例场景：基于car.csv的字段结构，创建外部表存储车辆原始数据，确保数据安全且便于后续复用。

hive> create external table if not exists car_20246030191 (
data_generate_time string comment , –数据生成时间
chassis_number string comment, –车辆底盘号
instrument_speed double comment , –仪表车速（km/h）
longitude double comment, –车辆经度
latitude double comment , –车辆纬度
water_temperature double comment, –车辆发动机水温
)
row format delimited fields terminated by ',' — 指定CSV字段分隔符为逗号
stored as textfile — 存储格式为文本文件
location '/user/hive/warehouse/car'; — 指定HDFS存储路径

表结构验证：执行desc car_20246030191;可查看表字段与类型，确认配置无误：

hive> desc car_20246030191;
OK
data_generate_time string
chassis_number string
longitude double
……（剩余字段略）
Time taken: 0.682 seconds, Fetched: 16 row(s)

三、车辆数据的上传与加载

1. 本地文件上传

操作说明：将本地电脑中的car.csv文件上传至 Linux Master 主机的/root目录，可通过两种方式实现：

• 方式 1：Linux 终端执行rz命令（需提前安装lrzsz工具），弹窗选择本地car.csv文件完成上传；
• 方式 2：使用 FTP 工具（如 FileZilla），通过 SFTP 协议连接 Linux 主机，将文件拖入/root目录。

2. 数据加载到 Hive 表

（1）数据加载的概念：Hive 的load命令是数据映射操作，不会复制数据到 Hive 仓库（除非指定overwrite），仅在元数据中记录数据的存储位置，保证数据存储效率。

（2）加载数据的操作案例场景：将 Linux 本地/root/car.csv文件加载至 Hive 表car_20246030191，实现数据与表的关联。

hive> load data local inpath '/root/car.csv' into table car_20246030191;
OK
Time taken: 17.581 seconds

说明：local关键字表示加载本地文件，若文件已上传至 HDFS，则无需该关键字，直接指定 HDFS 路径即可。

四、Java 程序实现超速数据查询

1. Maven 依赖配置

案例场景：通过 Maven 管理 Java 项目依赖，引入 Hive JDBC 驱动、Hadoop 客户端等核心依赖，确保程序能连接 Hive 并执行查询。执行代码（pom.xml）：

<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.car</groupId>
<artifactId>hive-car-query</artifactId>
<version>1.0-SNAPSHOT</version>

<properties>
<maven.compiler.source>8</maven.compiler.source>
<maven.compiler.target>8</maven.compiler.target>
</properties>

<dependencies>
<!– Hadoop客户端依赖：适配Hadoop集群交互 –>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>3.1.3</version>
</dependency>

<!– Hive JDBC驱动：核心连接依赖 –>
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-jdbc</artifactId>
<version>3.1.3</version>
<exclusions>
<exclusion>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
</exclusion>
</exclusions>
</dependency>

<!– 日志依赖：解决日志冲突问题 –>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
<version>1.7.30</version>
</dependency>
</dependencies>
</project>

2. Java 查询代码实现

（1）Hive JDBC 的概念：JDBC（Java Database Connectivity）是 Java 访问数据库的标准接口，Hive 提供专属 JDBC 驱动，支持 Java 程序通过类 SQL 语句操作 Hive 中的数据，是业务系统对接 Hive 的核心方式。

（2）Java 代码的编写案例场景：编写 Java 程序连接 Hive，执行 “仪表车速> 100” 的超速数据查询，并输出结果。

package com.car.query;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.Statement;

/**
* Hive车辆超速数据查询
* 核心功能：连接Hive，筛选仪表车速>100的车辆数据
*/
public class CarSpeedQuery {
public static void main(String[] args) {
// 定义Hive连接参数
String hiveDriver = "org.apache.hive.jdbc.HiveDriver";
String hiveUrl = "jdbc:hive2://192.168.122.5:10000/db_car_20246030191";
String hiveUser = "hive";
String hivePwd = ""; // 无密码则留空

Connection conn = null;
Statement stmt = null;
ResultSet rs = null;

try {
// 1. 加载Hive JDBC驱动
Class.forName(hiveDriver);

// 2. 建立Hive连接
conn = DriverManager.getConnection(hiveUrl, hiveUser, hivePwd);

// 3. 创建Statement对象执行SQL
stmt = conn.createStatement();
String querySql = "SELECT data_generate_time, chassis_number, instrument_speed " +
"FROM car_20246030191 " +
"WHERE instrument_speed > 100"; // 超速条件：车速>100

// 4. 执行查询并获取结果集
rs = stmt.executeQuery(querySql);

// 5. 遍历结果集并输出
System.out.println("=== 车辆超速数据查询结果 ===");
System.out.println("数据生成时间\\t\\t底盘号\\t\\t仪表车速(km/h)");
while (rs.next()) {
String generateTime = rs.getString("data_generate_time");
String chassisNum = rs.getString("chassis_number");
double speed = rs.getDouble("instrument_speed");
System.out.printf("%s\\t%s\\t%.1f\\n", generateTime, chassisNum, speed);
}

} catch (Exception e) {
e.printStackTrace();
} finally {
// 6. 关闭资源，避免内存泄漏
try {
if (rs != null) rs.close();
if (stmt != null) stmt.close();
if (conn != null) conn.close();
} catch (Exception e) {
e.printStackTrace();
}
}
}
}

五、结果验证与实战总结

1. 查询结果展示

（1）Java 程序输出结果：运行上述 Java 程序，控制台输出如下（示例）：

=== 车辆超速数据查询结果 ===

数据生成时间 底盘号 仪表车速(km/h)

2024/3/31 22:28 AB198562 100.5

2024/3/31 22:28 AB198562 103.3

2024/3/31 22:27 AB198562 101.5

2024/3/31 22:23 AB198562 102.1

2024/3/31 22:02 AB198562 101.5

（2）Hive 命令行验证结果：在 Hive 终端执行相同 SQL，结果如下表所示，与 Java 程序输出完全一致：

2. 实战总结

（1）技术层面总结

（2）业务层面升华

本次实战是车联网数据平台的基础落地环节，从技术落地到业务价值实现，可延伸出三大方向：

从技术角度看，本次案例验证了 Hive 在结构化数据处理中的核心价值；从业务角度看，该方案可快速复用到物流车队管理、网约车安全监控等场景，实现技术能力到业务价值的转化。