[深度学习*]基于W&B Sweeps的泰坦尼克号生存预测超参数调优实战

引言

在机器学习项目中，超参数调优是提升模型性能的关键步骤，但手动尝试不同组合不仅效率低下，且难以追踪和复现。Weights & Biases（W&B）Sweeps提供了一套强大的自动化超参数优化解决方案，能够系统性地搜索参数空间、并行运行实验并直观对比结果。本文将以经典的泰坦尼克号生存预测数据集为例，演示如何利用W&B Sweeps对梯度提升树模型（以LightGBM为例）进行端到端的超参数调优，涵盖从环境配置、参数定义、训练脚本编写到结果分析的完整流程。

一、环境准备与数据加载

首先，需要安装必要的库并登录W&B账户以启用实验跟踪功能。W&B Sweeps的运行依赖于一个定义好的训练脚本和一个描述搜索策略的配置文件。

# 步骤1：安装依赖并初始化W&B
!pip install wandb lightgbm scikit–learn pandas numpy –q
import wandb
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
import lightgbm as lgb
# 登录W&B（首次运行需要在命令行执行 wandb login）
wandb.login()

接下来，加载并预处理泰坦尼克号数据集。预处理步骤包括处理缺失值、对分类特征进行编码以及划分训练集和验证集。

# 步骤2：数据加载与预处理
def load_and_preprocess_data():
# 此处假设数据已下载为 train.csv
df = pd.read_csv('train.csv')

# 处理缺失值：年龄用中位数填充，登船港口用众数填充
df['Age'].fillna(df['Age'].median(), inplace=True)
df['Embarked'].fillna(df['Embarked'].mode()[0], inplace=True)
df['Fare'].fillna(df['Fare'].median(), inplace=True)

# 特征工程：提取称呼、家庭大小等
df['Title'] = df['Name'].str.extract(' ([A-Za-z]+)\\.', expand=False)
df['FamilySize'] = df['SibSp'] + df['Parch'] + 1

# 对分类特征进行标签编码
from sklearn.preprocessing import LabelEncoder
le = LabelEncoder()
for col in ['Sex', 'Embarked', 'Title']:
df[col] = le.fit_transform(df[col].astype(str))

# 选择特征并定义目标变量
features = ['Pclass', 'Sex', 'Age', 'SibSp', 'Parch', 'Fare', 'Embarked', 'Title', 'FamilySize']
X = df[features]
y = df['Survived']

# 划分训练集和验证集
X_train, X_val, y_train, y_val = train_test_split(X, y, test_size=0.2, random_state=42)
return X_train, X_val, y_train, y_val
X_train, X_val, y_train, y_val = load_and_preprocess_data()

二、定义训练脚本与超参数配置训练

脚本是Sweeps的核心，它定义了模型训练的逻辑，并接收来自Sweep Controller的超参数。脚本中需要包含W&B的初始化和日志记录。

# 步骤3：定义训练脚本 (train.py 核心部分)
def train():
# 初始化一个W&B运行
run = wandb.init()

# 从 wandb.config 中获取超参数
config = wandb.config
params = {
'objective': 'binary',
'metric': 'binary_logloss',
'boosting_type': 'gbdt',
'num_leaves': config.num_leaves,
'learning_rate': config.learning_rate,
'feature_fraction': config.feature_fraction,
'bagging_fraction': config.bagging_fraction,
'bagging_freq': config.bagging_freq,
'min_child_samples': config.min_child_samples,
'verbose': –1
}

# 创建LightGBM数据集
train_data = lgb.Dataset(X_train, label=y_train)
val_data = lgb.Dataset(X_val, label=y_val, reference=train_data)

# 训练模型
model = lgb.train(params,
train_data,
num_boost_round=config.num_boost_round,
valid_sets=[val_data],
callbacks=[lgb.early_stopping(stopping_rounds=20)])

# 在验证集上预测并计算准确率
y_pred = (model.predict(X_val) > 0.5).astype(int)
accuracy = accuracy_score(y_val, y_pred)

# 将关键指标记录到W&B
wandb.log({'val_accuracy': accuracy,
'best_iteration': model.best_iteration})

# 可选：保存模型
model.save_model(f'model_{run.id}.txt')
run.finish()

三、配置Sweep并启动超参数搜索

Sweep的配置决定了超参数的搜索空间、搜索方法（如随机搜索、贝叶斯优化）和优化目标。配置通常以YAML或Python字典形式定义。

# 步骤4：Sweep配置文件 (sweep_config.yaml)
program: train.py
method: bayes # 使用贝叶斯优化进行智能搜索
metric:
name: val_accuracy
goal: maximize # 目标是最大化验证集准确率
parameters:
num_leaves:
values: [15, 31, 63, 127]
learning_rate:
distribution: log_uniform
min: -6.9 # 对应约0.001
max: -2.3 # 对应约0.1
feature_fraction:
values: [0.6, 0.7, 0.8, 0.9, 1.0]
bagging_fraction:
values: [0.6, 0.7, 0.8, 0.9, 1.0]
bagging_freq:
values: [3, 5, 7]
min_child_samples:
values: [5, 10, 20, 30]
num_boost_round:
values: [50, 100, 200]

在Python中，可以直接用字典定义配置并启动Sweep。

# 步骤5：在Python中定义并启动Sweep
sweep_config = {
'method': 'bayes',
'metric': {
'name': 'val_accuracy',
'goal': 'maximize'
},
'parameters': {
'num_leaves': {'values': [15, 31, 63, 127]},
'learning_rate': {'distribution': 'log_uniform', 'min': –6.9, 'max': –2.3},
'feature_fraction': {'values': [0.6, 0.7, 0.8, 0.9, 1.0]},
'bagging_fraction': {'values': [0.6, 0.7, 0.8, 0.9, 1.0]},
'bagging_freq': {'values': [3, 5, 7]},
'min_child_samples': {'values': [5, 10, 20, 30]},
'num_boost_round': {'values': [50, 100, 200]}
}
}
# 创建Sweep
sweep_id = wandb.sweep(sweep_config, project='titanic-sweeps')
print(f"Sweep ID: {sweep_id}")
# 启动Sweep代理，运行10次实验
wandb.agent(sweep_id, function=train, count=10)

四、结果分析与最佳模型选取

所有实验运行完毕后，可以在W&B的Web界面中直观地比较不同超参数组合的性能。通过平行坐标图、超参数重要性图等工具，可以分析出哪些参数对模型性能影响最大，并选出最佳配置。

# 步骤6：分析结果并获取最佳超参数组合
api = wandb.Api()
sweep = api.sweep(f"your-username/titanic-sweeps/{sweep_id}")
# 获取所有运行并按验证准确率排序
runs = sorted(sweep.runs, key=lambda run: run.summary.get('val_accuracy', 0), reverse=True)
best_run = runs[0]
print(f"最佳运行ID: {best_run.id}")
print(f"最佳验证准确率: {best_run.summary['val_accuracy']:.4f}")
print("最佳超参数组合:")
for key, value in best_run.config.items():
if key in sweep_config['parameters']:
print(f" {key}: {value}")
# 使用最佳超参数重新训练最终模型
best_params = {k: v for k, v in best_run.config.items() if k in sweep_config['parameters']}
# … 用 best_params 训练最终模型并评估

五、总结与最佳实践

通过本次实战，我们展示了W&B Sweeps在自动化超参数调优中的强大能力。其核心优势在于将实验过程标准化、可视化，并支持高效的搜索策略。结合泰坦尼克号数据集，我们验证了LightGBM模型通过调优后性能的提升潜力。在实际应用中，建议遵循以下最佳实践：1) 首先进行小范围的随机搜索以确定有希望的区域；2) 再利用贝叶斯优化进行精细搜索；3) 始终在独立的测试集上评估最终模型，避免因在验证集上过度调优而导致过拟合 2。W&B Sweeps与MLflow等工具的结合，可以进一步构建完整的MLOps流水线，实现从实验到部署的全生命周期管理 1。
​

知识点回顾

W&B Sweeps :

是一个自动化超参数调优的工具，通过系统性地探索如学习率、批量大小等超参数的组合，来找到使模型性能最优的那一组，从而取代手动低效的调参过程。

搜索策略

网格搜索：穷举所有参数组合（确定性）。只在超参数极少时才用，否则计算量会指数增长。例如同时遍历 learn_rate:[0.01, 0.1] 与 batch_size:[16,32] 的4种组合。
随机搜索：在参数空间中随机采样（随机性）。通常效率更高，尤其适合不确定性高或包含不重要的参数时。例如在 0.001~0.1 范围内随机取样。
贝叶斯搜索：基于过往结果构建概率模型，推测高性能参数区域（自适应）。能够用最少尝试找到最优值，特别适合优化成本高的场景，是众多场景下的首选方法，但不太适合极高维度参数。

Baseline
写配置文件

YAML 文件 method: bayes metric: {name: val_acc, goal: maximize} parameters: lr: {min: 0.0001, max: 0.1} bs: {values: [16, 32]} wandb sweep sweep.yaml

Python 字典 sweep_config = { “method”: “bayes”, “metric”: {“name”: “val_acc”, “goal”: “maximize”}, “parameters”: { “lr”: {“min”: 0.0001, “max”: 0.1}, “bs”: {“values”: [16, 32]} } } wandb.agent(sweep_id, function=train, count=20)
写训练函数

import wandb

def train():

wandb.init()

config = wandb.config # 接收超参数

# … 用 config.lr, config.bs 训练模型

wandb.log({"val_acc": accuracy}) # 上报目标指标给 Controller

创建账号

启动命令：在终端创建 Sweep 并获取 sweep_id，再启动 Agent。

设置早停机制

设置试验次数：推荐使用 count 参数限制最大运行次数，避免无限执行。

附录：完整代码示例
以下是将上述步骤整合后的完整可执行脚本框架。

"""
titanic_wandb_sweep_complete.py
泰坦尼克号生存预测 – W&B Sweeps端到端调优完整示例
"""
import wandb
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import LabelEncoder
from sklearn.metrics import accuracy_score
import lightgbm as lgb
# ——————– 数据预处理函数 ——————–
def load_and_preprocess_data():
df = pd.read_csv('train.csv')
# … (预处理代码同前)
return X_train, X_val, y_train, y_val
# ——————– 训练函数（供Sweep调用）——————-
def train():
run = wandb.init()
config = wandb.config
# … (训练与评估代码同前)
run.finish()
# ——————– 主程序入口 ——————–
if __name__ == '__main__':
# 1. 加载数据
X_train, X_val, y_train, y_val = load_and_preprocess_data()

# 2. 定义Sweep配置
sweep_config = {
'method': 'bayes',
'metric': {'name': 'val_accuracy', 'goal': 'maximize'},
'parameters': {
'num_leaves': {'values': [15, 31, 63, 127]},
'learning_rate': {'distribution': 'log_uniform', 'min': –6.9, 'max': –2.3},
'feature_fraction': {'values': [0.6, 0.7, 0.8, 0.9, 1.0]},
'bagging_fraction': {'values': [0.6, 0.7, 0.8, 0.9, 1.0]},
'bagging_freq': {'values': [3, 5, 7]},
'min_child_samples': {'values': [5, 10, 20, 30]},
'num_boost_round': {'values': [50, 100, 200]}
}
}

# 3. 初始化并启动Sweep
sweep_id = wandb.sweep(sweep_config, project='titanic-sweeps-demo')
wandb.agent(sweep_id, function=train, count=15)

print("Sweep 完成！请前往W&B控制台查看结果。")