从0-1体验模型部署到评测

以下为mac电脑环境，window部分命令自行替换

1.首先python环境安装

推荐 3.9以上

2.创建python虚拟环境

# 创建虚拟环境
python3 -m venv venv
# 激活 ,激活后剩余base命令操作均需在虚拟环境中
source venv/bin/activate

当一切操作结束退出虚拟环境：

deactivate

3.安装评测框架

# 下载评测框架
git clone https://github.com/EleutherAI/lm-evaluation-harness
# 安装
cd lm-evaluation-harness
pip install -e .

4.小模型下载

可以在https://huggingface.co/ 上直接下载小模型到本地，也可以通过代码下载

以下载 gpt2 为例：

# 首先安装transformers
pip install transformers
# 其次安装 torch
pip install torch
# 在安装
pip install accelerate

# 全部安装完成后执行如下命令验证
python -c \”import torch; import transformers; import accelerate; print(\’All good!\’)\”

在python代码中下载gpt2模型

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = \”gpt2\” # 也可以是 \”EleutherAI/pythia-160m\”
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

这段代码会自动把模型权重下载到本地缓存 (~ ~/.cache/huggingface/transformers)。

常见问题1：执行报错：是没安装 PyTorch

安装命令(CPU版本)：

pip install torch torchvision torchaudio –index-url https://download.pytorch.org/whl/cpu

如果GPU（版本）

pip install torch torchvision torchaudio –index-url https://download.pytorch.org/whl/cu118

如果不确定显卡或驱动情况，先用 CPU 版本即可跑小模型，足够练手。

验证安装

在 Python 中执行：

import torch
print(torch.__version__)
print(torch.cuda.is_available())

输出类似：

2.1.0
False

说明 PyTorch 安装成功（CPU 可用，GPU 可选）。

常见问题2： 代码执行超时，是由于网络问题，最好使用国内镜像

import os
# 设置镜像源加速下载
os.env