欢迎光临
我们一直在努力

AI大模型使用GPU加速(python、CUDA、pytorch)

一、下载CUDA工具         

第一步:确定当前系统环境(关键!)

首先,我们需要知道您现有的配置,以便选择正确版本的 CUDA。

  • 查看显卡驱动版本: 再次运行 nvidia-smi 命令,记下最上方显示的 Driver Version(驱动程序版本)。例如:515.48.07。 CUDA 版本需要与驱动程序版本兼容。

  • 查看操作系统信息: 按 Win + R 键,输入 winver 并回车,确认您的 Windows 版本(如 Windows 11 )。


  • 第二步:访问官方下载页面

    访问 NVIDIA 官方 CUDA 工具箱下载页面,这是最安全可靠的来源: https://developer.nvidia.com/cuda-downloads


    第三步:选择并下载安装包

    在官网页面,按以下步骤选择:

  • Operating System: 选择 Windows。
  • Architecture: 选择 x86_64。
  • Version: 选择您的 Windows 版本(如 Windows 11)。
  • Installer Type: 强烈推荐选择 exe (local)。这是离线安装包,更稳定,不易因网络问题中断。
  • CUDA Version: 这是最关键的选择!
    • 最佳选择:选择页面推荐的最新版本(如 CUDA 12.x)。通常最新的稳定版兼容性最好。
    • 保守选择:如果 OLLAMA 或您要用的其他AI工具有特定要求,请按其文档选择指定版本(如 CUDA 11.8)。但通常最新版没问题。
  • 点击 "Download" 开始下载。安装包较大(约 2-3 GB)。


    第四步:安装 CUDA 工具箱

  • 右键点击下载好的 .exe 安装文件,选择 “以管理员身份运行”。
  • 安装程序会先解压到一个临时目录。
  • 在安装选项中,强烈建议选择 自定义 安装,而不是“精简”安装。
    • 这样可以避免安装程序可能覆盖您现有的、更新的显卡驱动。
  • 在自定义安装的组件列表中:
    • 务必勾选 CUDA 下的所有组件(尤其是 CUDA Tools、CUDA Samples 等)。
    • 仔细查看 Driver components 部分。如果其版本号低于您第一步中查到的当前驱动版本,请务必取消勾选这一项。如果相同或更高,则可以保留勾选。这一步是避免驱动冲突的关键!
  • 点击下一步,完成安装。安装时间可能较长。
  • 第五步:查看 CUDA 安装情况

    # 查看 CUDA 版本
    nvcc –version

    # 或查看 CUDA 安装路径
    where nvcc

    二、下载python3.11版本  

            第一步:下载

    Python Release Python 3.11.9 | Python.org

            第二步:安装         

  • 运行安装程序: 双击下载好的 python-3.11.x-amd64.exe 文件。

  • 关键步骤:勾选 "Add Python to PATH"! 在安装向导的第一个界面,务必勾选最下方的 "Add python.exe to PATH" 复选框。这一步非常重要,它可以让你在命令提示符(CMD)或 PowerShell 中直接输入 python 命令。

  • 选择安装方式:

    立即安装:使用默认设置安装。 自定义安装:允许您更改安装路径和功能。对于初学者,建议直接点击 "Install Now"。

  • 完成安装: 等待安装完成,看到 "Setup was successful" 提示即表示安装成功。

  • 验证安装: 打开一个新的命令提示符(CMD) 或 PowerShell,输入以下命令:

  • python –version

    如果安装成功,你会看到输出:Python 3.11.x

    如果提示 "python 不是内部或外部命令",说明没有正确添加到 PATH。请重新运行安装程序,确保勾选了 "Add Python to PATH"。

    三、下载支持 GPU 的 PyTorch 版本  

    选择一:安装最新的稳定版(推荐大多数用户)

    这是最简单、最推荐的方法,兼容性最好。

    使用 pip 安装(最通用):

    pip3 install torch torchvision torchaudio –index-url https://download.pytorch.org/whl/cu121

    注意:此命令针对的 CUDA 12.x 版本。

    使用 conda 安装(如果您使用 Anaconda 或 Miniconda):

    conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

    选择二:根据您已安装的 CUDA 版本选择(更精确)

    如果您已经按照之前的步骤成功安装了 CUDA,请根据您的 CUDA 版本选择对应的命令:

    1.CUDA 12.1

    pip3 install torch torchvision torchaudio –index-url https://download.pytorch.org/whl/cu121

    2.CUDA 11.8

    pip3 install torch torchvision torchaudio –index-url https://download.pytorch.org/whl/cu118

    3.CPU 版本 如果您尚未安装 CUDA 或希望强制使用 CPU(作为备选方案):

    pip3 install torch torchvision torchaudio –index-url https://download.pytorch.org/whl/cpu

    四、验证安装

    打开 Python 解释器或创建一个新的 Python 脚本(如 test_gpu.py)。

    逐行输入或写入以下代码并运行:

    import torch

    # 1. 检查 PyTorch 版本
    print(f"PyTorch 版本: {torch.__version__}")

    # 2. 检查 CUDA 是否可用(这是最关键的一步!)
    print(f"CUDA 是否可用: {torch.cuda.is_available()}")

    # 3. 如果 CUDA 可用,查看 CUDA 版本和显卡数量
    if torch.cuda.is_available():
    print(f"CUDA 版本: {torch.version.cuda}")
    print(f"可用的 GPU 数量: {torch.cuda.device_count()}")
    print(f"当前 GPU 名称: {torch.cuda.get_device_name(0)}")

    # 4. 进行一个简单的张量运算测试
    # 在 CPU 上创建一个张量
    cpu_tensor = torch.tensor([1.0, 2.0, 3.0])
    print(f"张量在: {cpu_tensor.device}") # 应该输出 'cpu'

    # 将张量移动到 GPU 上
    gpu_tensor = cpu_tensor.cuda()
    print(f"张量在: {gpu_tensor.device}") # 应该输出 'cuda:0'

    # 在 GPU 上进行计算
    result = gpu_tensor * 2
    print(f"计算结果: {result}")
    else:
    print("警告: 未检测到可用的 CUDA GPU。PyTorch 将仅在 CPU 模式下运行。")

    运行结果  

    PyTorch 版本: 2.5.1+cu121
    CUDA 是否可用: True
    CUDA 版本: 12.1
    可用的 GPU 数量: 1
    当前 GPU 名称: NVIDIA GeForce RTX ****
    张量在: cpu
    张量在: cuda:0
    计算结果: tensor([2., 4., 6.], device='cuda:0')

    如果返回 True,恭喜您!您已成功安装支持 GPU 的 PyTorch。

    故障排除

    • torch.cuda.is_available() 返回 False?

      • 最常见原因:您安装的 PyTorch 版本与您系统上的 CUDA 版本不匹配。请回到 PyTorch 官网,确保根据您 nvidia-smi 中显示的 CUDA 版本选择正确的安装命令。
      • 其他原因:CUDA 驱动未正确安装,或显卡太老不支持当前 CUDA 版本。
    • 安装过程缓慢或中断?

      • 可以考虑使用国内镜像源加速下载(如清华镜像)。使用 -i 参数:

    pip3 install torch torchvision torchaudio –index-url https://download.pytorch.org/whl/cu121 -i https://pypi.tuna.tsinghua.edu.cn/simple

    赞(0)
    未经允许不得转载:171主机测评 » AI大模型使用GPU加速(python、CUDA、pytorch)
    分享到: 更多 (0)

    评论 抢沙发

    • 昵称 (必填)
    • 邮箱 (必填)
    • 网址