欢迎光临
我们一直在努力

在autodl服务器上从huggingface上下载模型,踩了很多坑

并1. 科学上网,一直连接超时

之前没连远程服务器的时候,科学上网是可以直接下载的,不知道为什么连了autodl上的服务器后一直显示连接超时

2. 换国内镜像

没有用py文件下载,而是直接用的下面的指令,然后再离线加载

这么做的原因:需要用GPU才能跑到下载模型的代码,下载又浪费时间,没办法用无卡模式

pip install -U huggingface_hub

export HF_ENDPOINT=https://hf-mirror.com

huggingface-cli download Salesforce/instructblip-flan-t5-xl \\ –local-dir /root/autodl-tmp \\ –local-dir-use-symlinks False 注:–resume-download 在较新版本中已默认启用,无需显式指定。

刚开始下载的还行,后面就很慢,干脆想着换个网络,就暂定了,继续用上面的指令时发现出现这样的问题

先用rm -rf /root/autodl-tmp/.cache/huggingface/download/*.lock

rm -rf /root/autodl-tmp/.cache/huggingface/download/*.incomplete

这两个命令删除锁文件和未完成的分片

再用

huggingface-cli download Salesforce/instructblip-flan-t5-xl \\ –local-dir /root/autodl-tmp \\ –local-dir-use-symlinks False (可以断点续传)<

赞(0)
未经允许不得转载:171主机测评 » 在autodl服务器上从huggingface上下载模型,踩了很多坑
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址