如何从huggingface上下载数据集和模型

说明

从huggingface上下载文件有2种方式，一种是直接登录后在网页上下载；一种是通过huggingface-cli命令下载。本文介绍的是第二种下载方式。

安装

对于huggingface-cli命令的下载直接通过pip命令安装即可：

pip install -U huggingface_hub[hub_transfer]

对于国内用户还可以通过设置镜像网站的方式加速下载：

#linux
export HF_ENDPOINT=https://hf-mirror.com
#windows
set HF_ENDPOINT=https://hf-mirror.com

使用方式

首先在需要在对应项目的huggingface页面中获得许可：

然后就可以使用命令行下载了：

#模型
huggingface-cli download --resume-download [1] --local-dir [2] --local-dir-use-symlinks False
#数据集
huggingface-cli download --repo-type dataset --resume-download [3] --local-dir [4] --local-dir-use-symlinks False --token hf_***

格式为：[1]和[3]表示项目的路径，格式为用户名/项目，比如mistralai/Mistral-7B-Instruct-v0.2表示的是mistralai下的7B instruct v0.2权重。[2]和[4]表示的是本地的保存地址。

需要的注意的是有些仓库需要登录才可以下载，形如–token hf_***为huggingface的token配置。token的生成需要在huggingface个人页面生成.

实例

这里给出mistral家族的模型下载命令作为参考。注意在使用下列的命令前需要在这里获取授权并在huggingface的个人页中获取token并替换下列hf_***字样。

huggingface-cli download --resume-download mistralai/Mistral-7B-v0.1 --local-dir Mistral-7B-v0.1 --token hf_***  --local-dir-use-symlinks False   

huggingface-cli download --resume-download mistralai/Mixtral-8x7B-v0.1 --local-dir Mixtral-8x7B-v0.1 --token hf_***  --local-dir-use-symlinks False

huggingface-cli download --resume-download mistralai/Mistral-7B-Instruct-v0.1 --local-dir Mistral-7B-Instruct-v0.1 --token hf_***  --local-dir-use-symlinks False

huggingface-cli download --resume-download mistralai/Mixtral-8x7B-Instruct-v0.1 --local-dir Mixtral-8x7B-Instruct-v0.1 --token hf_***  --local-dir-use-symlinks False

huggingface-cli download --resume-download mistralai/Mistral-7B-Instruct-v0.2 --local-dir Mistral-7B-Instruct-v0.2 --token hf_***  --local-dir-use-symlinks False

huggingface-cli download --resume-download mistralai/Mixtral-8x22B-v0.1 --local-dir Mixtral-8x22B-v0.1 --token hf_***  --local-dir-use-symlinks False

huggingface-cli download --resume-download mistralai/Mixtral-8x22B-Instruct-v0.1 --local-dir Mixtral-8x22B-Instruct-v0.1 --token hf_***  --local-dir-use-symlinks False

huggingface-cli download --resume-download mistralai/Mistral-7B-v0.3 --local-dir Mistral-7B-v0.3 --token hf_***  --local-dir-use-symlinks False   

huggingface-cli download --resume-download mistralai/Mistral-7B-Instruct-v0.3 --local-dir Mistral-7B-Instruct-v0.3 --token hf_***  --local-dir-use-symlinks False   

huggingface-cli download --resume-download mistralai/Codestral-22B-v0.1 --local-dir Codestral-22B-v0.1 --token hf_***  --local-dir-use-symlinks False   

reference

[1]https://hf-mirror.com/

[2]https://huggingface.co/