环境准备#
Google Colab#
Google Colab 是由 Google Research 开发的基于云的平台,可使用 Jupyter Notebook 编写和执行 Python 代码——所有操作都在网页浏览器中进行。旨在通过提供简便的设置和免费访问强大计算资源(如 GPU 和 TPU),来简化编程和数据分析。
计划 |
费用 |
硬件资源 |
会话时长 |
内存 |
适用场景 |
存储说明 |
---|---|---|---|---|---|---|
免费版 |
免费 |
GPU/TPU(通常为 Tesla K80,有时 T4 或 P100) |
大约 12 小时 |
约 12 GB |
学习、原型开发、小规模项目 |
笔记本自动保存至 Google Drive,运行时存储非持久化 |
Colab Pro |
$9.99/月 |
优先获取更高性能 GPU(如 T4/P100,有时可获得 V100) |
最长 24 小时 |
可选高内存,约 32 GB |
中大型项目、需要更高性能和更长连续运行时间 |
同免费版 |
Colab Pro+ |
$49.99/月 |
更高优先级、更丰富的计算单元,GPU 资源更优 |
最长 24 小时 |
可选高内存,约 52 GB |
对性能要求极高、长时间连续运行的复杂任务 |
提供更多磁盘空间(约 150 GB) |
基本使用教程:Overview of Colab
Googe Drive#
Google Drive 是 Google 提供的一项云存储服务,并提供了多种存储升级选项,以满足不同用户的需求。
方案 |
存储空间 |
费用 |
主要功能 |
---|---|---|---|
免费版 |
15 GB |
免费 |
基本文件存储、共享与协作,集成于 Google 生态系统 |
100 GB |
100 GB |
约 $1.99/月 |
增加存储空间,适合个人文件备份与跨设备同步 |
2 TB |
2 TB |
约 $9.99/月 |
大容量存储,适合家庭或专业用户、视频和照片备份 |
Hugging Face#
Hugging Face 是一家专注于自然语言处理(NLP)和人工智能(AI)的公司,广受全球开发者和研究者喜爱。其主要贡献包括:
Transformers 库: 一个开源的预训练模型库,支持多种语言模型,如 BERT、GPT、T5 等,极大地简化了 NLP 应用的开发流程。
数据集和工具: 提供了丰富的数据集和易用的工具,方便用户下载、共享和处理数据。
社区与协作: 构建了一个活跃的社区,促进了模型共享和技术交流,加速了 AI 领域的创新发展。
云服务: 除了开源工具外,Hugging Face 还提供模型部署和推理服务,使企业和开发者能够轻松将先进模型应用于生产环境。
计划 |
费用 |
主要功能描述 |
---|---|---|
免费版 |
免费 |
- 访问开源模型、数据集和 Transformers 库 |
专业版 (Pro) |
$9 美元/月 |
- 提供更多 API 调用额度 |
企业版 |
定制化报价 |
- 针对大规模商业应用提供定制化解决方案 |
配置 HF 的 Access Token#
登录 Hugging Face 帐号
打开 Hugging Face 官网 并使用您的帐号登录。进入账户设置
点击右上角的头像,然后选择 “Settings”(设置)。进入 Access Tokens 页面
在设置页面左侧菜单中找到 “Access Tokens” 选项并点击进入。生成新 Token
点击 “+Create new token” 按钮,为 Token 命名(例如 “colab_download”),选择适当的权限(通常选择 “read” 权限用于下载模型),然后点击 “Generate” 生成。复制 Token
生成后,复制显示的 Token。请注意,该 Token 出于安全考虑只会显示一次,之后需要重新生成。在 Google Colab 中使用 Token
您可以通过以下两种方式在 Colab 中使用该 Token: 1). 直接登录
在 Colab 中运行以下命令:!huggingface-cli login
在提示时粘贴刚才复制的 Token。 2). 设置环境变量
在 Colab Notebook 中执行以下代码:import os os.environ["HF_HOME"] = "/content/huggingface" os.environ["HF_TOKEN"] = "YOUR_ACCESS_TOKEN_HERE"