环境准备#

Google Colab#

Google Colab 是由 Google Research 开发的基于云的平台,可使用 Jupyter Notebook 编写和执行 Python 代码——所有操作都在网页浏览器中进行。旨在通过提供简便的设置和免费访问强大计算资源(如 GPU 和 TPU),来简化编程和数据分析。

计划

费用

硬件资源

会话时长

内存

适用场景

存储说明

免费版

免费

GPU/TPU(通常为 Tesla K80,有时 T4 或 P100)

大约 12 小时

约 12 GB

学习、原型开发、小规模项目

笔记本自动保存至 Google Drive,运行时存储非持久化

Colab Pro

$9.99/月

优先获取更高性能 GPU(如 T4/P100,有时可获得 V100)

最长 24 小时

可选高内存,约 32 GB

中大型项目、需要更高性能和更长连续运行时间

同免费版

Colab Pro+

$49.99/月

更高优先级、更丰富的计算单元,GPU 资源更优

最长 24 小时

可选高内存,约 52 GB

对性能要求极高、长时间连续运行的复杂任务

提供更多磁盘空间(约 150 GB)

基本使用教程:Overview of Colab

Googe Drive#

Google Drive 是 Google 提供的一项云存储服务,并提供了多种存储升级选项,以满足不同用户的需求。

方案

存储空间

费用

主要功能

免费版

15 GB

免费

基本文件存储、共享与协作,集成于 Google 生态系统

100 GB

100 GB

约 $1.99/月

增加存储空间,适合个人文件备份与跨设备同步

2 TB

2 TB

约 $9.99/月

大容量存储,适合家庭或专业用户、视频和照片备份

Hugging Face#

Hugging Face 是一家专注于自然语言处理(NLP)和人工智能(AI)的公司,广受全球开发者和研究者喜爱。其主要贡献包括:

  • Transformers 库: 一个开源的预训练模型库,支持多种语言模型,如 BERT、GPT、T5 等,极大地简化了 NLP 应用的开发流程。

  • 数据集和工具: 提供了丰富的数据集和易用的工具,方便用户下载、共享和处理数据。

  • 社区与协作: 构建了一个活跃的社区,促进了模型共享和技术交流,加速了 AI 领域的创新发展。

  • 云服务: 除了开源工具外,Hugging Face 还提供模型部署和推理服务,使企业和开发者能够轻松将先进模型应用于生产环境。

计划

费用

主要功能描述

免费版

免费

- 访问开源模型、数据集和 Transformers 库
- 适合个人用户和小规模项目
- API 调用、私有模型托管和推理服务有一定限制

专业版 (Pro)

$9 美元/月

- 提供更多 API 调用额度
- 更高的推理性能
- 支持私有模型托管
- 适合开发者和小团队

企业版

定制化报价

- 针对大规模商业应用提供定制化解决方案
- 包括专属支持、高级安全性和扩展功能

配置 HF 的 Access Token#

  1. 登录 Hugging Face 帐号
    打开 Hugging Face 官网 并使用您的帐号登录。

  2. 进入账户设置
    点击右上角的头像,然后选择 “Settings”(设置)。

  3. 进入 Access Tokens 页面
    在设置页面左侧菜单中找到 “Access Tokens” 选项并点击进入。

  4. 生成新 Token
    点击 “+Create new token” 按钮,为 Token 命名(例如 “colab_download”),选择适当的权限(通常选择 “read” 权限用于下载模型),然后点击 “Generate” 生成。

  5. 复制 Token
    生成后,复制显示的 Token。请注意,该 Token 出于安全考虑只会显示一次,之后需要重新生成。

  6. 在 Google Colab 中使用 Token
    您可以通过以下两种方式在 Colab 中使用该 Token: 1). 直接登录
    在 Colab 中运行以下命令:

    !huggingface-cli login
    

    在提示时粘贴刚才复制的 Token。 2). 设置环境变量
    在 Colab Notebook 中执行以下代码:

    import os
    os.environ["HF_HOME"] = "/content/huggingface"
    os.environ["HF_TOKEN"] = "YOUR_ACCESS_TOKEN_HERE"