Github Models - 免费的 AI 模型体验和评估平台

Github Models 是 Github 新增的一项 AI 相关的服务，从它的文档介绍（Find and experiment with AI models for free）可以了解到这是一项“免费”体验和评估大语言模型的平台。

如下图，Github Models 提供了一系列主流的大语言模型包括 gpt-4o、gpt-4o-mini、llama-3.1 405b、phi-3.5-mini-128k 等等，你可以在平台的 Playground 上直接与模型进行交互，也可以使用 OpenAI 或 Azure AI Inference SDK 以编程的方式体验。

平台对不同规格的 AI 模型设置了 Low、High、Embedding 三种类型的限制，不同类型的用户，相应的资源限制也有所不同。主要以每分钟请求数、每天的请求数、每次请求的输入输出 token 数、并发请求数这四个维度进行限制，以防止资源被滥用。

截止 2024-08-30 日，Github Models 的资源限制规则如下图：

目前 Github Models 还处于公共测试阶段，你可以访问 https://github.com/marketplace/models 申请加入等候名单。在 Github 用户中心首页右侧可以看到 Github Models 公测申请的图片，点击申请即可。

使用示例

当你的申请获得通过，即可回到 Marketplace 选择要体验的 AI 模型。

以 Meta-Llama-3.1-405B-Instruct 为例，在模型页面可以看到模型的介绍信息，建议关注一下右侧栏的 Rate limit tier 资源限制等级。

点击 Playgroud 即可直接在线与模型进行交互

切换到 Code 选项卡可以查看当前对话的底层代码，这些代码可以直接在本地复用。

也可以点击页面右上角的 Getting started 按钮查看其它语言和 SDK 的使用方法。

如果需要在本地通过 SDK 调用 Github Models 提供的 AI 模型，需要申请一个 Personal Access Token ，只要最基础的“公开仓库只读权限”即可，不需要分配任何其他权限。生成后就可以用这个 token 通过 SDK 去访问平台上的 AI 模型了。

总结

从 Github Models 的介绍不难看出，这是 Azure 商业产品的过渡服务，通过吸引 Github 上的开发者来体验和评估 AI 模型，进而引导一批有需求、有潜力的用户成为 Azure AI 的商业用户。