在 LobeChat 中使用 Groq

Groq 的 LPU 推理引擎在最新的独立大语言模型（LLM）基准测试中表现卓越，以其惊人的速度和效率重新定义了 AI 解决方案的标准。通过 LobeChat 与 Groq Cloud 的集成，你现在可以轻松地利用 Groq 的技术，在 LobeChat 中加速大语言模型的运行。

Groq LPU 推理引擎在内部基准测试中连续达到每秒 300 个令牌的速度，据 ArtificialAnalysis.ai 的基准测试确认，Groq 在吞吐量（每秒 241 个令牌）和接收 100 个输出令牌的总时间（0.8 秒）方面优于其他提供商。

本文档将指导你如何在 LobeChat 中使用 Groq：

首先，你需要到 GroqCloud Console 中获取一个 API Key。

在控制台的 API Keys 菜单中创建一个 API Key。

妥善保存弹窗中的 key，它只会出现一次，如果不小心丢失了，你需要重新创建一个 key。

你可以在 设置 -> 语言模型 中找到 Groq 的配置选项，将刚才获取的 API Key 填入。

接下来，在助手的模型选项中，选中一个 Groq 支持的模型，就可以在 LobeChat 中体验 Groq 强大的性能了。

XSimple