一键部署Google开源大模型Gemma，性能远超Mistral、LLama2 | 本地大模型部署，ollama助您轻松完成！

AI学长小林

27 Feb 202419:47

Summary

TLDR在这期AI学长频道视频中，小林介绍了谷歌发布的Gemini 1.5 pro和其它开源大模型如Gemma、llama和mixstral。他深入探讨了这些模型的性能，特别是Gemma的两个版本：20亿参数和70亿参数。视频中，小林展示了如何在本地一键安装Gemma，并与llama、mixstral等模型进行了比较。他还分享了几个本地使用大模型的场景，如Web UI搭建、翻译插件和终端指令对话。此外，小林还讨论了ollama这个一键安装工具的功能和使用方法。最后，他提供了有关ChatGPT实战指南课程的信息，并邀请观众订阅频道支持。

Takeaways

😀 Google发布新模型Gemma,参数覆盖20亿到70亿,性能堪比商业模型
🤩 Gemma通过基准测试MMLU,70亿参数版本达到64.3%成绩
🧐 ollama工具可以一键安装Gemma等开源大模型到本地
👌 本地安装Gemma后,可通过Web UI、翻译插件等调用
🤖 安装chatbot Web UI,通过docker一行代码部署
📱 OpenAI Translator插件也可对接Gemma本地API
🔧 ollama可便捷管理已安装模型,一键添加删除
☁️ 参数越高,显存需求越大,70亿参数需8GB显存
✨ Gemma响应迅速,免费无限制使用,场景丰富
💯 可结合Dify、Chatbox等工具,充分发挥本地模型能力

Q & A

Gemma的主要特点和优势是什么?
-Gemma是一个轻量化且先进的大语言模型,主要特点是语言理解、语言生成、信息检索、对话和机器学习。优势是使用简单,可以在本地运行,速度快,没有限制。
Gemma有哪些版本及参数规模?
-Gemma有20亿参数、70亿参数和330亿参数三个版本。参数越大,性能越强。
想运行大参数版本的Gemma需要什么硬件配置?
-运行70亿参数以上版本的Gemma需要电脑显存大于8GB,130亿参数版本需要显存大于16GB,330亿参数版本需要显存大于32GB。
如何快速在本地安装Gemma?
-可以使用开源工具Ollama一键安装。只需在终端中输入“ollama run gemma:版本号”即可自动下载安装指定版本的Gemma。
安装完Gemma后有哪些使用场景?
-可通过Web UI、OpenAI Translator插件、终端指令等与Gemma交互。还可以连接Chatbot、Chatbox等桌面客户端使用。
如何快速搭建一个Web UI与本地Gemma交互?
-使用Docker一键安装Chatbot Ollama后,访问指定端口即可。代码为docker run -p 3000:3000 ollama/chatbot-ollama
OpenAI Translator插件如何连接本地模型?
-在插件设置中选择Ollama作为服务商,地址填localhost,端口默认11434,然后选择已安装的本地模型即可。
本地安装的Gemma如何卸载?
-可以在终端中运行“ollama rm gemma:版本号”移除指定版本的本地Gemma模型。
Gemma和LLAMA-2相比哪个性能更强?
-70亿参数的Gemma在MMLU基准测试上得分高于130亿参数的LLAMA-2,性能更强。
本地安装大模型的主要好处是什么?
-好处是使用免费无限制,不需要联网,速度快,可以自定义连接多种应用,非常方便。

Outlines

00:00

😀介绍Gemma和其他开源大模型

介绍Gemma是谷歌最新的开源大模型,参数较少但能力很强。与LLAMA-2开源大模型进行基准测试对比,性能超过了LLAMA-2。还介绍了其他开源大模型ollama、mixstral等。

05:00

😊演示Gemma的使用场景

演示了Gemma在本地的三个使用场景:1) 搭建Web UI与Gemma交互;2) 翻译插件OpenAI translator接入Gemma提供翻译;3) 在终端与Gemma进行问答。这些场景都可以免费无限制使用Gemma。

10:01

👨‍💻演示一键安装Gemma

使用开源工具ollama可以一键快速安装Gemma等开源大模型。操作简单,选择模型和参数后直接运行命令,就可以下载安装好模型并与其交互。

15:02

💡演示安装桌面客户端

演示使用Docker一键安装桌面客户端chatbot,与本地Gemma交互。类似可以安装其他客户端或插件,如OpenAI translator,都可以连接本地大模型使用。

Mindmap

Keywords

💡Gemini

Gemini是谷歌最近发布的新一代语言模型,在模型规模和性能上都超过了GPT-4。它分为开源版本Gemma和商业版本,是与AI模型Sora竞争的重要武器。视频提到Gemini 1.5 pro支持1亿token,测试性能很强。

💡Sora

Sora是最近山姆奥特曼公司公布的新视频AI模型,在发布后立即吸引了广泛关注,性能很强。视频表示它的声势完全盖过了Gemini Pro 1.5,逼急了谷歌不得不推出更强大的组合拳。

💡Gemma

Gemma是谷歌开源的新语言模型,用于占领开源市场,与商业版本的Gemini形成双管齐下之势,视频详细介绍了它的规模、测试性能以及本地安装使用方法。

💡MMLU

MMLU是评测语言模型性能的重要基准之一,视频列出了Gemma和其他模型如LLAMA在MMLU基准测试上的具体分数,可以看出Gemma性能很强。

💡ollama

ollama是一个用于在本地环境快速安装和运行各种开源AI模型的工具,视频演示了如何用ollama一键安装Gemma等模型,并与其交互。

💡Web UI

视频提到可以通过安装Web UI,在本地搭建简单的网页界面与安装好的AI模型交互。演示了如何快速通过Docker安装Chatbot Ollama这一界面。

💡OpenAI Translator

OpenAI Translator是翻译插件,视频展示了它也可以对接本地AI模型,比如用语言模型Gemma提供实时翻译,无需联网。

💡终端指令

视频中还演示了在终端指令下与本地安装的Gemma语言模型进行交互的方法,与Web UI下的体验类似。

💡套壳应用

所谓套壳应用是指对接到本地AI模型,并提供交互界面供用户使用的各种桌面客户端工具,视频列出了许多此类应用。

💡部署

视频详细演示了如何在本地系统部署AI模型以及相关的交互应用,包括模型部署、UI界面部署、集成翻译插件等,使模型可以无缝应用。

Highlights

谷歌发布了新一代开源大模型Gemma

Gemma在能力评测上超过了GPT-4

Gemma是一个轻量化且性能强大的开源大模型

Gemma有20亿和70亿两个参数版本

70亿参数的Gemma在能力上超过了LLAMA-2

Gemma可以进行语言理解、语言生成等多种任务

ollama可以一键安装主流开源大模型

Gemma安装只需要一行命令

本地安装Gemma后可以通过Web UI使用

安装好Gemma后可以集成到翻译插件中

安装好Gemma后可以在终端中与其聊天

Gemma使用场景非常丰富

Docker一键安装Web UI界面

翻译插件可切换到本地模型

更多客户应用可连接本地模型