一键部署Google开源大模型Gemma，性能远超Mistral、LLama2 | 本地大模型部署，ollama助您轻松完成！

AI学长小林

27 Feb 202419:47

Summary

TLDR在这期AI学长频道视频中，小林介绍了谷歌发布的Gemini 1.5 pro和其它开源大模型如Gemma、llama和mixstral。他深入探讨了这些模型的性能，特别是Gemma的两个版本：20亿参数和70亿参数。视频中，小林展示了如何在本地一键安装Gemma，并与llama、mixstral等模型进行了比较。他还分享了几个本地使用大模型的场景，如Web UI搭建、翻译插件和终端指令对话。此外，小林还讨论了ollama这个一键安装工具的功能和使用方法。最后，他提供了有关ChatGPT实战指南课程的信息，并邀请观众订阅频道支持。

Takeaways

😀 Google发布新模型Gemma,参数覆盖20亿到70亿,性能堪比商业模型
🤩 Gemma通过基准测试MMLU,70亿参数版本达到64.3%成绩
🧐 ollama工具可以一键安装Gemma等开源大模型到本地
👌 本地安装Gemma后,可通过Web UI、翻译插件等调用
🤖 安装chatbot Web UI,通过docker一行代码部署
📱 OpenAI Translator插件也可对接Gemma本地API
🔧 ollama可便捷管理已安装模型,一键添加删除
☁️ 参数越高,显存需求越大,70亿参数需8GB显存
✨ Gemma响应迅速,免费无限制使用,场景丰富
💯 可结合Dify、Chatbox等工具,充分发挥本地模型能力

Q & A

Gemma的主要特点和优势是什么?
-Gemma是一个轻量化且先进的大语言模型,主要特点是语言理解、语言生成、信息检索、对话和机器学习。优势是使用简单,可以在本地运行,速度快,没有限制。
Gemma有哪些版本及参数规模?
-Gemma有20亿参数、70亿参数和330亿参数三个版本。参数越大,性能越强。
想运行大参数版本的Gemma需要什么硬件配置?
-运行70亿参数以上版本的Gemma需要电脑显存大于8GB,130亿参数版本需要显存大于16GB,330亿参数版本需要显存大于32GB。
如何快速在本地安装Gemma?
-可以使用开源工具Ollama一键安装。只需在终端中输入“ollama run gemma:版本号”即可自动下载安装指定版本的Gemma。
安装完Gemma后有哪些使用场景?
-可通过Web UI、OpenAI Translator插件、终端指令等与Gemma交互。还可以连接Chatbot、Chatbox等桌面客户端使用。
如何快速搭建一个Web UI与本地Gemma交互?
-使用Docker一键安装Chatbot Ollama后,访问指定端口即可。代码为docker run -p 3000:3000 ollama/chatbot-ollama
OpenAI Translator插件如何连接本地模型?
-在插件设置中选择Ollama作为服务商,地址填localhost,端口默认11434,然后选择已安装的本地模型即可。
本地安装的Gemma如何卸载?
-可以在终端中运行“ollama rm gemma:版本号”移除指定版本的本地Gemma模型。
Gemma和LLAMA-2相比哪个性能更强?
-70亿参数的Gemma在MMLU基准测试上得分高于130亿参数的LLAMA-2,性能更强。
本地安装大模型的主要好处是什么?
-好处是使用免费无限制,不需要联网,速度快,可以自定义连接多种应用,非常方便。