一键部署Google开源大模型Gemma,性能远超Mistral、LLama2 | 本地大模型部署,ollama助您轻松完成!
Summary
TLDR在这期AI学长频道视频中,小林介绍了谷歌发布的Gemini 1.5 pro和其它开源大模型如Gemma、llama和mixstral。他深入探讨了这些模型的性能,特别是Gemma的两个版本:20亿参数和70亿参数。视频中,小林展示了如何在本地一键安装Gemma,并与llama、mixstral等模型进行了比较。他还分享了几个本地使用大模型的场景,如Web UI搭建、翻译插件和终端指令对话。此外,小林还讨论了ollama这个一键安装工具的功能和使用方法。最后,他提供了有关ChatGPT实战指南课程的信息,并邀请观众订阅频道支持。
Takeaways
- 😀 Google发布新模型Gemma,参数覆盖20亿到70亿,性能堪比商业模型
- 🤩 Gemma通过基准测试MMLU,70亿参数版本达到64.3%成绩
- 🧐 ollama工具可以一键安装Gemma等开源大模型到本地
- 👌 本地安装Gemma后,可通过Web UI、翻译插件等调用
- 🤖 安装chatbot Web UI,通过docker一行代码部署
- 📱 OpenAI Translator插件也可对接Gemma本地API
- 🔧 ollama可便捷管理已安装模型,一键添加删除
- ☁️ 参数越高,显存需求越大,70亿参数需8GB显存
- ✨ Gemma响应迅速,免费无限制使用,场景丰富
- 💯 可结合Dify、Chatbox等工具,充分发挥本地模型能力
Q & A
Gemma的主要特点和优势是什么?
-Gemma是一个轻量化且先进的大语言模型,主要特点是语言理解、语言生成、信息检索、对话和机器学习。优势是使用简单,可以在本地运行,速度快,没有限制。
Gemma有哪些版本及参数规模?
-Gemma有20亿参数、70亿参数和330亿参数三个版本。参数越大,性能越强。
想运行大参数版本的Gemma需要什么硬件配置?
-运行70亿参数以上版本的Gemma需要电脑显存大于8GB,130亿参数版本需要显存大于16GB,330亿参数版本需要显存大于32GB。
如何快速在本地安装Gemma?
-可以使用开源工具Ollama一键安装。只需在终端中输入“ollama run gemma:版本号”即可自动下载安装指定版本的Gemma。
安装完Gemma后有哪些使用场景?
-可通过Web UI、OpenAI Translator插件、终端指令等与Gemma交互。还可以连接Chatbot、Chatbox等桌面客户端使用。
如何快速搭建一个Web UI与本地Gemma交互?
-使用Docker一键安装Chatbot Ollama后,访问指定端口即可。代码为docker run -p 3000:3000 ollama/chatbot-ollama
OpenAI Translator插件如何连接本地模型?
-在插件设置中选择Ollama作为服务商,地址填localhost,端口默认11434,然后选择已安装的本地模型即可。
本地安装的Gemma如何卸载?
-可以在终端中运行“ollama rm gemma:版本号”移除指定版本的本地Gemma模型。
Gemma和LLAMA-2相比哪个性能更强?
-70亿参数的Gemma在MMLU基准测试上得分高于130亿参数的LLAMA-2,性能更强。
本地安装大模型的主要好处是什么?
-好处是使用免费无限制,不需要联网,速度快,可以自定义连接多种应用,非常方便。
Outlines
😀介绍Gemma和其他开源大模型
介绍Gemma是谷歌最新的开源大模型,参数较少但能力很强。与LLAMA-2开源大模型进行基准测试对比,性能超过了LLAMA-2。还介绍了其他开源大模型ollama、mixstral等。
😊演示Gemma的使用场景
演示了Gemma在本地的三个使用场景:1) 搭建Web UI与Gemma交互;2) 翻译插件OpenAI translator接入Gemma提供翻译;3) 在终端与Gemma进行问答。这些场景都可以免费无限制使用Gemma。
👨💻演示一键安装Gemma
使用开源工具ollama可以一键快速安装Gemma等开源大模型。操作简单,选择模型和参数后直接运行命令,就可以下载安装好模型并与其交互。
💡演示安装桌面客户端
演示使用Docker一键安装桌面客户端chatbot,与本地Gemma交互。类似可以安装其他客户端或插件,如OpenAI translator,都可以连接本地大模型使用。
Mindmap
Keywords
💡Gemini
💡Sora
💡Gemma
💡MMLU
💡ollama
💡Web UI
💡OpenAI Translator
💡终端指令
💡套壳应用
💡部署
Highlights
谷歌发布了新一代开源大模型Gemma
Gemma在能力评测上超过了GPT-4
Gemma是一个轻量化且性能强大的开源大模型
Gemma有20亿和70亿两个参数版本
70亿参数的Gemma在能力上超过了LLAMA-2
Gemma可以进行语言理解、语言生成等多种任务
ollama可以一键安装主流开源大模型
Gemma安装只需要一行命令
本地安装Gemma后可以通过Web UI使用
安装好Gemma后可以集成到翻译插件中
安装好Gemma后可以在终端中与其聊天
Gemma使用场景非常丰富
Docker一键安装Web UI界面
翻译插件可切换到本地模型
更多客户应用可连接本地模型
Transcripts
你好
欢迎来到AI学长频道
我是小林
谷歌其实年后一直没有闲着
先是发布了Gemini 1.5 pro
支持100万的Token
在能力评测上和Token的数量上
都超过了GPT-4
本来想着可以扬眉吐气一番
可是没想到山姆奥特曼居然留了一手
反手就公布了最新的
文生视频大模型Sora
在声势上完全盖住了Gemini Pro 1.5
这一下
逼急了谷歌
打出了最强的组合拳
开源和闭源同步进行
左手手握闭源的gemini
和GPT-4抗衡
右手开源新的大模型Gemma
抢占开源市场
所以这期视频
我们就一起来体验一下Gemma
给大家演示
如何在本地一键安装Gemma
以及其他的一些开源大模型
比如说llama、mixstral等等
另外还会给大家分享几个
大模型在本地的使用场景
怎么样在各种应用当中
调用已经安装好的本地大模型
让你可以免费畅玩开源的大模型
如果你喜欢今天这个话题
麻烦动动你的小手赞一赞
这个就是Gemma的官方介绍界面
然后在这个界面当中
有关于Gemma的一个详细介绍
它的使用指南
然后它的一些基准测试
技术文档在这里面都可以看到
我们可以主要看一下基准测试
也就是MMLU的测试
这边可以看到
Gemma的话
它是分为两个版本
一个是20亿参数版本
一个是70亿参数版本
那对应的话
像这个Meta的LLAMA-2
它也有两个版本
一个是70亿参数的版本
然后第二个的话
是这个130亿参数的版本
我们在MMLU的
这个基准测试当中
可以看到
目前Gemma70亿参数的版本
基准测试
是已经达到了64.3%
那对应的话
可以跟LLAMA-2的130亿参数
这个开源大模型去做一下对比
他的能力
其实已经是超过
LLAMA-2的版本
所以整体来说
Gemma他是一个轻量化
并且是非常先进
能力非常不错的
一个本地可以运行的开源大模型
OK
然后像其他的一些介绍
这里的话我就不去做详细的讲解
如果是说你对它的原理
对它的细节更感兴趣的小伙伴
可以自己到这个官网上来了解一下
接下来
我就来给大家演示一下
Gemma在我本地安装完的
一个使用效果
这里
我是用了3个场景
第一个场景是
我自己在本地搭建了这样一套Web UI
搭建过程也非常简单
待会在演示过程当中
也会教大家
怎么样去搭建这样一套Web UI
然后第二个场景
像我们先前在用的
OpenAI translator
这个翻译插件
它同样的话
也是可以对接到我们本地的
这个大模型gemma
那么后续的话
我在预览任何网页
可以直接基于我这个Gemma
这个API接口
让他来帮我进行翻译的功能
然后第三个场景
就是当我们把Gemma
安装完成以后
也可以在终端指令
或者是Windows的power shell里面
直接去跟它进行一个对话
在这三个场景当中
都是可以使用的
OK
我们先来到第一个
我打开这个chatbot
然后这个界面
模型是选择gamma-2b
然后它的大小
是1.68GB
非常的轻量化
这里的话
会要求我们设置一些系统提示词
下面的话还有一个temp的参数
这个temp参数的话就是
代表它可以控制你
本地达模型的发散性
你的这个值越高
那么它生成的答案就越随机
基本上和ChatGPT可以控制的参数
是一样的
首先
我们让他来介绍一下自己
这个答案已经出来了
他回答我是一个大语言模型
是由谷歌团队开发的
主要特点呢是可以
语言理解、语言生成
信息检索、对话、机器学习
它的优势
用途有哪些
还可以做什么
然后接下来
我是要求他
去写一首关于春天的诗词
写一首关于冬天的诗词
可以看到它都已经是正常完成了
并且如果说
你的电脑配置不错的前提下
那么这个Gemma
它的响应速度非常快
所以在本地使用
它是有一个速度优势的
那么后续的话
我们就可以在这套Web UI当中
自由的、免费的
无限制的去使用gemma
或者说其他的一些开源大语言模型
那第二个使用场景的话
就是OpenAI translator插件
现在
我本地也已经安装好这个插件了
并且这里可以看到
他的翻译引擎是gemma 2B
我们可以这边可以看一下
他是调用了我本地的模型
这个是API URL地址
地址这边是我所选择的模型
gemma 2B
比如说我在预览Twitter
然后随机看到这样一段英文
那么我就可以调用
我的这个本地大模型
对它进行一个翻译
可以看到结果
已经出来了
非常非常的快
那么当我在本地
用gemma 2B作为
翻译引擎的情况下
后续我可以不用联网的情况下
可以对任意网页进行这样一些翻译
然后第三个场景的话
就是在终端当中
因为我本地已经安装完
Gemma 20亿参数的版本
同样的话
这里我也可以跟他进行对话
比如说我让他
把这段话翻译成英文
Gemma真不错
这个结果已经出来了
他已经把它翻译成英文了
同样的话
在这个终端当中
也是以这样一问一答的形式去对话
其实跟我们在
Web UI聊天对话窗口里面的体验
其实是差不多的
当然除了刚才
我所演示的这3个应用场景以外
其实还有很多
可以调用本地大模型的工具
这个待会在我演示部署的过程当中
会给大家去做一个详细的讲解
比如像我们之前介绍过的这个Dify
还有Chatbox等等
诸如此类工具
它都是支持调用本地大模型接口的
所以就是安装完本地大模型
它的使用场景也是非常非常丰富的
最主要的是不需要花钱
不需要联网
不需要节点
没有什么障碍和限制
可以很畅快的使用
接下来我们来讲一下安装
这里我用到的是一个开源工具
叫ollama
ollama的作用
它是可以在我们本地
非常快捷
非常方便的
一键安装目前主流的开源大模型
在这里
我们也可以看到
它支持这么多开源的大模型
他的参数是多少
然后他的大小是多少
在这里都有一个显示
也就意味着这些模型
我们都是可以通过ollama这款工具
一键在我们本地安装成功
并且可以运行和他对话
然后除了这个以外
我们可以拉到这个项目的底部
这也就是我刚才所说的
就是ollama这个项目
他给我们非常贴心的
整合了很多
可以结合本地大模型应用的工具
比如说这样一些套壳应用
一些插件
这里给我们收集了非常多的应用
这个是基于桌面客户端的
刚才我所演示的chatbot
那就是这个项目
除此以外
还有很多其他项目
像chatbox
也是我们经常用的
这个的话
大家就可以结合
自己的使用习惯
和使用经验
去下载你想要的客户端
那么这个客户端
就可以跟你本地所部署好的
大语言模型
进行一个连接
那么后面您在套壳应用里面
去使用这个本地大模型就可以了
接下来我们来演示一下安装
我们直接来到
ollama的官网
我们所要做的第一步事情
就是去下载一个
ollama的客户端
这边选择你对应的电脑型号
然后把ollama的客户端
给我们下载到本地
当你下载完成以后
其实你是可以在你的桌面
看到ollama的客户端
那么这里的话
你也可以打开终端
或者说是Windows的power shell
我们去输入这行代码
来验证一下
有没有安装成功
可以看到
我这边是安装成功了
是1.27版本
这行指定的代码是ollama --version
就是查看它的版本
然后我们来到右上角的models
这边的话他是把所有的
支持一键安装的开源大模型
做了一个罗列
你想要安装哪个开源大模型
那么你就进去哪个开源大模型
同样的话
我们以Gemma为例
包括LLAMA2
其实也是一样的
我们点击Gemma
然后他右边
这边是有一个选项栏tags
给他点击一下
他会把Gemma所有的
大模型给我们做一个罗列
在每一个选项栏下面
它都会有一个对应的大小
比如说这个2b版本
它的大小的话就是1.7GB
然后70亿参数的
它的大小的话就是5.2GB
这个你可以结合自己的电脑配置
以及你的内存大小
以及你想达到的一个使用效果
去下载相应的一个版本
当然版本号肯定是越高越好
他的能力就越强
在这里
它是有这样一个规则
如果是说你
要运行70亿参数以上的
那么你的电脑显存
也就是显卡的内存
至少是要大于8GB的
如果是130亿参数的
那么你电脑显存是要大于16GB的
如果是说这个330亿参数的
你的电脑显存是要大于32GB的
这个大家要稍微注意一下
然后我们回到
Gemma的大模型界面
这里的话我就以2B模型为示例
给大家演示一下
我们只要复制右边这行代码
ollama run gemma:2b
把这行代码给它复制一下就可以了
然后这里的话
其实还有一个小小的注意事项
如果是说你是Windows电脑
那么它默认
是帮你把这个大模型
下载到你的c盘里面
这里的话
就要注意一下
你的c盘空间够不够
如果是说你要下载非常大的模型
那么c盘可能放不下
另外的话
其实你也可以去修改一下环境变量
把环境变量修改完成之后
比如说让他去下载到d盘
通过这种方式也是可以的
我们现在回到终端
现在我的Ollama已经是安装成功的
在安装之前
你还是要把你下载好的客户端
给它打开一下
如果是说没有打开客户端的话
其实你也可以运行一下这行指令
就是Ollama serve
这样运行一下
对应的话
他也是会帮你把客户端打开的
接下来
我们就可以直接安装了
就是把刚才复制好的gemma 2B参数
这个版本
给它运行一下
可以看到它已经是运行成功了
因为我先前是已经安装过的
所以它会直接跳转到对话界面
在这里我已经可以发送消息了
如果是说
你是首次安装这个开源大模型
它会有一个下载的过程
下载完成以后
它也会一键自动安装
不需要我们做任何操作
完成之后
它也会进入到这样一个对话界面
在这里
我们就可以
进行对话了
比如说我让他介绍一下自己
可以看到他已经回复了
这个也是信息流的形式
那么我们在这个终端当中
就可以以这样一问一答
一问一答的形式
跟他继续进行自由的对话
这个就是关于Gemma的安装
如果是说
你要安装其他的参数版本
也是一样的
复制对应的这个代码
然后在这里run一下
它就会自动下载
自动安装
包括像其他的开源大模型
llama、mistral等等
都是一样的安装方式
假设是说现在我们不用了
那么我们可以按一下Ctrl+d
它就会退出这个对话的窗口
回到正常的指令操作
在这里
我们也可以通过这几个指令
来管理你本地的大模型
比如说首先我们可以通过
ollama list
去查看你本地
所安装的大语言模型
这里的话
我只安装了gemma 2B版本
假设说后续你是要把
你本地不用的一些
大模型给它移除
同样的话也是可以
用这个指令操作的
比如说我们运行ollama rm
然后对应的一个版本
敲一下回车键
那么它就会帮你在本地
把这个大模型给它移除
接下来
我们来演示一下
怎么样去安装
跟本地大模型
可以进行连通和互动的这些
桌面端客户应用
或者说一些第三方的插件
我们这里的话还是
以这个chatbot UI为例
这些其实都是一样的安装原理
你根据自己的需要去做选择就可以
这里的话我就以它为例
我们来安装一下webui界面
它最终结果
就是可以看到这样一个界面
我们来到Chatbot Ollama
这样的一个开源项目
它整个安装过程
其实也非常非常的简单
它提供了两种方式
第一种的话
是通过docker方式去安装
然后第二种方的话
是通过代码指令的方式去安装
第二种方式的话稍微会麻烦一点点
就是首先你要
在你的电脑上安装好Git
其次的话
你还要在电脑上安装node.js
如果是说
你要选择代码指定安装的方式
像这个Git指令
以及node.jS指令
怎么样去安装
那么你可以看一下
我频道里面的这期视频
套壳之王
就是在讲librechat这一期视频当中
也讲了怎么样去安装Git以及node.js
为了方便
这里的话
我就直接演示
Docker的安装方式
Docker的安装方式的话
就非常非常的简单
一行代码就可以搞定Web UI界面
首先我们是来到docker的官网
在docker的官网的话
你先下载docker的桌面端应用
去下载相应的一个版本
那么下载完成以后
我们就可以在你本地
打开docker的客户端
这个就是它的一个界面
主要是有两个栏目
首先这边是镜像
然后这边是我们在本地
所安装好的这个项目
可以看到
我这边其实已经安装好这个项目了
chatbox并且目前是在运行的
接下来
我就来演示一下如何操作
我先把这个项目给它删除掉
然后我们回到
GitHub上面
我们只要复制一下这行代码就可以了
在确保你Docker桌面客户端
是打开的前提之下
打开你的终端指令
新建一个窗口
如果是Windows的话就是power shell
然后我们去运行一下
这行代码就可以了
docker run -p 3000:
后面是镜像地址
运行一下
很快就安装成功了
这边也显示好他的端口号
这个地址我们可以复制一下
或者说
你回到docker的桌面客户端
也是可以的
刚刚我们把它删除了
然后运行完那行代码
他重新去下载
重新在我本地
已经部署成功了
那么我们点击一下这个端口号
他又进到了
我们刚才对话的界面
这个的话就是
关于Chatbot Ollama
这个皮肤的安装过程
其实像安装其他的一些项目
原理都是类似的
在这个GitHub上面
它都显示了安装流程
我觉得这个应用不错
就给大家演示
这个应用的一个安装过程
我们现在重新打开一个窗口
因为我在本地已经安装好这个项目了
那么他后续的一个对话体验
就跟刚刚我们视频开头是一样的
首先是在这里选择你本地
安装的大模型
选择完成以后
这边发送prompt
就可以进行一问一答的对话
然后在左侧
他也有所有的聊天记录
接下来
给大家演示一下
就是我视频开头的第二个场景
这个应用的安装
这里的话
我们同样的话
也是可以来到这个开源项目
OpenAI translator
我们可以看到右边
它是有一个发行版
我们点击这个发行版
可以看到
这边是有关于这个作者
他针对OpenAI translator这个插件
不同的版本号
这里的话
我们直接选择最新版
比如说我是Mac电脑
我就下载这个
后缀是DMG的
然后它的版本号是3.25版本
Mac的话
这边还分是arm芯片的
还是Intel芯片的
大家稍微注意一下
如果是说Windows版本
那么你就可以去下载.exe
如果是说你是浏览器插件
那么你就可以下载Chrome这个版本
去根据自己的电脑型号
以及使用场景去下载相应的版本
这个插件
我现在已经是安装好这个版本了
安装完成以后
这个就是它的一个界面
首次使用
我们是要在这里
这边会有一个设置
有一个通用
我们给它进行一下设置
就是在这个默认服务商里面
选择Ollama
然后这个地址
就是localhost 11434
这个端口号是默认的
我们不需要去做任何更改
模型的话
就选择你本地已经安装好的大模型
你安装完llama你就选llama
安装完Gemma
你就选择gemma
然后我是2B版本
我就选择这个
20亿参数的版本
然后下面完成一些基本设置
然后点击保存
保存完成之后
我们就可以随机
找一个界面去做一下测试
比如说
现在我是需要这个插件
帮我去翻译一下这段话的意思
当你选中文字之后
它会自动显示出来
这个按钮
在这边就会进行一个翻译
下面也可以看到
它是由Gemma 20亿参数版本
提供API接口支持
这个结果
它已经出来了
这个就是关于OpenAI translator
使用场景的安装方式
除了这个之外
如果是说
你想要使用其他的桌面客户端
或者其他的一些场景应用
那么你就到这里
自己去选择你想要的软件
给它进行一个本地安装
比如说像chatbox
其实也是可以安装的
包括像Dify
如果是说你在本地安装了Dify
那么同样的话
它也是可以选择Ollama
作为API提供商
然后去选择不同的大模型
llama、gemma、mistral等等
这里的话
也有详细的接入流程
然后像这个链接
以及今天视频当中所使用到的
这些课件、资料
我都会放到视频简介里面的
视频笔记里当中
大家有需要可以自己去取
视频的最后
再做一个小小的宣传
如果你想更好的使用AI
更好的使用ChatGPT
去系统性的学习ChatGPT
在过程当中少走弯路
那么你也可以去了解一下
我的AI课程
《ChatGPT实战指南:创新应用与性能提升》
目前在这个课程当中
已经是涵盖了30多节AI课程
这些内容
都是由我精心挑选
精心打造的
可以快速的
让你上手使用ChatGPT
里面涵盖了基础知识
提示词工程
可以让你更好的和ChatGPT对话
还有一些实战玩法
比如说怎么样把你的大模型
接入到微信当中
怎么样把你的知识库
接入到大模型当中
并且去定制客服
等等这样一系列玩法
在我的实战课程当中
都有详细的讲解跟案例演示
另外还有很多的AI资源分享
比如说像我自己
学习和获取AI的一些信息和渠道
我自己经常在用的一些AI工具
等等在课程当中
都给大家去做一个分享
有需要的小伙伴可以了解一下
绝对会让你物超所值
以上就是本期视频的全部内容
感谢观看
如果你喜欢今天这期视频
如果今天这期视频对你有一点点帮助
请点赞及订阅我的频道
你的支持对我很重要
Ver más vídeos relacionados
![](https://i.ytimg.com/vi/7s9qo4RVX8s/hq720.jpg)
实战教程:如何让ChatGPT拥有长期记忆,制作一款有“记忆”的AI备忘录!
![](https://i.ytimg.com/vi/Kk8YhCpo1b8/hq720.jpg)
[ML News] Jamba, CMD-R+, and other new models (yes, I know this is like a week behind 🙃)
![](https://i.ytimg.com/vi/O753uuutqH8/hq720.jpg)
Software Engineering: Crash Course Computer Science #16
![](https://i.ytimg.com/vi/JLmI0GJuGlY/hq720.jpg?sqp=-oaymwEmCIAKENAF8quKqQMa8AEB-AH-CYAC0AWKAgwIABABGGUgUihPMA8=&rs=AOn4CLDMU6k8dBTOIKV-VhORCAgtRf9cZA)
Python Advanced AI Agent Tutorial - LlamaIndex, Ollama and Multi-LLM!
![](https://i.ytimg.com/vi/T1Lx-mCj5Hg/hq720.jpg?v=645bb398)
Augmentation of Data Governance with ChatGPT and Large LLMs
![](https://i.ytimg.com/vi/NI9ziIAjO6E/hq720.jpg)
Ilya Sutskever | The birth of AGI will subvert everything |AI can help humans but also cause trouble
5.0 / 5 (0 votes)