十项考察！Gemini 1.5 Pro新特性评测【模型评测11】

Summary

视频介绍了谷歌Gemini 1.5 Pro的预览版，展示了其在视频理解、音频识别、语言翻译、图像检索等方面的新功能。通过测试不同语言和方言的识别能力，以及处理长文档和跨文档分析的能力，证明了其强大的泛化能力。此外，还测试了其对濒危语言的学习和理解能力，以及支持CSV和JSON格式数据的便捷操作。

Takeaways

• 🌟 从4月9日起，Google开放了Gemini 1.5 Pro预览版。
• 📊 Gemini系列分为Nano、Pro（免费）和Ultra（付费）三个版本，1.5系列仍保持这三个版本。
• 🤖 1.5系列引入了多模态基础上的混合专家架构，大幅提升整体性能。
• 🎥 Gemini在视频理解方面表现出色，能够准确识别和描述电影内容。
• 🎵 音乐识别方面表现不佳，尤其在识别古典音乐和背景声音时。
• 🗣️ 语言识别表现优异，尤其在普通话和粤语的识别和转写方面。
• 📚 在处理超长文档方面，Gemini能够准确定位和提取关键内容，显著提高长文档阅读和分析效率。
• 🔍 Gemini在跨文档分析和信息提取方面表现优越，能够准确总结和对比多个文档的相似点和差异。
• 💡 Gemini 1.5 Pro引入了上下文语言学习的新功能，能够通过语法词典和参考资料有效学习新语言。
• 📂 1.5 Pro支持直接从Google Drive上传整个文件夹，方便处理大规模数据。

Q & A

Google 从何时开始开放 Gemini 1.5 Pro 的预览版？

从2024年4月9日开始，Google 开放了 Gemini 1.5 Pro 的预览版。

Gemini 系列分为哪三个版本？

Gemini 系列分为 Nano、Pro 和 Ultra 三个版本。

1.5 系列在多模态基础上增加了什么架构？

1.5 系列在多模态基础上增加了混合专家架构，以显著提升整体性能。

测试视频理解能力时使用了哪部电影？

测试视频理解能力时使用了世界上第一部科幻电影《月球之旅》，该电影于1902年在法国拍摄。

Gemini 在处理《月球之旅》视频时的表现如何？

Gemini 在处理《月球之旅》视频时，仅用了10秒钟就准确回答了问题，显示出其在视频识别方面没有太大问题。

为了验证 Gemini 在视频理解上的实际能力，使用了哪个不常见的视频？

为了验证 Gemini 在视频理解上的实际能力，使用了 B 站用户上传的鳄鱼吃西瓜的视频。

Gemini 在音乐识别方面的表现如何？

Gemini 在音乐识别方面表现不佳，例如在识别《新世界交响曲》和《二泉映月》时未能提供正确答案，显示出其在音乐领域的识别能力不如电影领域。

Gemini 在处理背景声音识别方面的表现如何？

Gemini 在处理背景声音识别方面表现良好，例如将狗叫声识别为咳嗽声，将雷声识别为汽车引擎声。

Gemini 在处理不同语言和方言的语音识别方面表现如何？

Gemini 在处理不同语言和方言的语音识别方面表现出色，能够准确识别并转录普通话、粤语和日语大阪方言。

Gemini 1.5 Pro 支持的最大上下文窗口是多少？

Gemini 1.5 Pro 支持的最大上下文窗口为 100 万个 TOKEN。

Gemini 1.5 Pro 在跨文档处理能力方面的表现如何？

Gemini 1.5 Pro 在跨文档处理能力方面表现出色，能够准确提取和分析不同文档中的共同点和差异点。

Gemini 1.5 Pro 在处理 Ainu 语言时的表现如何？

Gemini 1.5 Pro 在处理 Ainu 语言时表现出一定的学习能力，能够通过上下文学习理解和翻译 Ainu 语言的句子和词汇。

Gemini 1.5 Pro 是否支持直接上传整个文件夹进行处理？

Gemini 1.5 Pro 不支持直接上传整个文件夹进行处理，需要先将文件夹上传到 Google Drive，然后在上传界面中选择目标文件夹。

Gemini 1.5 Pro 是否支持 JSON 格式的输出？

是的，Gemini 1.5 Pro 支持 JSON 格式的输出，可以通过开启相关开关来实现。