「上集」Reader API 来了，还要啥爬虫？4 种秒转网页给 AI 喂知识的办法，提升你的知识库构建技能 | 回到Axton

Axton 知识分享 / Axton knowledge sharing

29 Apr 202408:37

Summary

TLDR你好，欢迎回到 Axton 的分享。本次视频介绍了 Jina Reader API，这是一款简便的网页内容获取工具。你只需提供网址，它便能提取核心内容，适合用于构建知识库。视频展示了如何使用该 API 获取微信公众号文章、博客和新闻网站的内容，并介绍了如何将其应用于自动化工作流平台 Make 和 Zapier。此外，还展示了在 ChatGPT 的 GPTs 和 Dify 平台上构建智能体的方法。更多详细内容和免费的 Make 和 Zapier 模板可以访问 axtonliu.ai 获取。

Takeaways

🌟 Jina推出了一款名为Jina Reader API的新工具，用于简化网页内容的获取。
🔍 Jina Reader API能够将网页内容整理成适合大语言模型使用的格式，有助于构建知识库。
📚 视频中介绍了Jina Reader API的四种用法，包括自动化工作流和AI智能体中的应用。
🛠️ 测试Jina Reader API时使用了三种类型的网页：微信公众号文章、普通博客文章和TheVerge的新闻。
📝 Jina Reader API的主要目的是提取网页的核心内容，并以Markdown格式输出，方便语言模型使用。
🔗 使用Jina Reader API时，只需在浏览器中输入API网址后接所需网页的URL即可获取内容。
🔄 Jina Reader API可以集成到Make和Zapier这样的自动化工作流平台中，以实现更广泛的应用。
📈 Make平台能够与数千种APP集成，通过调用Reader API扩展其功能，例如与Notion结合使用。
📑 Zapier平台使用webhook触发流程，调用Jina Reader API后在Notion中创建新记录。
🤖 除了自动化平台，Jina Reader API还可以在AI智能体平台如ChatGPT的GPTs和Dify中使用。
🎓 视频最后提供了Make和Zapier的模板下载链接，并推荐了关于AI核心能力和自动化的课程。

Q & A

Jina Reader API 是什么？
-Jina Reader API 是一款由 Jina 推出的工具，能够将网页内容整理成适合大语言模型使用的格式，主要用于提取网页的核心内容，去除 HTML 标记和脚本等。
Jina Reader API 的主要目的是什么？
-Jina Reader API 的主要目的是提取网页中的核心内容，并将其转换为 Markdown 格式，便于大语言模型处理和使用。
如何使用 Jina Reader API 获取网页内容？
-用户只需将需要爬取内容的网址输入到 Jina Reader API 的网址后面，然后点击获取内容按钮，等待一段时间后即可在输出结果中看到整理好的内容。
Jina Reader API 是否能处理微信公众号的文章？
-根据脚本中的演示，Jina Reader API 能够处理微信公众号的文章，并且能够正常获取文章内容。
脚本中提到的三种网页类型分别是什么？
-脚本中提到的三种网页类型包括微信公众号的文章、普通的博客文章以及新闻网站 TheVerge 的一篇新闻。
如何将 Jina Reader API 结合到自动化工作流平台中？
-脚本中提到了两个自动化工作流平台 Make 和 Zapier，可以通过将 Jina Reader API 嵌入到这些平台的工作流程中，实现自动化获取网页内容的功能。
在 Make 平台上如何调用 Jina Reader API？
-在 Make 平台上，可以通过编写工作流程，将 Jina Reader API 的网址与需要爬取的网页 URL 结合，然后发送 HTTP 请求来调用 API，并获取处理后的结果。
Zapier 是如何使用 Jina Reader API 的？
-Zapier 使用 webhook 来触发流程，用户可以在浏览器中输入 webhook 地址，并把要爬取的网页 URL 作为参数传递，从而触发整个流程并调用 Jina Reader API。
脚本中提到的两个 AI 智能体平台是什么？
-脚本中提到的两个 AI 智能体平台是 ChatGPT 的 GPTs 和一个叫做 Dify 的开源平台。
如何获取 Make 和 Zapier 的模板？
-脚本中提到，可以将 Make 和 Zapier 的模板免费分享给大家，感兴趣的朋友可以访问网址 axtonliu.ai，在精英学院中免费福利部分下载。
脚本中提到的两门 AI 相关课程是什么？
-脚本中提到的两门 AI 相关课程是 'AI 实战派' 和 'AI 自动化课程'，前者以 Prompt Engineering 提示工程为主线，后者聚焦于 AI 与无代码自动化技术的结合。

Outlines

00:00

😀 Jina Reader API 介绍及基本用法

本段介绍了Jina Reader API，这是Jina推出的一款用于获取网页内容的工具。它能够将网页内容整理成适合大语言模型使用的格式，非常适合用于构建知识库。视频将展示四种不同的用法，包括在自动化工作流和AI智能体中的使用。测试将使用三种类型的网页：微信公众号文章、普通博客文章和TheVerge的新闻。Jina Reader API的主要目的是提取网页核心内容，去除HTML标记和脚本，为大语言模型提供数据输入。演示中展示了如何通过输入网址来获取网页内容，并将其转换成Markdown格式。此外，还介绍了如何将Jina Reader API嵌入到浏览器中直接使用，以及如何将其应用到Make和Zapier这样的工作流平台中。

05:02

😎 Jina Reader API 在自动化工作流平台的应用

这段内容主要讲述了如何将Jina Reader API应用到Make和Zapier这两个自动化工作流平台中。首先，介绍了Make平台的使用，它能够与数千种APP集成，从而扩展Reader API的应用范围。通过Make，可以创建一个流程，从Notion数据库中获取网页URL，然后使用Reader API抓取网页内容，并将其写入Notion页面。接着，演示了如何使用Zapier平台，它使用webhook来简化触发流程。通过在浏览器中输入webhook地址并传递URL参数，可以触发Zapier流程，调用Jina Reader API获取网页内容，并在Notion中创建新的数据库记录。此外，还提到了可以在AI智能体平台如ChatGPT和Dify中使用Reader API来构建机器人，并提供了Make和Zapier的模板下载链接，以及AI与自动化相关内容的课程信息。

Mindmap

Keywords

💡Axton

Axton 是视频中提到的一个平台或品牌，它与构建知识库和分析文章数据相关。视频中提到了欢迎回到Axton，表明这是一个系列内容或者是一个特定的社区平台，用于分享和讨论与AI相关的应用和工具。

💡Jina Reader API

Jina Reader API 是视频中介绍的一款工具，用于获取网页内容。它能够将网页内容整理成适合大语言模型使用的格式，是构建知识库的利器。视频中提到了Jina Reader API的网址和其主要功能，即提取网页核心内容并去除HTML标记和脚本。

💡自动化工作流

自动化工作流是指通过自动化技术来执行一系列任务的过程。在视频中，自动化工作流与Jina Reader API结合使用，展示了如何将网页内容自动提取并应用到不同的平台和场景中，如Make和Zapier。

💡微信公众号

微信公众号是微信平台上的一种服务账号，用户可以通过它发布文章和信息。视频中提到了使用Jina Reader API测试微信公众号文章的爬取，说明了API能够处理可能存在爬取限制的网页内容。

💡Markdown

Markdown 是一种轻量级标记语言，它允许人们使用易读易写的纯文本格式编写文档，然后转换成有效的XHTML(或者HTML)文档。视频中提到Jina Reader API将网页内容转换成Markdown格式，便于后续的编辑和使用。

💡Make

Make 是一个自动化工作流平台，视频中提到了如何使用Make调用Jina Reader API，以及如何将结果集成到Notion中。Make的集成能力扩展了Reader API的应用范围，使得自动化流程更加灵活和强大。

💡Zapier

Zapier 是一个在线自动化工具，它允许用户在不同的网络应用程序之间创建工作流程。视频中展示了如何使用Zapier通过webhook触发流程，并结合Jina Reader API来获取网页内容并写入Notion。

💡Notion

Notion 是一款集成了笔记、数据库、看板等多种功能的应用，它支持用户以灵活的方式组织信息和工作。视频中提到了使用Make和Zapier将Jina Reader API获取的内容写入Notion，展示了Notion在自动化工作流中的应用。

💡Prompt Engineering

Prompt Engineering 是一种技术，它涉及设计和优化提示（prompts）来引导AI模型生成特定的输出。视频中提到了AI实战派课程，以Prompt Engineering为主线，教授如何利用这一技术提升AI的应用效果。

💡AI智能体

AI智能体是指能够执行任务、做出决策或以其他方式表现出智能行为的系统或程序。视频中提到了使用Jina Reader API在AI智能体平台如ChatGPT和Dify中打造机器人，说明了Reader API在AI领域的广泛应用。

Highlights

Axton介绍了Jina Reader API，一款简单易用的网页内容获取工具。

Jina Reader API能够将网页内容整理成适合大语言模型使用的格式。

介绍了Jina Reader API的四种用法，包括自动化工作流和AI智能体中的应用。

测试了Jina Reader API对微信公众号文章、普通博客文章和TheVerge新闻的处理能力。

Jina Reader API的主要目的是提取网页核心内容，去除HTML标签和脚本。

演示了如何通过Jina Reader API获取微信公众号文章的Markdown格式内容。

Jina Reader API的简单用法是在浏览器中输入网址获取网页内容。

Jina Reader API最适合嵌入到工作流中使用。

讲解了如何将Jina Reader API应用到Make和Zapier两大工作流平台。

Make平台可以与数千种APP集成，扩展了Reader API的应用范围。

展示了结合Reader API和Notion实现网页内容爬取的流程。

Make工作流可以将网页内容写入Notion页面。

Zapier使用webhook触发流程，简化了爬取网页内容的操作。

Zapier流程可以在Notion中创建新记录并写入爬取内容。

除了自动化平台，Jina Reader API还可以在AI智能体平台如ChatGPT和Dify中使用。

Make和Zapier的模板将免费分享给用户。

Axton提供了关于AI核心能力和AI自动化的课程。

AI实战派课程聚焦于Prompt Engineering的基础知识和高级应用。

AI自动化课程专注于AI与无代码自动化技术的结合，打造高效工作流。