Understanding Sources

Summary

В видео скрипте рассматривается, как рабочие процессы связаны с событиями, такими как новые твиты, сообщения в Discord или HTTP-запросы. Исходные данные являются началом всех событий, которые могут ловить, опрашивать или прослушивать события от стороннего сервиса или HTTP-конечной точки. Создание источника для триггера твита, настройка интервала опроса и использование существующих источников для рабочих процессов демонстрируют мощность и гибкость платформы Pipedream, которая позволяет пользователям подписываться на события и управлять источниками кода, доступными для редактирования.

Takeaways

• 🔗 Рабочие процессы связываются с событиями, такими как новые твиты или сообщения в Discord, или HTTP-запросы.
• 🌐 Источники являются началом всех событий, которые могут активировать рабочие процессы, они могут отслеживать, опрашивать или прослушивать события от сторонних сервисов или HTTP-конечных точек.
• 📡 Когда источник обнаруживает новое событие, он уведомляет подписанные рабочие процессы о его наличии.
• 🛠 При создании приложения на основе триггера в Pipedream, вы также создаете источник, который является основой для этого триггера.
• 🔍 Пример использования: добавление триггера на основе твита, поиск твитов с упоминанием 'pipe dream', опрос каждые 15 минут.
• 📌 Создание источника при нажатии на кнопку, что позволяет обеспечивать функционирование триггера.
• 📊 В панели управления источниками можно увидеть список всех обнаруженных событий и журналы, связанные с источниками.
• 💻 Источники в Pipedream являются открытым кодом, что позволяет редактировать их и изменять конфигурацию.
• ⚙️ Конфигурация источника позволяет изменять параметры, такие как ключевое слово поиска или геолокацию отправителя твита.
• 🔄 Полинг означает запрос данных у сервиса по определенному расписанию, в данном случае - каждые 15 минут у Twitter.
• 🔔 Веб-хуки - это противоположность полингу, когда сервис уведомляет нас о новых данных, и мы просто прослушиваем это.
• 🌟 Источники могут прослушиваться и без использования рабочих процессов Pipedream, что подробно рассматривается в другом руководстве.

Q & A

Что такое рабочие процессы и как они связаны с событиями?

Рабочие процессы (workflows) - это последовательности действий, которые автоматизируют задачи. Они связаны с событиями, такими как новые твиты, сообщения в Discord или HTTP-запросы, которые активируют эти рабочие процессы.

Из чего состоят источники в Pipedream и как они работают?

Источники (sources) в Pipedream - это начало всех событий, которые инициируют рабочие процессы. Они могут ловить, опрашивать или прослушивать события, приходящие от стороннего сервиса или HTTP-конечной точки.

Что произойдет, когда вы создаете рабочий процесс с триггером на основе приложения?

При создании рабочего процесса с триггером на основе приложения, Pipedream создаст источник, который поддерживает этот триггер, и позволяет подписаться на события, обнаруживаемые этим источником.

Какие действия можно выполнить с источником после его создания?

После создания источника, можно просмотреть его список обнаруженных событий, логи выполнения и конфигурацию. Также можно изменить параметры, такие как ключевое слово поиска или геолокацию для твитов.

Что такое опрос (polling) и как он используется в Pipedream?

Опрос - это процесс периодической проверки наличия новых данных у сервиса. В Pipedream источники могут опрашивать Twitter каждые 15 минут для поиска новых твитов, соответствующих заданным критериям.

КакPipedream различает между опросом и веб-хуком (webhook)?

Веб-хук - это механизм, при котором сервис уведомляет нас о новой информации, и мы просто прослушиваем это. В отличие от опроса, где мы периодически запрашиваем новые данные у сервиса.

Как можно использовать существующий источник в новом рабочем процессе?

Для использования существующего источника в новом рабочем процессе, можно выбрать опцию использования существующего источника и выбрать его из списка доступных источников на вашем аккаунте.

Почему источники в Pipedream называются открытым исходным кодом?

Источники в Pipedream являются открытым исходным кодом, что означает, что пользователи могут просматривать и изменять код источника, чтобы настроить его по своим потребностям.

Какие преимущества предоставляет использование источников в Pipedream?

Использование источников в Pipedream позволяет создавать гибкие и расширяемые рабочие процессы, которые могут реагировать на различные события и интегрироваться с различными сервисами.

Какие другие возможностиPipedream предоставляет для использования источников?

Пользователи могут прослушивать источники без использования рабочего процесса Pipedream, что расширяет возможности использования источников за пределами автоматизированных рабочих процессов.

Outlines

00:00

🔗 Основы триггеров и источников в Pipedream

В этом параграфе рассматривается связь между рабочими процессами и событиями, такими как новые твиты, сообщения в Discord или HTTP-запросы. Источники являются началом всех событий, которые могут ловить, опрашивать или прослушивать события от стороннего сервиса или HTTP-конечной точки. Когда создается триггер, источник уведомляет подписанные рабочие процессы о новом событии. Пример демонстрирует создание источника для триггера поиска упоминаний 'pipe dream' в твитах каждые 15 минут. Также объясняется, что источники являются открытым кодом и их конфигурации можно изменять, включая ключевые слова поиска и геолокацию.

Keywords

💡Рабочий процесс

Рабочий процесс в контексте видео - это последовательность действий или задач, которые автоматизируются с помощью Pipedream. Например, в видео описывается, как рабочий процесс может быть запущен на основе события, такого как появление нового твита.

💡Источник

Источник - это место возникновения события, которое инициирует запуск рабочего процесса. В видео объясняется, что источники могут ловить, опрашивать или слушать события, поступающие от сторонних сервисов или HTTP-эндпоинтов. Например, когда создаётся триггер на основе приложения, автоматически создаётся источник.

💡Триггер

Триггер - это механизм, запускающий рабочий процесс при возникновении определённого события. В видео приводится пример создания триггера на основе упоминаний в Twitter, что инициирует запуск рабочего процесса при каждом новом твите с определённым ключевым словом.

💡Pipedream

Pipedream - это платформа для автоматизации, которая позволяет создавать и управлять рабочими процессами на основе различных событий. В видео рассматриваются возможности Pipedream, такие как создание источников и триггеров для автоматизации задач.

💡HTTP-эндпоинт

HTTP-эндпоинт - это URL, который может принимать HTTP-запросы и выступать в роли источника для рабочего процесса. В видео упоминается, что HTTP-эндпоинты могут служить источниками событий, которые запускают рабочие процессы.

💡Опрашивание

Опрашивание (polling) - это процесс регулярного запроса данных от сервиса через определённые интервалы времени. В видео объясняется, что, например, Twitter опрашивается каждые 15 минут для получения новых твитов, соответствующих заданным критериям.

💡WebHook

WebHook - это механизм, при котором сервис автоматически отправляет данные, когда происходит определённое событие, без необходимости постоянного опрашивания. В видео WebHook противопоставляется опрашиванию, чтобы подчеркнуть разницу в подходах к получению данных.

💡Конфигурация источника

Конфигурация источника - это набор параметров, управляющих работой источника, таких как ключевые слова поиска или интервал опроса. В видео демонстрируется, как можно изменить конфигурацию источника, чтобы настроить его поведение под конкретные нужды.

💡Открытый исходный код

Открытый исходный код означает, что программный код доступен для просмотра, изменения и использования всеми желающими. В видео подчеркивается, что все источники в Pipedream имеют открытый исходный код, что позволяет пользователям модифицировать их по своему усмотрению.

💡Подписка на события

Подписка на события - это процесс, при котором рабочий процесс регистрируется для получения уведомлений о новых событиях от источника. В видео обсуждается, как рабочие процессы могут подписываться на события, генерируемые источниками, чтобы автоматически запускаться при их обнаружении.

Highlights

Workflows are tied to events such as new tweets, Discord messages, or HTTP requests.

Sources are the origin of workflow triggering events, catching, polling, or listening to incoming events.

Sources can be connected to third-party services or HTTP endpoints to notify subscribing workflows of new events.

Creating workflows with Pipedream automatically generates sources for app-based triggers.

Demonstration of adding a Twitter-based trigger and connecting a Twitter account for keyword searches.

Explanation of creating a source when setting up a trigger, and its role in powering the trigger.

Introduction to the Sources area in the dashboard for managing and viewing event logs.

Sources in Pipedream are open source, allowing users to modify the code.

Users can change the configuration of a source, such as search keywords and polling intervals.

Polling is explained as asking a service for new data on a schedule, contrasting with webhooks that listen for incoming data.

Illustration of reusing an existing source in a workflow instead of creating a new trigger.

Sources can emit events and be reused across different workflows on the same account.

Sources are powerful tools in Pipedream, allowing event listening without the need for a workflow.

The importance of understanding sources as a core concept in how Pipedream works and event subscription.

A tutorial on using sources without a Pipedream workflow is mentioned as a separate topic.

The transcript concludes with a musical note indicating the end of the explanation.

Transcripts

so we've covered how workflows are tied

to events such as when a new tweet is

tweeted or a discord message is sent or

an http request is received to your http

endpoint sources are the origin of all

of these workflow triggering events they

can catch

poll or listen to events coming in from

a third party service or an http

endpoint on your account then they will

notify any subscribing workflows that a

new event has been detected you may not

have realized that when you made your

first set of workflows with pipedream

but you created sources every time you

created an app based trigger i'll show

you what i mean so starting with a brand

new workflow let's add a twitter-based

trigger

we'll click the twitter app

and then we'll search down for the

search mentions

now we can connect our twitter account

i already have my pipe dream test

account added

and i'm going to search for just any

tweets mentioning the keyword pipe dream

and we'll pull it every 15 minutes just

to start

now

you may notice it says create source

so when we click this button it's going

to create a source that powers this

trigger

now that the source has been created

we can look into our sources area the

dashboard so we'll navigate over the

left hand side

and we'll open up this new sources

submenu

and here we can see it created a brand

new source

from our workflow this is very similar

to the workflow inspector or on the

left-hand side you'll see a list of all

of the events that have been detected

and there's even a log section where you

can read all the logs that the source

created such as when it last ran or any

kind of console logs coming from the

source itself

and then lastly we can look at the

configuration which is the actual code

that powers this source

all the sources in pipedream are open

source so you can open the code modify

them

on the far right side you'll see the

current configuration of the source we

can modify individual props like the

search keyword the geolocation of where

the tweet was sent from et cetera and we

can also change the polling interval of

how frequently we ask twitter for new

tweets now for those who don't know

polling means to ask a service for new

data on a certain schedule so for this

particular source we're asking twitter

every 15 minutes for new tweets that

match our search criteria

the opposite is like a web hook where

the service will tell us when new data

is coming in and we're just listening

for it all the time to really drive this

point home i'm going to show you another

way to use a pre-existing source in your

workflows

so let's go ahead and revert this

workflow to have no trigger at all and

instead of selecting the twitter app and

then going through search mentions again

i'm going to use this option to use one

of your existing sources

this will list all of the sources that

are available on your account that are

emitting events

and we can just reuse it

now we've set the trigger to reuse a

source that's already been created under

our account sources are extremely

powerful you can even listen to sources

without using a pipe dream workflow

which is the subject of a different

tutorial but they are a core concept to

understand how pipe dream works and how

workflows subscribe to events

[Music]

you