Data Stores Basics

Summary

В этом видео скрипт рассматривается использование хранилищ данных в автоматизированных рабочих процессах. Хранилища данных позволяют сохранять информацию между запусками, что идеально подходит для создания счётчиков, уникальных списков, таких как адреса электронной почты, и отслеживания времени последнего запуска. В видео показан пример создания хранилища для сохранения адресов электронной почты клиентов, чтобы избежать повторных запусков рабочих процессов для тех же клиентов. Также демонстрируется, как проверить наличие адреса в хранилище и обновить его при необходимости, используя предварительно созданные шаги в рабочем процессе.

Takeaways

• 🔄 Каждое выполнение рабочего процесса начинается с чистого состояния, что исключает влияние предыдущих запусков на будущие.
• 🗂 Используя хранилища данных, можно сохранять данные для использования в последующих запусках или даже обмениваться данными между различными рабочими процессами.
• 📊 Хранилища данных подходят для создания счётчиков, массивов уникальной информации, таких как электронные адреса, для предотвращения повторного запуска рабочего процесса для одного и того же клиента.
• ⏰ Можно использовать хранилища данных для быстрого отслеживания последнего времени запуска рабочего процесса.
• 🛠️ В примере рабочего процесса используется триггер HTTP и инструмент hopscotch.pipedream.com для отправки POST-запроса с данными клиента.
• 📥 В рабочем процессе данные клиента, такие как имя, фамилия и адрес электронной почты, включены в теле запроса.
• 📝 Добавление нового шага для хранения адреса электронной почты клиента, чтобы избежать повторного запуска рабочего процесса для этого клиента.
• 🔑 Создание нового хранилища данных для хранения адресов электронной почты клиентов с использованием ключа 'email' и значения из тела запроса.
• 🔍 Тестирование добавления записи в хранилище данных и проверка успешности операции.
• 📋 Просмотр и редактирование данных в хранилище на дашборде, включая возможность редактировать и удалять записи вручную.
• 🚫 Использование шага для извлечения адреса электронной почты из хранилища данных и проверки наличия записи, чтобы предотвратить отправку писем тем, кому уже отправлено.
• 🔢 Рабочие процессы могут хранить данные, сериализуемые в JSON, включая объекты, массивы, строки, целые и десятичные числа.

Q & A

Что такое 'data store' в контексте автоматизированных рабочих процессов?

Data store - это место хранения данных, которое сохраняется между несколькими запусками рабочих процессов и даже между различными рабочими процессами. Оно используется для хранения данных, таких как счетчики или уникальные списки информации, чтобы избежать повторных запусков рабочих процессов для одних и тех же данных.

Какие данные можно хранить в 'data store'?

В 'data store' можно хранить данные, которые сериализуются в JSON, включая объекты, массивы, строки, целые и дробные числа.

Какие проблемы решает использование 'data store'?

Использование 'data store' позволяет решить проблемы с повторными запусками рабочих процессов для одних и тех же данных, а также обеспечивает возможность хранения и использования данных в последующих запусках и между различными рабочими процессами.

Чем отличается 'data store' от 'step exports' в рабочем процессе?

'Data store' хранит данные на протяжении многих запусков и между различными рабочими процессами, в то время как 'step exports' доступны только во время выполнения текущего рабочего процесса.

Какие действия можно выполнить с 'data store'?

С 'data store' можно добавлять, получать, редактировать и удалять записи данных.

Как проверить, есть ли уже сохраненная запись в 'data store'?

Для проверки существующей записи можно использовать функцию 'get record', указав 'data store' и ключ записи.

Какой шаг следует добавить для добавления записи в 'data store'?

Для добавления записи в 'data store' следует добавить шаг 'add a single record', указав 'data store', ключ и значение записи.

Как настроить новый 'data store' в рабочем процессе?

Чтобы настроить новый 'data store', нужно выбрать опцию создания нового хранилища, указать название хранилища и ключ-значение для хранимых данных.

Как можно избежать отправки писем тем же людям, для которых уже был запущен рабочий процесс?

Можно использовать 'data store' для хранения адресов электронной почты, и перед отправкой проверять наличие адреса в 'data store', чтобы избежать повторных отправок.

Что будет показано в 'data store' после добавления записи?

После добавления записи в 'data store' будет показана информация о ключе и его значении, а также подтверждение успешного добавления записи.

Какие дополнительные функции будут рассмотрены в будущих сериях?

В будущих сериях будет показано, как использовать 'data store' в рамках шагов на Node.js, а также, возможно, в других языках программирования, таких как Python, Bash или Go.

Outlines

00:00

🔄 Автоматизация рабочих процессов с использованием хранилищ данных

В этом параграфе рассматривается концепция автоматизации рабочих процессов, где каждый запуск начинается с чистого состояния, что предотвращает влияние предыдущих запусков на будущие. Однако иногда необходимо сохранять данные для использования в последующих запусках или даже обмениваться данными между различными процессами. Для этих целей представлены хранилища данных, которые, в отличие от временных экспортов, сохраняются на протяжении многих запусков и между различными процессами. Они идеально подходят для создания счётчиков, массивов уникальной информации, таких как электронные адреса, чтобы избежать повторного запуска процесса для одного и того же клиента, или для быстрого отслеживания времени последнего запуска процесса.

📬 Использование хранилищ данных для управления клиентскими данными

В этом параграфе описывается процесс настройки нового рабочего процесса с триггером HTTP и отправкой POST-запроса с данными клиента, такими как имя, фамилия и адрес электронной почты, с помощью инструмента hopscotch.pipedream.com. Далее, в рабочем процессе, создаётся новый шаг для хранения адреса электронной почты клиента в хранилище данных, чтобы избежать повторного запуска процесса для тех же клиентов. Рассматривается создание нового хранилища данных, добавление записи с ключом 'email' и значением адресом электронной почты из полезных данных, полученным от клиента, а также проверка успешности добавления записи и редактирование данных в хранилище.

🔍 Получение и проверка данных из хранилища для предотвращения повторений

В этом параграфе продолжается тема предотвращения повторного запуска рабочего процесса для тех же адресов электронной почты. Рассматривается добавление нового шага для извлечения адреса электронной почты из хранилища данных, использование функций получения записи и проверки наличия записи с заданным ключом. Также описывается проверка успешности получения записи и способы использования данных для фильтрации или других операций, чтобы гарантировать, что не будет отправлено несколько писем одному и тому же человеку. Заключение параграфа касается возможности хранения JSON-сериализуемых данных в рабочих процессах, включая объекты, массивы, строки и числа, с обещанием продемонстрировать использование хранилищ данных в будущих эпизодах.

Keywords

💡workflow

Workflow в контексте видео обозначает последовательность действий или процесс, который выполняется в автоматизированной среде, такой как система управления хостингом или облачные сервисы. В видео это связано с созданием и запуском автоматизированных задач, где каждый запуск начинается с чистого состояния, что означает, что предыдущие запуски не влияют на будущие. Пример из скрипта: 'each time your workflow runs it starts, with an empty state'.

💡data stores

Data stores представляют собой место хранения данных, которые сохраняются и могут использоваться в различных запусках рабочего процесса или даже в разных рабочих процессах. Они особенно полезны для хранения данных, которые должны быть доступны на протяжении нескольких запусков, в отличие от временных переменных, которые существуют только во время выполнения. Пример из скрипта: 'this is where data stores come in handy'.

💡step exports

Step exports - это временные данные, созданные в ходе выполнения конкретного шага в рабочем процессе. Они доступны только на протяжении выполнения этого шага и не сохраняются после его завершения. В видео они сравниваются с data stores, которые, напротив, сохраняются на протяжении нескольких запусков. Пример из скрипта: 'unlike step exports which only live during the lifetime of your workflow's execution'.

💡http trigger

HTTP trigger - это тип триггера, который запускает рабочий процесс в ответ на HTTP-запрос. В контексте видео это означает, что рабочий процесс может быть запущен при получении определенного HTTP-запроса, что позволяет интегрировать различные сервисы и приложения. Пример из скрипта: 'i've already configured this one to have an http trigger'.

💡post request

POST-запрос - это тип HTTP-запроса, используемого для отправки данных на сервер. В видео это используется для отправки данных о клиенте, таких как имя, фамилия и адрес электронной почты, в рабочий процесс через HTTP-триггер. Пример из скрипта: 'to send a post request with some customer data'.

💡payload

Payload в контексте видео - это тело запроса, которое содержит данные, отправленные в HTTP-запросе. В данном случае это данные о клиенте, такие как имя, фамилия и адрес электронной почты, которые включены в тело POST-запроса. Пример из скрипта: 'first name, last name and email are included within the body of the payload'.

💡add a single record

Фраза 'add a single record' означает добавление одного записи в data store. В видео это используется для добавления адреса электронной почты клиента в data store, чтобы избежать повторного запуска рабочего процесса для одного и того же клиента. Пример из скрипта: 'i'm going to use the add a single record so that way we can add the email, to our data store'.

💡datastore

Datastore - это место хранения данных, которое может быть создано и использовано для хранения и извлечения данных в рабочих процессах. В видео datastore с названием 'customers' используется для хранения адресов электронной почты клиентов. Пример из скрипта: 'i'm going to name it emails, well let's name it customers actually'.

💡get record

Get record - это операция, используемая для извлечения записи из datastore по определенному ключу. В видео это используется для проверки существует ли уже запись с адресом электронной почты клиента в datastore, чтобы избежать отправки повторного запроса. Пример из скрипта: 'let's add a brand new step that will retrieve the email address in our data store'.

💡json serializable data

JSON serializable data - это данные, которые могут быть сериализованы в формат JSON, включая объекты, массивы, строки, целые и десятичные числа. В видео это упоминается в контексте того, что workflows могут хранить данные в таком формате. Пример из скрипта: 'workflows can store json serializable data so this includes objects, arrays strings and integers and numbers'.

Highlights

Workflows start with an empty state to prevent past runs from affecting future ones.

Data stores allow for data persistence across multiple workflow runs and sharing across different workflows.

Data stores are useful for building counters, creating arrays of unique information, and timestamp tracking.

Demonstration of a new workflow configured with an HTTP trigger and a tool to send a POST request with customer data.

Introduction of a new step to store the customer's email to prevent duplicate workflow runs for the same customer.

Explanation of how to add a single record to a data store with a specified key and value.

Creation of a new data store named 'customers' to store customer information.

Testing the addition of a new record to the data store and verifying the operation's success.

Accessing and viewing the data store from the dashboard to confirm the stored information.

Editing and manually updating the value of a record in the data store.

Ability to delete records manually from the data store.

The workflow's goal to avoid acting on emails from customers already processed.

Adding a step to retrieve an email address from the data store to check for duplicates.

Using a filter or scripting step to prevent sending emails to previously processed customers.

Workflows can store JSON serializable data, including objects, arrays, strings, and numbers.

Future episodes will cover using data stores within custom Node.js steps.

Transcripts

each time your workflow runs it starts

with an empty state

this way past runs of your workflow

won't affect future runs of your

workflow but sometimes you want to store

data and use it and later workflow runs

or maybe even share data across

workflows this is where data stores come

in handy unlike step exports which only

live during the lifetime of your

workflow's execution data stores persist

across many runs and even across

different workflows data stores are

great for doing things like building

counters or making arrays of unique

information such as emails so that way

you don't accidentally run a workflow

twice in the same customer or just a

quick timestamp tracker to see the last

time a workflow ran so let's go ahead

and start with a brand new workflow i've

already configured this one to have an

http trigger and i've used our

hopscotch.pipedream.com tool to send a

post request with some customer data

like first name last name and email

we'll go back to our workflow and we can

see right here that indeed first name

last name and email are included within

the body of the payload

and let's make a new step to store the

customer's email to make sure we're not

running the same workflow if that

customer comes back again

so we're going to add a brand new step

and you can see here on the left hand

side that there's a data stores app that

holds the actions available to interact

with data stores so i'm going to open

this up

and i'm going to use the add a single

record so that way we can add the email

to our data store

the very first prompt you'll see is to

create a brand new store because there's

not one in my account yet so i'm going

to open it i'm going to name it emails

well let's name it customers actually

so we're describing customers

and we'll set the key to email

and we'll set the value to the email of

the body

given to us by the customer

now we can test

and this should add a brand new record

to our data store

we can see that the summary says we've

successfully added a new record with the

key email

and returned the record stored

now we can actually double check this

within our dashboard so we're going to

leave this workflow head on back to the

dashboard i'm going to leave without

deploying here and you can see on the

left hand side we have a datastores

portion of the dashboard

we can open this and sure enough

right here is the customers data store

that we just created and we can open it

and see right in here that the key has

been set to the value of westin at

pipedream.com

now we can do more than just look at the

data here we can actually edit it on the

right hand side there is an edit button

where we can edit the value manually so

if i want to change it to myself

say peer set pipe dream we can do that

and we can also delete records manually

now we said the whole goal of this

workflow was to make sure we don't act

on emails we've seen before right so

let's head on back to our workflow and

let's reopen it up

and in between the update add record

let's add a brand new step that will

retrieve the email address in our data

store

we're going to open this up and we're

going to use the get record

select our data store that we created

before

and we know that the key is email

and we don't want to create a new record

if it's not found

so now we test this it should be able to

pull that record we modified manually to

say pierce at pipe dream look at the

record and sure enough the return value

is pierce at pipe dream and now we can

use a filter or we can use a node.js

step or python or bash or go

to make sure that we don't

send another email to this same person

that we've seen before that covers the

very basics of setting and getting data

with pre-built steps within your

workflows but just to note workflows can

store json serializable data so this

includes objects

arrays strings and integers and numbers

in future episodes i'm going to show you

how you can use data stores within your

node.js steps as well

[Music]

you