Data Stores Basics
Summary
TLDRВ этом видео скрипт рассматривается использование хранилищ данных в автоматизированных рабочих процессах. Хранилища данных позволяют сохранять информацию между запусками, что идеально подходит для создания счётчиков, уникальных списков, таких как адреса электронной почты, и отслеживания времени последнего запуска. В видео показан пример создания хранилища для сохранения адресов электронной почты клиентов, чтобы избежать повторных запусков рабочих процессов для тех же клиентов. Также демонстрируется, как проверить наличие адреса в хранилище и обновить его при необходимости, используя предварительно созданные шаги в рабочем процессе.
Takeaways
- 🔄 Каждое выполнение рабочего процесса начинается с чистого состояния, что исключает влияние предыдущих запусков на будущие.
- 🗂 Используя хранилища данных, можно сохранять данные для использования в последующих запусках или даже обмениваться данными между различными рабочими процессами.
- 📊 Хранилища данных подходят для создания счётчиков, массивов уникальной информации, таких как электронные адреса, для предотвращения повторного запуска рабочего процесса для одного и того же клиента.
- ⏰ Можно использовать хранилища данных для быстрого отслеживания последнего времени запуска рабочего процесса.
- 🛠️ В примере рабочего процесса используется триггер HTTP и инструмент hopscotch.pipedream.com для отправки POST-запроса с данными клиента.
- 📥 В рабочем процессе данные клиента, такие как имя, фамилия и адрес электронной почты, включены в теле запроса.
- 📝 Добавление нового шага для хранения адреса электронной почты клиента, чтобы избежать повторного запуска рабочего процесса для этого клиента.
- 🔑 Создание нового хранилища данных для хранения адресов электронной почты клиентов с использованием ключа 'email' и значения из тела запроса.
- 🔍 Тестирование добавления записи в хранилище данных и проверка успешности операции.
- 📋 Просмотр и редактирование данных в хранилище на дашборде, включая возможность редактировать и удалять записи вручную.
- 🚫 Использование шага для извлечения адреса электронной почты из хранилища данных и проверки наличия записи, чтобы предотвратить отправку писем тем, кому уже отправлено.
- 🔢 Рабочие процессы могут хранить данные, сериализуемые в JSON, включая объекты, массивы, строки, целые и десятичные числа.
Q & A
Что такое 'data store' в контексте автоматизированных рабочих процессов?
-Data store - это место хранения данных, которое сохраняется между несколькими запусками рабочих процессов и даже между различными рабочими процессами. Оно используется для хранения данных, таких как счетчики или уникальные списки информации, чтобы избежать повторных запусков рабочих процессов для одних и тех же данных.
Какие данные можно хранить в 'data store'?
-В 'data store' можно хранить данные, которые сериализуются в JSON, включая объекты, массивы, строки, целые и дробные числа.
Какие проблемы решает использование 'data store'?
-Использование 'data store' позволяет решить проблемы с повторными запусками рабочих процессов для одних и тех же данных, а также обеспечивает возможность хранения и использования данных в последующих запусках и между различными рабочими процессами.
Чем отличается 'data store' от 'step exports' в рабочем процессе?
-'Data store' хранит данные на протяжении многих запусков и между различными рабочими процессами, в то время как 'step exports' доступны только во время выполнения текущего рабочего процесса.
Какие действия можно выполнить с 'data store'?
-С 'data store' можно добавлять, получать, редактировать и удалять записи данных.
Как проверить, есть ли уже сохраненная запись в 'data store'?
-Для проверки существующей записи можно использовать функцию 'get record', указав 'data store' и ключ записи.
Какой шаг следует добавить для добавления записи в 'data store'?
-Для добавления записи в 'data store' следует добавить шаг 'add a single record', указав 'data store', ключ и значение записи.
Как настроить новый 'data store' в рабочем процессе?
-Чтобы настроить новый 'data store', нужно выбрать опцию создания нового хранилища, указать название хранилища и ключ-значение для хранимых данных.
Как можно избежать отправки писем тем же людям, для которых уже был запущен рабочий процесс?
-Можно использовать 'data store' для хранения адресов электронной почты, и перед отправкой проверять наличие адреса в 'data store', чтобы избежать повторных отправок.
Что будет показано в 'data store' после добавления записи?
-После добавления записи в 'data store' будет показана информация о ключе и его значении, а также подтверждение успешного добавления записи.
Какие дополнительные функции будут рассмотрены в будущих сериях?
-В будущих сериях будет показано, как использовать 'data store' в рамках шагов на Node.js, а также, возможно, в других языках программирования, таких как Python, Bash или Go.
Outlines
🔄 Автоматизация рабочих процессов с использованием хранилищ данных
В этом параграфе рассматривается концепция автоматизации рабочих процессов, где каждый запуск начинается с чистого состояния, что предотвращает влияние предыдущих запусков на будущие. Однако иногда необходимо сохранять данные для использования в последующих запусках или даже обмениваться данными между различными процессами. Для этих целей представлены хранилища данных, которые, в отличие от временных экспортов, сохраняются на протяжении многих запусков и между различными процессами. Они идеально подходят для создания счётчиков, массивов уникальной информации, таких как электронные адреса, чтобы избежать повторного запуска процесса для одного и того же клиента, или для быстрого отслеживания времени последнего запуска процесса.
📬 Использование хранилищ данных для управления клиентскими данными
В этом параграфе описывается процесс настройки нового рабочего процесса с триггером HTTP и отправкой POST-запроса с данными клиента, такими как имя, фамилия и адрес электронной почты, с помощью инструмента hopscotch.pipedream.com. Далее, в рабочем процессе, создаётся новый шаг для хранения адреса электронной почты клиента в хранилище данных, чтобы избежать повторного запуска процесса для тех же клиентов. Рассматривается создание нового хранилища данных, добавление записи с ключом 'email' и значением адресом электронной почты из полезных данных, полученным от клиента, а также проверка успешности добавления записи и редактирование данных в хранилище.
🔍 Получение и проверка данных из хранилища для предотвращения повторений
В этом параграфе продолжается тема предотвращения повторного запуска рабочего процесса для тех же адресов электронной почты. Рассматривается добавление нового шага для извлечения адреса электронной почты из хранилища данных, использование функций получения записи и проверки наличия записи с заданным ключом. Также описывается проверка успешности получения записи и способы использования данных для фильтрации или других операций, чтобы гарантировать, что не будет отправлено несколько писем одному и тому же человеку. Заключение параграфа касается возможности хранения JSON-сериализуемых данных в рабочих процессах, включая объекты, массивы, строки и числа, с обещанием продемонстрировать использование хранилищ данных в будущих эпизодах.
Mindmap
Keywords
💡workflow
💡data stores
💡step exports
💡http trigger
💡post request
💡payload
💡add a single record
💡datastore
💡get record
💡json serializable data
Highlights
Workflows start with an empty state to prevent past runs from affecting future ones.
Data stores allow for data persistence across multiple workflow runs and sharing across different workflows.
Data stores are useful for building counters, creating arrays of unique information, and timestamp tracking.
Demonstration of a new workflow configured with an HTTP trigger and a tool to send a POST request with customer data.
Introduction of a new step to store the customer's email to prevent duplicate workflow runs for the same customer.
Explanation of how to add a single record to a data store with a specified key and value.
Creation of a new data store named 'customers' to store customer information.
Testing the addition of a new record to the data store and verifying the operation's success.
Accessing and viewing the data store from the dashboard to confirm the stored information.
Editing and manually updating the value of a record in the data store.
Ability to delete records manually from the data store.
The workflow's goal to avoid acting on emails from customers already processed.
Adding a step to retrieve an email address from the data store to check for duplicates.
Using a filter or scripting step to prevent sending emails to previously processed customers.
Workflows can store JSON serializable data, including objects, arrays, strings, and numbers.
Future episodes will cover using data stores within custom Node.js steps.
Transcripts
each time your workflow runs it starts
with an empty state
this way past runs of your workflow
won't affect future runs of your
workflow but sometimes you want to store
data and use it and later workflow runs
or maybe even share data across
workflows this is where data stores come
in handy unlike step exports which only
live during the lifetime of your
workflow's execution data stores persist
across many runs and even across
different workflows data stores are
great for doing things like building
counters or making arrays of unique
information such as emails so that way
you don't accidentally run a workflow
twice in the same customer or just a
quick timestamp tracker to see the last
time a workflow ran so let's go ahead
and start with a brand new workflow i've
already configured this one to have an
http trigger and i've used our
hopscotch.pipedream.com tool to send a
post request with some customer data
like first name last name and email
we'll go back to our workflow and we can
see right here that indeed first name
last name and email are included within
the body of the payload
and let's make a new step to store the
customer's email to make sure we're not
running the same workflow if that
customer comes back again
so we're going to add a brand new step
and you can see here on the left hand
side that there's a data stores app that
holds the actions available to interact
with data stores so i'm going to open
this up
and i'm going to use the add a single
record so that way we can add the email
to our data store
the very first prompt you'll see is to
create a brand new store because there's
not one in my account yet so i'm going
to open it i'm going to name it emails
well let's name it customers actually
so we're describing customers
and we'll set the key to email
and we'll set the value to the email of
the body
given to us by the customer
now we can test
and this should add a brand new record
to our data store
we can see that the summary says we've
successfully added a new record with the
key email
and returned the record stored
now we can actually double check this
within our dashboard so we're going to
leave this workflow head on back to the
dashboard i'm going to leave without
deploying here and you can see on the
left hand side we have a datastores
portion of the dashboard
we can open this and sure enough
right here is the customers data store
that we just created and we can open it
and see right in here that the key has
been set to the value of westin at
pipedream.com
now we can do more than just look at the
data here we can actually edit it on the
right hand side there is an edit button
where we can edit the value manually so
if i want to change it to myself
say peer set pipe dream we can do that
and we can also delete records manually
now we said the whole goal of this
workflow was to make sure we don't act
on emails we've seen before right so
let's head on back to our workflow and
let's reopen it up
and in between the update add record
let's add a brand new step that will
retrieve the email address in our data
store
we're going to open this up and we're
going to use the get record
select our data store that we created
before
and we know that the key is email
and we don't want to create a new record
if it's not found
so now we test this it should be able to
pull that record we modified manually to
say pierce at pipe dream look at the
record and sure enough the return value
is pierce at pipe dream and now we can
use a filter or we can use a node.js
step or python or bash or go
to make sure that we don't
send another email to this same person
that we've seen before that covers the
very basics of setting and getting data
with pre-built steps within your
workflows but just to note workflows can
store json serializable data so this
includes objects
arrays strings and integers and numbers
in future episodes i'm going to show you
how you can use data stores within your
node.js steps as well
[Music]
you
5.0 / 5 (0 votes)