How does storage work across Google data centers?

Summary

En este video, se explora cómo Google maneja el almacenamiento a gran escala, separando el almacenamiento de los sistemas de producción y conectándolos a través de una red global de fibra óptica. Se destaca la importancia de la separación entre almacenamiento y cálculo, permitiendo una escalabilidad independiente y eficiencia en el procesamiento de solicitudes. Además, se menciona la arquitectura de almacenamiento distribuido, la replicación de datos y la seguridad a través del cifrado. Finalmente, se habla de las opciones de almacenamiento en Google Cloud, incluyendo SSD locales, discos persistentes zonales y regionales, y la importancia de la red de alta velocidad para garantizar un rendimiento óptimo.

Takeaways

• 💾 Google separa el almacenamiento de los sistemas de producción y los sistemas de computación, lo que permite una escalabilidad independiente y una mayor eficiencia en el procesamiento de solicitudes.
• 🌐 Los datos necesarios para una máquina no están necesariamente en la misma ubicación física, gracias a la robusta red global de fibra óptica de Google.
• 🔐 La seguridad es inherente en los sistemas de almacenamiento de Google, con todo dato cifrado antes de ser escrito en el disco.
• 🔄 Google organiza racks de almacenamiento y computación en filas, grupos y clústeres dentro de centros de datos, cada uno con su propia infraestructura de energía, enfriamiento y red.
• 🏭 Google ha construido su propia máquina a escala de almacén utilizando cientos de miles de máquinas relativamente económicas.
• 🔒 Los datos se distribuyen a través de múltiples máquinas y se comparten entre diferentes cargas de trabajo, lo que mejora la utilización de la capacidad de las máquinas y proporciona una mayor confiabilidad y rendimiento.
• 🗂️ Se utilizan sistemas como 'D' y 'Colossus' para exponer y administrar el acceso a las unidades de disco duro y SSD en los clústeres, asegurando la máxima utilización de la capacidad.
• 📚 El sistema de archivos Colossus, construido sobre 'D', es la base para servicios como Cloud Storage y Bigtable, y permite la replicación de datos a través de máquinas para una rápida recuperación y tolerancia a fallos.
• 🌐 Los usuarios de Google Cloud tienen la opción de almacenar datos en diferentes tipos de discos SSD, como discos persistentes locales, zonales o regionales, lo que ofrece diferentes niveles de rendimiento y disponibilidad.
• 🌐 La distribución de datos a través de diferentes clústeres y regiones protege los datos de fallos a nivel de zona y regional, asegurando la alta disponibilidad y resistencia.

Q & A

¿Cómo se conectan las unidades de disco duro y las unidades de estado sólido en los sistemas de producción de Google?

Las unidades de disco duro (HDD) y las unidades de estado sólido (SSD) se despliegan por separado de las aplicaciones y se pueden almacenar en un soporte de almacenamiento dedicado, como un estante.

¿Qué ventaja tiene separar el almacenamiento de la computación en Google?

La separación del almacenamiento de la computación permite escalar ambos recursos de manera independiente según la demanda, lo que mejora la eficiencia en el procesamiento de solicitudes.

¿Cómo organizan Google los racks de almacenamiento y computación?

Google organiza los racks de almacenamiento y computación en filas de envoltura física, agrupando grupos de envoltura en clústeres y colocando múltiples clústeres en un solo centro de datos.

¿Qué es una máquina de escala de almacén y cómo se construye Google la suya?

Una máquina de escala de almacén es una infraestructura de computación de gran escala. Google construye la suya a partir de cientos de miles de máquinas relativamente económicas.

¿Cómo se comparte el almacenamiento en los centros de datos de Google?

En los centros de datos de Google, es raro dedicar un dispositivo de almacenamiento entero solo para los datos de un producto o servicio. En su lugar, se distribuye el trabajo de datos a través de múltiples máquinas y los trabajos comparten el acceso de red a ese almacenamiento.

¿Qué rol juega el cifrado en los sistemas de almacenamiento de Google?

El cifrado es inherente en los sistemas de almacenamiento de Google, y todos los datos se cifran antes de ser escritos en el disco.

¿Cómo garantiza Google la durabilidad de los datos a pesar de los fallos periódicos de máquinas, racks o edificios enteros?

Google construye software para hacer que los datos almacenados sean duraderos, de modo que en caso de fallo, no se pierda información.

¿Qué es el sistema 'D' y cómo funciona en el nivel de máquina?

El sistema 'D' es un sistema que expone las unidades de disco duro y SSD conectadas a máquinas individuales a otros servicios en el clúster, gestionando el acceso a la capacidad del disco de cada máquina para maximizar la utilización.

¿Qué es el sistema de archivos Colossus y cómo se relaciona con el sistema 'D'?

Colossus es un sistema de archivos construido por Google sobre el sistema 'D', que es la base para muchos servicios como Cloud Storage y Bigtable. Los archivos en Colossus se descomponen en un conjunto de trozos que se pueden almacenar en diferentes máquinas en el clúster.

¿Cómo se asegura la seguridad y eficiencia en el almacenamiento de datos en Google Cloud Services?

La seguridad se asegura mediante el cifrado de cada trozo de datos, cada uno con una clave de cifrado única. La eficiencia se logra a través de la distribución de datos que mejora la utilización de la capacidad de las máquinas y proporciona una alta confiabilidad y rendimiento en los servicios de Google Cloud.

¿Qué opciones de almacenamiento ofrece Google Cloud a sus usuarios?

Los usuarios de Google Cloud pueden almacenar datos en unidades de estado sólido locales, discos persistentes zonales que se asignan a clústeres en la misma región, discos persistentes regionales a través de regiones de nube, o incluso en buckets de almacenamiento.

Outlines

00:00

💾 Sistema de almacenamiento y producción de Google

La discusión comienza con la interconexión de discos duros y unidades de estado sólido en sistemas de producción de Google. Se destaca la separación entre almacenamiento y cálculo, donde los datos se almacenan en unidades físicas separadas y se accede a través de una red global de fibra óptica. Esto permite una escalabilidad independiente y una mayor eficiencia en el procesamiento de solicitudes. Además, se describe la organización en filas, grupos y clústeres dentro de los centros de datos, y cómo cada clúster tiene su propia infraestructura de energía, enfriamiento y red, diseñada para proteger y garantizar la confiabilidad de los datos a gran escala.

Keywords

💡Almacenamiento

El almacenamiento se refiere a la capacidad de guardar datos en dispositivos físicos como discos duros (HDD) o unidades de estado sólido (SSD). En el guion, se menciona que los datos se almacenan en HDDs o SSDs y se separan del proceso de cálculo, lo que permite una escalabilidad y eficiencia más altas en el manejo de datos a gran escala.

💡Separación de almacenamiento y cálculo

Esta técnica implica que los sistemas de almacenamiento y los sistemas de procesamiento de datos funcionan de manera independiente. En el guion, se destaca que en Google, el almacenamiento se separa del cálculo para permitir una expansión independiente y una mayor eficiencia en el procesamiento de solicitudes.

💡Red global de fibra óptica

La red global de fibra óptica es una infraestructura de alta velocidad que permite la comunicación entre diferentes ubicaciones físicas. En el guion, se menciona que las máquinas pueden acceder a datos en diferentes ubicaciones físicas a través de esta red, lo que es fundamental para la conectividad y la accesibilidad de los datos.

💡Escalabilidad

La escalabilidad es la capacidad de un sistema para manejar crecimiento en la cantidad de trabajo o usuarios. En el guion, se discute cómo la separación de almacenamiento y cálculo permite escalar estos recursos de manera independiente según la demanda, lo que es crucial para manejar la creciente cantidad de datos y solicitudes en Google.

💡Agrupación en filas y clusters

En el guion, se describe cómo se organizan los racks de almacenamiento y cálculo en filas y clusters dentro de los centros de datos. Esto facilita la administración y la expansión de la infraestructura, y es una parte importante del diseño para la protección de datos y confiabilidad a gran escala.

💡Máquinas de granja de gran escala

Las máquinas de granja de gran escala son sistemas informáticos que consisten en un gran número de máquinas relativamente económicas trabajando juntas. En el guion, se menciona que Google ha construido su propia infraestructura de este tipo, lo que permite una mayor eficiencia y escalabilidad en el manejo de datos.

💡Distribución de carga de trabajo

La distribución de carga de trabajo se refiere a la práctica de dividir la carga de trabajo entre múltiples máquinas. En el guion, se explica que en Google, los datos de una carga de trabajo se distribuyen entre varias máquinas y se comparte el acceso a dicho almacenamiento a través de la red, lo que mejora la eficiencia y la confiabilidad.

💡Encriptación

La encriptación es el proceso de convertir datos en un formato que solo puede ser leído con una clave específica. En el guion, se resalta que la encriptación es inherente en los sistemas de almacenamiento de Google y que todos los datos se encriptan antes de ser escritos en el disco, lo que garantiza la seguridad de los datos.

💡Durabilidad de datos

La durabilidad de datos se refiere a la capacidad de los datos para permanecer intactos a lo largo del tiempo y resistir fallos. En el guion, se discute cómo Google ha desarrollado software para hacer que los datos sean duraderos, lo que significa que en caso de fallos en máquinas o racks, los datos no se pierden.

💡Colossus

Colossus es el nombre del sistema de archivos que Google ha desarrollado para manejar grandes volúmenes de datos con alta durabilidad y requisitos de latencia. En el guion, se menciona que Colossus descompone los archivos en fragmentos que se almacenan en diferentes máquinas, lo que es clave para la recuperación rápida y la tolerancia a fallos en redes.

💡Replicación de datos

La replicación de datos es el proceso de crear copias de los datos en diferentes ubicaciones para protegerlos de la pérdida. En el guion, se explica que Colossus identifica en qué máquina se debe escribir cada fragmento de datos y se replica a través de máquinas, lo que es fundamental para la recuperación y la tolerancia a fallos.

Highlights

La discusión sobre el almacenamiento en Google es inseparable de la operación de sus sistemas de producción.

Los discos duros y las unidades de estado sólido se despliegan separadamente de las aplicaciones.

El almacenamiento se separa del cálculo para permitir una escalabilidad independiente según la demanda.

Las máquinas pueden acceder a datos en ubicaciones físicas diferentes a través de una red global de fibra óptica.

El almacenamiento y los racks de cálculo se organizan en filas y clusters dentro de un centro de datos.

Cada clúster depende de su propia infraestructura de alimentación, enfriamiento y red.

Google ha construido su propia máquina a escala de almacén utilizando cientos de miles de máquinas relativamente económicas.

Es raro en Google dedicar un dispositivo de almacenamiento completo solo para los datos de un producto o servicio.

El cifrado es inherente en los sistemas de almacenamiento de Google y todos los datos se cifran antes de ser escritos en el disco.

Google ha desarrollado software para hacer que los datos sean duraderos y resistentes a fallos de máquinas, racks o edificios.

Cada capa de la pila de almacenamiento, incluidos el sistema de archivos y la capa que escribe en los dispositivos de almacenamiento, es un servicio compartido.

El sistema 'D' expone las unidades de disco duros y SSD conectadas a máquinas individuales a otros servicios en el clúster.

El sistema de archivos Colossus, construido sobre 'D', es la base para servicios como Cloud Storage y Bigtable.

En Colossus, los archivos se descomponen en conjuntos de fragmentos que se pueden almacenar en diferentes máquinas del clúster.

La replicación de datos entre máquinas es clave para la recuperación rápida y la tolerancia a fallos.

Los servicios se adaptan constantemente al uso de recursos en función de la cantidad de servicios que se ejecutan en una sola máquina.

Los usuarios de Google Cloud pueden almacenar datos en diferentes tipos de discos SSD y opciones de almacenamiento en varias regiones.

El almacenamiento se distribuye en diferentes clústeres para proteger los datos de fallos a nivel de zona y regional.

El sistema 'D' y Colossus gestionan el acceso al almacenamiento, garantizan la seguridad de los datos y utilizan eficientemente el hardware.

La velocidad de la red de Google permite que todo esto sea posible, lo que se explorará en el próximo episodio.

Transcripts

[MUSIC PLAYING]

STEPHANIE WONG: You can't really talk about storage at Google

without talking about how our production systems work.

How are all the hard disks and flash

drives on individual machines connected?

Let's boil it down.

Data is stored in hard disk drives or solid state drives.

SSDs and HDDs are deployed separately

from the applications.

For example, they can be stored in a dedicated storage

tray like this one.

In other words, we separate Storage from Compute.

Data needed by a machine is typically

not even in the same rack because machines

can access data in a different physical location

through our robust global fiber network.

Splitting Storage and Compute lets us scale them

independently as demand grows.

And machines can process requests much more efficiently.

We organize Storage and Compute racks

into rows of physical enclosures,

organizing groups of enclosures into clusters,

and putting multiple clusters in a single data center.

Each cluster depends on their own power, cooling, and network

infrastructure, a deliberate part

of how we design for data protection and reliability

at scale.

We've built our own warehouse-scale machine out

of hundreds of thousands of relatively inexpensive

machines.

At Google, it's rare to dedicate an entire storage

appliance in our data center for storing only one

product or service's data.

Instead, we spread a workload's data across multiple machines,

and workloads share network access to that storage.

Encryption is inherent in our storage systems,

and all data is encrypted prior to being written to disk.

But how does Google make storage accessible and scalable

across a global fleet of machines?

Remember, at planetary scale, it's

not unusual for individual machines, racks,

or even entire buildings to periodically fail,

so we need to build software to make the data stored on them

durable.

That way, when they fail, no data is lost.

Every layer of our storage stack,

down to the file system and the layer that writes to storage

devices, is a shared service.

Services like Search, Photos, and Gmail

workloads share machines at the data centers.

Resources within each machine, like Compute and Memory,

are allocated to each service.

At a machine level, disk, or D for short,

is a system that exposes the hard disk and SSD drives

attached to individual machines to other services

in the cluster.

It manages access to each machine's disk capacity

to maximize utilization.

At the cluster level, most data we store

has high durability and latency requirements,

so we built a file system called Colossus on top of D, which

is the foundation for many services like Cloud Storage

and Bigtable.

At the Colossus level, files are broken down

into a set of chunks that can be stored on different machines

in the cluster.

This data replication across machines

is the key to fast recovery and fault

tolerance against things like network failures.

For a given chunk, Colossus identifies a machine

to write the chunk to, and the client sends the chunk

to the D service that runs on the target machine

to perform the write.

Security is ensured through the encryption of each chunk,

and each chunk has a unique encryption key.

Because a single machine can be running multiple services,

and conversely, a service can be running on many machines,

services are constantly adapting to the amount

of resources they use.

Now you can see how distributed data better utilizes

our machine capacity and gives Google Cloud Services higher

reliability and performance.

For Google Cloud users, you have the option

to store data on local solid state drives,

zonal persistent disks that map to clusters across zones

in the same region, or regional persistent disks

across cloud regions or even storage buckets.

You can store data in a single region for high performance,

dual region for high performance and high availability,

and multiple regions for the highest availability.

Your data maps to different clusters

and protects it from zonal and regional failures.

D and Colossus manage access to the storage, store data safely

and securely, and efficiently use our hardware

so you get the best performance possible.

All of this is possible because of the speed of our network

fabric.

More on that next time on Discovering Data Centers.

[MUSIC PLAYING]