How does storage work across Google data centers?
Summary
TLDREn este video, se explora cómo Google maneja el almacenamiento a gran escala, separando el almacenamiento de los sistemas de producción y conectándolos a través de una red global de fibra óptica. Se destaca la importancia de la separación entre almacenamiento y cálculo, permitiendo una escalabilidad independiente y eficiencia en el procesamiento de solicitudes. Además, se menciona la arquitectura de almacenamiento distribuido, la replicación de datos y la seguridad a través del cifrado. Finalmente, se habla de las opciones de almacenamiento en Google Cloud, incluyendo SSD locales, discos persistentes zonales y regionales, y la importancia de la red de alta velocidad para garantizar un rendimiento óptimo.
Takeaways
- 💾 Google separa el almacenamiento de los sistemas de producción y los sistemas de computación, lo que permite una escalabilidad independiente y una mayor eficiencia en el procesamiento de solicitudes.
- 🌐 Los datos necesarios para una máquina no están necesariamente en la misma ubicación física, gracias a la robusta red global de fibra óptica de Google.
- 🔐 La seguridad es inherente en los sistemas de almacenamiento de Google, con todo dato cifrado antes de ser escrito en el disco.
- 🔄 Google organiza racks de almacenamiento y computación en filas, grupos y clústeres dentro de centros de datos, cada uno con su propia infraestructura de energía, enfriamiento y red.
- 🏭 Google ha construido su propia máquina a escala de almacén utilizando cientos de miles de máquinas relativamente económicas.
- 🔒 Los datos se distribuyen a través de múltiples máquinas y se comparten entre diferentes cargas de trabajo, lo que mejora la utilización de la capacidad de las máquinas y proporciona una mayor confiabilidad y rendimiento.
- 🗂️ Se utilizan sistemas como 'D' y 'Colossus' para exponer y administrar el acceso a las unidades de disco duro y SSD en los clústeres, asegurando la máxima utilización de la capacidad.
- 📚 El sistema de archivos Colossus, construido sobre 'D', es la base para servicios como Cloud Storage y Bigtable, y permite la replicación de datos a través de máquinas para una rápida recuperación y tolerancia a fallos.
- 🌐 Los usuarios de Google Cloud tienen la opción de almacenar datos en diferentes tipos de discos SSD, como discos persistentes locales, zonales o regionales, lo que ofrece diferentes niveles de rendimiento y disponibilidad.
- 🌐 La distribución de datos a través de diferentes clústeres y regiones protege los datos de fallos a nivel de zona y regional, asegurando la alta disponibilidad y resistencia.
Q & A
¿Cómo se conectan las unidades de disco duro y las unidades de estado sólido en los sistemas de producción de Google?
-Las unidades de disco duro (HDD) y las unidades de estado sólido (SSD) se despliegan por separado de las aplicaciones y se pueden almacenar en un soporte de almacenamiento dedicado, como un estante.
¿Qué ventaja tiene separar el almacenamiento de la computación en Google?
-La separación del almacenamiento de la computación permite escalar ambos recursos de manera independiente según la demanda, lo que mejora la eficiencia en el procesamiento de solicitudes.
¿Cómo organizan Google los racks de almacenamiento y computación?
-Google organiza los racks de almacenamiento y computación en filas de envoltura física, agrupando grupos de envoltura en clústeres y colocando múltiples clústeres en un solo centro de datos.
¿Qué es una máquina de escala de almacén y cómo se construye Google la suya?
-Una máquina de escala de almacén es una infraestructura de computación de gran escala. Google construye la suya a partir de cientos de miles de máquinas relativamente económicas.
¿Cómo se comparte el almacenamiento en los centros de datos de Google?
-En los centros de datos de Google, es raro dedicar un dispositivo de almacenamiento entero solo para los datos de un producto o servicio. En su lugar, se distribuye el trabajo de datos a través de múltiples máquinas y los trabajos comparten el acceso de red a ese almacenamiento.
¿Qué rol juega el cifrado en los sistemas de almacenamiento de Google?
-El cifrado es inherente en los sistemas de almacenamiento de Google, y todos los datos se cifran antes de ser escritos en el disco.
¿Cómo garantiza Google la durabilidad de los datos a pesar de los fallos periódicos de máquinas, racks o edificios enteros?
-Google construye software para hacer que los datos almacenados sean duraderos, de modo que en caso de fallo, no se pierda información.
¿Qué es el sistema 'D' y cómo funciona en el nivel de máquina?
-El sistema 'D' es un sistema que expone las unidades de disco duro y SSD conectadas a máquinas individuales a otros servicios en el clúster, gestionando el acceso a la capacidad del disco de cada máquina para maximizar la utilización.
¿Qué es el sistema de archivos Colossus y cómo se relaciona con el sistema 'D'?
-Colossus es un sistema de archivos construido por Google sobre el sistema 'D', que es la base para muchos servicios como Cloud Storage y Bigtable. Los archivos en Colossus se descomponen en un conjunto de trozos que se pueden almacenar en diferentes máquinas en el clúster.
¿Cómo se asegura la seguridad y eficiencia en el almacenamiento de datos en Google Cloud Services?
-La seguridad se asegura mediante el cifrado de cada trozo de datos, cada uno con una clave de cifrado única. La eficiencia se logra a través de la distribución de datos que mejora la utilización de la capacidad de las máquinas y proporciona una alta confiabilidad y rendimiento en los servicios de Google Cloud.
¿Qué opciones de almacenamiento ofrece Google Cloud a sus usuarios?
-Los usuarios de Google Cloud pueden almacenar datos en unidades de estado sólido locales, discos persistentes zonales que se asignan a clústeres en la misma región, discos persistentes regionales a través de regiones de nube, o incluso en buckets de almacenamiento.
Outlines
💾 Sistema de almacenamiento y producción de Google
La discusión comienza con la interconexión de discos duros y unidades de estado sólido en sistemas de producción de Google. Se destaca la separación entre almacenamiento y cálculo, donde los datos se almacenan en unidades físicas separadas y se accede a través de una red global de fibra óptica. Esto permite una escalabilidad independiente y una mayor eficiencia en el procesamiento de solicitudes. Además, se describe la organización en filas, grupos y clústeres dentro de los centros de datos, y cómo cada clúster tiene su propia infraestructura de energía, enfriamiento y red, diseñada para proteger y garantizar la confiabilidad de los datos a gran escala.
Mindmap
Keywords
💡Almacenamiento
💡Separación de almacenamiento y cálculo
💡Red global de fibra óptica
💡Escalabilidad
💡Agrupación en filas y clusters
💡Máquinas de granja de gran escala
💡Distribución de carga de trabajo
💡Encriptación
💡Durabilidad de datos
💡Colossus
💡Replicación de datos
Highlights
La discusión sobre el almacenamiento en Google es inseparable de la operación de sus sistemas de producción.
Los discos duros y las unidades de estado sólido se despliegan separadamente de las aplicaciones.
El almacenamiento se separa del cálculo para permitir una escalabilidad independiente según la demanda.
Las máquinas pueden acceder a datos en ubicaciones físicas diferentes a través de una red global de fibra óptica.
El almacenamiento y los racks de cálculo se organizan en filas y clusters dentro de un centro de datos.
Cada clúster depende de su propia infraestructura de alimentación, enfriamiento y red.
Google ha construido su propia máquina a escala de almacén utilizando cientos de miles de máquinas relativamente económicas.
Es raro en Google dedicar un dispositivo de almacenamiento completo solo para los datos de un producto o servicio.
El cifrado es inherente en los sistemas de almacenamiento de Google y todos los datos se cifran antes de ser escritos en el disco.
Google ha desarrollado software para hacer que los datos sean duraderos y resistentes a fallos de máquinas, racks o edificios.
Cada capa de la pila de almacenamiento, incluidos el sistema de archivos y la capa que escribe en los dispositivos de almacenamiento, es un servicio compartido.
El sistema 'D' expone las unidades de disco duros y SSD conectadas a máquinas individuales a otros servicios en el clúster.
El sistema de archivos Colossus, construido sobre 'D', es la base para servicios como Cloud Storage y Bigtable.
En Colossus, los archivos se descomponen en conjuntos de fragmentos que se pueden almacenar en diferentes máquinas del clúster.
La replicación de datos entre máquinas es clave para la recuperación rápida y la tolerancia a fallos.
Los servicios se adaptan constantemente al uso de recursos en función de la cantidad de servicios que se ejecutan en una sola máquina.
Los usuarios de Google Cloud pueden almacenar datos en diferentes tipos de discos SSD y opciones de almacenamiento en varias regiones.
El almacenamiento se distribuye en diferentes clústeres para proteger los datos de fallos a nivel de zona y regional.
El sistema 'D' y Colossus gestionan el acceso al almacenamiento, garantizan la seguridad de los datos y utilizan eficientemente el hardware.
La velocidad de la red de Google permite que todo esto sea posible, lo que se explorará en el próximo episodio.
Transcripts
[MUSIC PLAYING]
STEPHANIE WONG: You can't really talk about storage at Google
without talking about how our production systems work.
How are all the hard disks and flash
drives on individual machines connected?
Let's boil it down.
Data is stored in hard disk drives or solid state drives.
SSDs and HDDs are deployed separately
from the applications.
For example, they can be stored in a dedicated storage
tray like this one.
In other words, we separate Storage from Compute.
Data needed by a machine is typically
not even in the same rack because machines
can access data in a different physical location
through our robust global fiber network.
Splitting Storage and Compute lets us scale them
independently as demand grows.
And machines can process requests much more efficiently.
We organize Storage and Compute racks
into rows of physical enclosures,
organizing groups of enclosures into clusters,
and putting multiple clusters in a single data center.
Each cluster depends on their own power, cooling, and network
infrastructure, a deliberate part
of how we design for data protection and reliability
at scale.
We've built our own warehouse-scale machine out
of hundreds of thousands of relatively inexpensive
machines.
At Google, it's rare to dedicate an entire storage
appliance in our data center for storing only one
product or service's data.
Instead, we spread a workload's data across multiple machines,
and workloads share network access to that storage.
Encryption is inherent in our storage systems,
and all data is encrypted prior to being written to disk.
But how does Google make storage accessible and scalable
across a global fleet of machines?
Remember, at planetary scale, it's
not unusual for individual machines, racks,
or even entire buildings to periodically fail,
so we need to build software to make the data stored on them
durable.
That way, when they fail, no data is lost.
Every layer of our storage stack,
down to the file system and the layer that writes to storage
devices, is a shared service.
Services like Search, Photos, and Gmail
workloads share machines at the data centers.
Resources within each machine, like Compute and Memory,
are allocated to each service.
At a machine level, disk, or D for short,
is a system that exposes the hard disk and SSD drives
attached to individual machines to other services
in the cluster.
It manages access to each machine's disk capacity
to maximize utilization.
At the cluster level, most data we store
has high durability and latency requirements,
so we built a file system called Colossus on top of D, which
is the foundation for many services like Cloud Storage
and Bigtable.
At the Colossus level, files are broken down
into a set of chunks that can be stored on different machines
in the cluster.
This data replication across machines
is the key to fast recovery and fault
tolerance against things like network failures.
For a given chunk, Colossus identifies a machine
to write the chunk to, and the client sends the chunk
to the D service that runs on the target machine
to perform the write.
Security is ensured through the encryption of each chunk,
and each chunk has a unique encryption key.
Because a single machine can be running multiple services,
and conversely, a service can be running on many machines,
services are constantly adapting to the amount
of resources they use.
Now you can see how distributed data better utilizes
our machine capacity and gives Google Cloud Services higher
reliability and performance.
For Google Cloud users, you have the option
to store data on local solid state drives,
zonal persistent disks that map to clusters across zones
in the same region, or regional persistent disks
across cloud regions or even storage buckets.
You can store data in a single region for high performance,
dual region for high performance and high availability,
and multiple regions for the highest availability.
Your data maps to different clusters
and protects it from zonal and regional failures.
D and Colossus manage access to the storage, store data safely
and securely, and efficiently use our hardware
so you get the best performance possible.
All of this is possible because of the speed of our network
fabric.
More on that next time on Discovering Data Centers.
[MUSIC PLAYING]
Ver Más Videos Relacionados
¿Cómo guardar nuestros archivos en la nube? | Almacenamiento en la nube
Nuevos formatos SSD de alto rendimiento: E.1, E3, U.2, U.3 | Cap 10 |
Tecnologías de BIG DATA
Curso completo de informática basica (computación) COMPONENTES DE UNA COMPUTADORA [video 3]
TEM. 1 CAP. 12 Sistemas de distribución de hidrógeno
Microaprendizaje: ¿Qué es internet?
5.0 / 5 (0 votes)