System Design Interview: Design Netflix

Summary

En este video, Andreas, ingeniero de software en Modern Health, se enfrenta a una entrevista técnica centrada en diseñar un sistema de Netflix. A lo largo de la conversación, explora la infraestructura necesaria para almacenar contenido de video, gestionar metadatos de usuarios y garantizar una experiencia de usuario global con baja latencia. Además, se discuten las decisiones arquitectónicas, como el uso de almacenamiento en la nube, bases de datos relacionales, y técnicas de caché para mejorar el rendimiento. También se abordan consideraciones sobre escalabilidad, alta disponibilidad y las decisiones de diseño relacionadas con el contenido estático y dinámico. Un análisis exhaustivo que proporciona una visión detallada de cómo estructurar un sistema complejo como Netflix.

Takeaways

• 😀 Exponent ofrece cursos en línea, coaching de expertos, entrevistas simuladas entre pares y una base de datos de preguntas de entrevistas para ayudar a obtener la carrera tecnológica de tus sueños.
• 😀 Andreas es un ingeniero de software en Modern Health, una startup de tecnología en salud mental.
• 😀 El enfoque principal del diseño es en los videos y los usuarios, excluyendo características como búsqueda y suscripciones.
• 😀 La principal preocupación es cómo recopilar y procesar los datos de actividad del usuario para el motor de recomendaciones de Netflix.
• 😀 El diseño debe considerar la alta disponibilidad y la baja latencia en todo el mundo, con una ligera tolerancia a la inconsistencia.
• 😀 El algoritmo del motor de recomendaciones no es el enfoque principal, sino cómo se recopilan y procesan los datos de usuario.
• 😀 Se estima que Netflix tiene alrededor de 200 millones de usuarios y 10,000 videos, con una media de 1 hora de duración por video.
• 😀 Los videos de Netflix se almacenan en un servicio de almacenamiento de blobs (como Amazon S3 o Google Cloud) debido a la gran cantidad de datos y la naturaleza estática de los archivos.
• 😀 Los metadatos estáticos de los videos (títulos, descripciones, etc.) se almacenan en una base de datos relacional como PostgreSQL, con caché para mejorar la velocidad de lectura.
• 😀 Los datos de actividad del usuario, como la información sobre qué videos se han visto y las calificaciones, se almacenan en PostgreSQL y se optimizan con sharding basado en el ID de usuario para escalabilidad.
• 😀 Para mejorar la latencia global y la distribución de contenido, se utiliza una CDN para servir los videos en función de la ubicación geográfica del usuario.
• 😀 Se considera el uso de balanceadores de carga para distribuir eficientemente las solicitudes entre los servicios API y optimizar el rendimiento.
• 😀 En cuanto a la elección de PostgreSQL sobre NoSQL, se valora la capacidad de hacer consultas complejas sobre grandes conjuntos de datos y el uso de trabajos en segundo plano.

Q & A

¿Cuál es el enfoque principal del diseño discutido en este video?

El enfoque principal es diseñar un sistema para Netflix, centrado en cómo almacenar, procesar y recuperar datos relacionados con los videos y los usuarios, especialmente para la recomendación de contenido, garantizando baja latencia y alta disponibilidad.

¿Qué tipo de datos se necesitan almacenar en el sistema de Netflix?

El sistema debe almacenar tres tipos de datos principales: contenido de video (como nombres, descripciones, imágenes, listas de reparto), metadatos de usuario (como la última vez que vieron un video, sus preferencias) y registros de actividad del usuario (como clics, impresiones, desplazamientos).

¿Qué problema se debe resolver para asegurar una baja latencia global en el servicio de streaming?

Para asegurar baja latencia global, se propone utilizar una red de entrega de contenido (CDN) que almacene en caché el contenido más relevante en centros de datos ubicados cerca de los usuarios, mejorando así la velocidad de carga y reduciendo el tiempo de espera.

¿Por qué se recomienda usar almacenamiento en blobs (como Amazon S3) para los videos?

El almacenamiento en blobs es ideal para almacenar archivos de video grandes de manera eficiente y escalable, ya que permite manejar grandes volúmenes de datos sin la complejidad de una base de datos relacional, lo cual es adecuado para archivos de video estáticos.

¿Qué estrategia se sugiere para gestionar el acceso frecuente a contenido estático como descripciones y títulos de los videos?

Para mejorar el acceso a datos estáticos como títulos y descripciones, se sugiere usar un sistema de caché, como Redis, para almacenar en memoria los datos más frecuentemente solicitados, lo que acelera la respuesta y reduce la carga en la base de datos.

¿Cómo se maneja el diseño del sistema para soportar millones de usuarios en Netflix?

El sistema está diseñado para escalar horizontalmente, añadiendo más servicios API a medida que la demanda aumenta. Además, se utiliza partición de datos (sharding) para distribuir la carga entre diferentes instancias, utilizando el ID de usuario como clave para los fragmentos de datos.

¿Qué tipo de base de datos se usa para almacenar los metadatos de los usuarios y por qué?

Se propone usar una base de datos relacional como PostgreSQL para almacenar los metadatos de los usuarios debido a su capacidad para manejar consultas complejas y su compatibilidad con sistemas sharded, lo que permite optimizar la consulta de grandes volúmenes de datos relacionados con usuarios y su actividad.

¿Cuál es la razón principal para no elegir una base de datos NoSQL como Cassandra en este caso?

Aunque NoSQL como Cassandra es más fácil de configurar para un sistema distribuido, PostgreSQL se prefiere por su capacidad de manejar consultas complejas y la necesidad de realizar operaciones de fondo, como los trabajos asíncronos de recomendación, que requieren una mayor flexibilidad en las consultas.

¿Cómo se asegura la alta disponibilidad en el sistema propuesto para Netflix?

La alta disponibilidad se asegura mediante el uso de partición de datos (sharding), réplicas de bases de datos y cachés en memoria. Además, se utiliza un balanceador de carga para distribuir las solicitudes entre los servidores, lo que asegura que el sistema esté disponible incluso si algunas partes del servicio fallan.

¿Cómo se manejan los videos en diferentes calidades (como SD y HD) dentro del sistema?

Los videos se almacenan en diferentes resoluciones y tamaños (SD de 10GB por hora y HD de 20GB por hora). Estos archivos se gestionan usando almacenamiento en blobs, y se distribuyen a través de la CDN para que los usuarios reciban el video más cercano a su ubicación geográfica, asegurando una experiencia de alta calidad y baja latencia.