Modelo predictivo de precio de vehículos usados - Proyecto de Data Science, IA y Machine Learning

ID Bootcamps

2 Aug 202413:52

Summary

TLDREl proyecto 'Modelo Predictivo de Precio de Vehículos Usados' busca desarrollar un modelo de Machine Learning para estimar el valor de coches en el mercado. Utilizando datos de wallapop, el equipo se enfrentó a desafíos como la obtención de datos y la limpieza de información inexacta. El análisis incluyó características del vehículo y algoritmos de ML, resultando en una herramienta útil para la compra y venta de vehículos. Ex Boost se destacó como el modelo más efectivo, destacando la potencia y el kilometraje como factores clave. Las conclusiones sugieren mejoras en la interfaz de usuario y la obtención de datos para un modelo más eficiente.

Takeaways

😀 Proyecto 'Modelo predictivo de precio de vehículos utilizados' busca analizar precios del sector de coches usados y desarrollar un modelo de Machine Learning para estimar el valor de los vehículos.
🔍 Se utilizaron algoritmos de Machine Learning para crear una herramienta que facilite la compra y venta de coches usados, basándose en características de los coches y tendencias de precios.
🌐 Dataset obtenido de la fuente wallapop, utilizando técnicas de web scraping con las librerías Beautiful Pandas y Selenium para manejar la página de scroll infinito.
🛠️ Se enfrentó a problemas de datos inservibles y repetidos, lo que redujo la cantidad de datos útiles al 30-40% de los aproximadamente 200,000 registros iniciales.
🔧 Se realizó una limpieza intensiva de datos, incluyendo el tratamiento de texto para estandarizar marcas y modelos de coches, y la eliminación de outliers como coches con más de un millón de kilómetros o potencias extremas.
📊 Se utilizó Power BI para crear un dashboard con datos limpios, mostrando información como la cantidad de coches por tipo de combustible, marcas más ofertadas y rangos de precios.
🏆 El modelo de Machine Learning elegido fue XGBoost, destacando parámetros importantes como potencia, año de fabricación y kilometraje del coche.
📈 Se analizaron los errores del modelo, identificando factores que influían en la precisión de las predicciones, como la calidad de los datos introducidos por los usuarios.
🔧 Se sugieren mejoras futuras como crear una interfaz de usuario amigable, integrar datos de fuentes adicionales y optimizar el proceso de obtención de datos para mejorar la eficiencia.
👥 El proyecto fue realizado por Martín y Mario, quienes destacaron la lentitud del proceso de web scraping y la dificultad debido a la mala calidad y redacción de los anuncios de wallapop.
🔄 Se destaca la importancia de la consistencia en la programación y la adaptación continua a cambios en el formato HTML de la página web, que influye en la estabilidad del modelo.

Q & A

¿Cuál es el objetivo principal del proyecto 'Modelo predictivo de precio de vehículos usados'?
-El objetivo principal del proyecto es desarrollar un modelo de Machine Learning que ofrezca una estimación precisa del valor de los vehículos usados en el mercado.
¿Qué fuente utilizan para obtener el dataset de vehículos usados?
-El dataset se obtiene de la página web Wallapop, utilizando técnicas de web scraping con las librerías Beautiful Pandas y Selenium.
¿Cuál fue una de las dificultades principales durante el proceso de obtención del dataset?
-Una de las dificultades fue la lentitud en la obtención de datos debido a la necesidad de utilizar Selenium para navegar en la página web dinámica de Wallapop y extraer información de cada anuncio de vehículo.
¿Cuáles son algunos de los factores que influyeron en los precios de los vehículos usados que analizaron?
-Los factores que influyeron en los precios incluyen características de los coches como el año de fabricación, la potencia, el kilometraje y las marcas, modelos y tipos de combustible.
¿Cómo abordaron el problema de los anuncios repetidos en Wallapop?
-Durante el proceso de limpieza del dataset, identificaron y trataron de eliminar los anuncios repetidos, que representaban aproximadamente un 30% de los anuncios, como una estrategia de marketing de los concesionarios.
¿Qué técnicas de Machine Learning utilizaron para el modelo predictivo?
-Utilizaron algoritmos de Machine Learning como XGBoost, Random Forest y otra técnica no especificada en el script, para crear el modelo predictivo.
¿Qué herramienta utilizaron para la visualización y análisis de datos?
-Utilizaron Power BI para la visualización de datos y el análisis de resultados, creando un dashboard con los datos limpios del dataset.
¿Cuál fue el porcentaje de datos útiles después de la limpieza del dataset?
-Después de la limpieza del dataset, los datos útiles representaban aproximadamente el 30 al 40% de los registros originales.
¿Qué variables nuevas crearon para mejorar el rendimiento del modelo?
-Crearon variables nuevas como 'Camperizado' para vehículos convertidos y una columna para coches con problemas como 'avería' o 'siniestro', para diferenciarlos de los coches normales.
¿Qué conclusiones extrajeron del análisis de errores en el modelo predictivo?
-Descubrieron que ciertos factores, como el tipo de combustible o la potencia, influyen más en el error de predicción. También identificaron problemas de entrada de datos por parte de los usuarios que afectaban la precisión.
¿Qué mejoras sugieren para el futuro del modelo?
-Sugirieron crear una interfaz de usuario amigable, obtener datos de fuentes diferentes y optimizar el método de obtención de datos para mejorar la velocidad y eficiencia del modelo.

Outlines

00:00

😀 Introducción al Proyecto de Predicción de Precios de Vehículos Usados

El primer párrafo introduce el proyecto de un modelo predictivo de precios para el mercado de vehículos usados. Los creadores, Martín y Mario, explican que se centra en el estudio de los precios y el desarrollo de un modelo de Machine Learning para estimar el valor de los vehículos. Utilizan algoritmos para facilitar la compra y venta de coches, incluyendo un flujo de trabajo y herramientas como web scraping, pandas, geop, y Power BI. Destacan los problemas encontrados en la obtención de datos a través de wallapop, incluyendo la limitación de la página de scroll infinito y la necesidad de manejar datos en bruto y repetidos.

05:02

🔍 Análisis y Limpieza de Datos para el Modelo Predictivo

El segundo párrafo se enfoca en los desafíos de la limpieza y análisis de datos. Se menciona la necesidad de tratar la mala redacción en los anuncios, la agrupación de marcas y el manejo de datos atípicos como vehículos con más de un millón de kilómetros. Se destaca la importancia de la corrección de marcas y la eliminación de anuncios repetidos y la reducción significativa del dataset debido a la cantidad de datos no útiles, resaltando la importancia de la calidad de los datos en el rendimiento del modelo.

10:07

🛠 Desarrollo y Optimización del Modelo Predictivo

El tercer párrafo cubre el proceso de desarrollo del modelo predictivo, incluyendo la preparación de los datos y la elección de las variables más influyentes en el precio de los vehículos. Se describen las decisiones tomadas sobre la inclusión de comentarios y la creación de nuevas columnas para mejorar la precisión del modelo. Además, se discuten los tres modelos principales evaluados y se selecciona el modelo XG Boost por su rendimiento. Se analiza el error en las predicciones y se identifican los factores que más influyen en él, concluyendo con las dificultades encontradas y las posibles mejoras futuras, como la creación de una interfaz de usuario y la optimización del método de obtención de datos.

Mindmap

Keywords

💡Modelo predictivo

Un modelo predictivo es un sistema de inteligencia artificial que se utiliza para predecir resultados futuros basándose en datos históricos. En el video, el modelo predictivo se refiere a un sistema desarrollado para estimar el valor de vehículos usados, lo cual es central para el proyecto descrito.

💡Machine learning

Machine learning es una rama de la inteligencia artificial que permite a las máquinas aprender y mejorar a través de la experiencia sin ser explícitamente programadas. En el contexto del video, se utiliza para crear el modelo predictivo de precios de vehículos.

💡Web scraping

El web scraping es la práctica de extraer información de sitios web mediante programas informáticos. En el video, se menciona el uso de bibliotecas como Beautiful Pandas y Selenium para obtener datos de la página de Wallapop para el análisis de precios de vehículos.

💡Dataset

Un dataset es una colección de datos que se utiliza para el análisis estadístico. En el script, el dataset se obtiene a través del web scraping y es fundamental para el desarrollo del modelo predictivo de precios de vehículos.

💡Limpieza de datos

La limpieza de datos es el proceso de mejorar la calidad de los datos para su uso en el análisis. En el video, se destaca la importancia de limpiar el dataset debido a la presencia de datos nulos y la necesidad de tratar texto para estandarizar marcas y modelos de vehículos.

💡Dashboard

Un dashboard es una herramienta de visualización de datos que permite presentar información de una manera clara y fácil de entender. En el script, se utiliza Power BI para crear un dashboard con los datos limpios, lo cual es esencial para la toma de decisiones y la presentación de resultados.

💡Algoritmos de Machine learning

Los algoritmos de machine learning son métodos utilizados para entrenar modelos predictivos. En el video, se mencionan diferentes algoritmos como XGBoost, RandomForest y otra técnica 'j' para encontrar el modelo que mejor se ajuste a los datos de precios de vehículos.

💡Características del coche

Las características de un coche son los atributos que definen las propiedades y el rendimiento de un vehículo. En el script, se destacan características como el año de fabricación, la potencia, el kilometraje y la marca como factores clave para estimar el precio de los vehículos usados.

💡Error predictivo

El error predictivo se refiere a la diferencia entre la predicción hecha por el modelo y el valor real. En el video, se analiza el error para entender por qué ciertos vehículos tienen una predicción menos precisa y se identifican factores que influyen en este error.

💡Optimización del modelo

La optimización del modelo implica mejorar el rendimiento de un modelo predictivo ajustando sus parámetros. En el script, se menciona la elección de XGBoost como el modelo principal debido a su rendimiento y se discuten parámetros clave como la importancia de las características del vehículo.

💡Interfaces de usuario

Una interfaz de usuario (UI) es el medio por el cual los usuarios interactúan con un sistema. En el video, se sugiere la creación de una interfaz de usuario amigable para el modelo predictivo, lo que permitiría a los usuarios ingresar datos y obtener predicciones de manera más sencilla.

Highlights

Proyecto de modelo predictivo de precio de vehículos usados para facilitar la compra y venta.

Análisis de tendencias de precios y factores que afectan a los mismos, centrándose en características de los coches.

Uso de algoritmos de Machine Learning para estimar el valor de vehículos en el mercado.

Diagrama de flujo presentado para mostrar el timing y herramientas utilizadas en el proyecto.

Obtención de datos a través de web scraping de la página wallapop con bibliotecas como beautiful pandas y selenium.

Desafío de manejar un dataset de gran volumen con errores y datos repetidos.

Limpieza de datos con herramientas como Power BI, enfrentando problemas de nulos y repetidos.

Detección de que alrededor del 30% de los anuncios son repetidos, lo que indica una estrategia de marketing.

Tratamiento de texto para agrupar marcas de coches y normalizar la información.

Eliminación de datos irrelevantes y creación de nuevas variables para mejorar el rendimiento del modelo.

Selección de modelos de Machine Learning basados en métricas de entrenamiento y prueba.

Uso de XGBoost como modelo principal por su rendimiento en la predicción de precios.

Análisis de errores en la predicción y su correlación con características específicas de los vehículos.

Identificación de factores que influyen en el error de predicción, como la potencia y el año de fabricación.

Dificultades encontradas en el web scraping debido a la dinámica de la página y la calidad de los anuncios.

Propuestas de mejoras futuras, incluyendo la creación de una interfaz de usuario amigable y la obtención de datos de fuentes adicionales.

Optimización del modelo de obtención de datos para incrementar la velocidad y eficiencia del proceso.

Conclusión del proyecto, destacando la importancia de cada línea de código y las batallas enfrentadas durante el desarrollo.