¿Cómo discrimina la inteligencia artificial? ¿Quienes son sus víctimas?
Summary
TLDREl video explora cómo la inteligencia artificial puede reflejar y perpetuar el racismo y el sexismo, dado que aprende de los datos proporcionados por humanos. Se discuten casos en los que el software de reconocimiento facial ha fallado al identificar objetos y rostro de personas de diferentes etnias, y cómo los algoritmos, desarrollados y testeados principalmente por hombres blancos, pueden tener un trato discriminatorio hacia personas de otros colores de piel. Además, se menciona el uso de la IA en China para identificar y perseguir a la minoría uigur, y el uso de la 'policía predictiva' en Estados Unidos, que ha sido cuestionada por su inexactitud y potencial para la discriminación. El video subraya la necesidad de controles éticos y la responsabilidad humana en la creación de tecnología inclusiva.
Takeaways
- 🤖 La inteligencia artificial (IA) puede ser racista y sexista debido a la discriminación en la tecnología, lo que se debe a que aprende y se basa en los datos proporcionados por humanos.
- 👁️ Los sistemas de reconocimiento facial pueden interpretar de manera diferente a personas de diferentes colores de piel, lo que refleja un sesgo inherente en la tecnología.
- 📈 La precisión de las aplicaciones de IA depende de los datos iniciales proporcionados, y estos datos a menudo reflejan las visiones y prejuicios humanos.
- 🌐 La mayoría de los algoritmos de IA fueron desarrollados y testeados por hombres blancos, lo que puede llevar a un trato discriminatorio hacia personas de otros orígenes étnicos.
- 📸 Los equipos de filmación y cámaras, construidos con el hombre blanco en foco, pueden no ser efectivos para detectar a personas de otros colores de piel, lo que afecta la precisión de la IA.
- 🚫 En China, la IA se utiliza para identificar grupos étnicos específicos, lo que plantea cuestiones éticas y preocupaciones sobre la privacidad y la libertad civil.
- 🔍 La IA se está utilizando cada vez más en el ámbito policial, como en la 'policía predictiva', para predecir y clasificar a las personas según su probabilidad de cometer crímenes.
- 🚔 Los sistemas de IA pueden tener un impacto negativo en la sociedad, siendo capaces de ser sexistas, racistas e injustos, y afectar a las personas más vulnerables.
- 💡 La inclusión y la diversidad en los datos de entrenamiento son cruciales para mejorar la precisión y la equidad de los sistemas de IA.
- 🌐 La tecnología de IA no es infalible y requiere de controles éticos adicionales para evitar la perpetuación de prejuicios y la discriminación.
Q & A
¿Cuál es el problema principal mencionado en el guion sobre la inteligencia artificial?
-El problema principal es que la inteligencia artificial puede ser racista y sexista debido a la discriminación en la tecnología, lo que se debe a que los algoritmos aprenden de los datos proporcionados por humanos y estos pueden reflejar prejuicios.
¿Cómo afecta la inteligencia artificial a las minorías según el guion?
-La inteligencia artificial afecta negativamente a las minorías, ya que los sistemas de reconocimiento facial y otros algoritmos pueden tener problemas para identificar correctamente a personas con colores de piel distintos al blanco, lo que puede llevar a tratos discriminatorios.
¿Qué ejemplo se menciona en el guion sobre cómo la inteligencia artificial puede ser racista?
-Se menciona un ejemplo donde Google Vision Cloud interpretó un termómetro infrarrojo como prismático en una mano blanca y como una pistola en una mano negra, mostrando una interpretación discriminatoria.
¿Qué rol juegan los datos en la formación de la inteligencia artificial según el guion?
-Los datos tienen un papel crucial, ya que la precisión de una aplicación de inteligencia artificial depende de los datos iniciales proporcionados por los humanos. Si estos datos son sesgos, la IA también lo será.
¿Por qué pueden fallar los sistemas de inteligencia artificial en función del color de la piel según el guion?
-Los sistemas pueden fallar porque la mayoría de los algoritmos fueron desarrollados y testeados por hombres blancos, lo que prevalece su visión del mundo y crea un trato discriminatorio hacia personas de diferentes colores de piel.
¿Qué implicaciones tiene el uso de la inteligencia artificial en la identificación de grupos étnicos, como se menciona en el guion?
-El uso de la inteligencia artificial para identificar grupos étnicos puede llevar a la violación de derechos humanos y libertades civiles, como se ejemplifica con el uso de tecnologías de reconocimiento facial en China para identificar y perseguir a la minoría uigur.
¿Cómo se utiliza la inteligencia artificial en la prevención del crimen, según el guion?
-La inteligencia artificial se utiliza en la prevención del crimen a través de la policía predictiva, que utiliza algoritmos para predecir dónde y cuándo es más probable que se cometa un delito, así como para evaluar el riesgo de delitos en una ciudad.
¿Qué problemas surgen con la policía predictiva según el guion?
-La policía predictiva puede tener problemas como la falta de precisión en las predicciones debido a la calidad y cantidad deficientes de los datos policiales, lo que puede llevar a detenciones arbitrarias y demandas a organismos del estado.
¿Cuál es la perspectiva de los investigadores sobre la justicia y la igualdad en la inteligencia artificial?
-Los investigadores ven la inteligencia artificial como un reflejo de sociedades injustas y desiguales, y consideran que los sistemas de IA no son infalibles y deben pasar por controles éticos antes de ser implementados, ya que pueden ser destructivos para una buena sociedad si no se abordan sus sesgos.
¿Cómo se sugiere abordar el problema de la discriminación en la inteligencia artificial en el guion?
-Se sugiere que es necesario tener una discusión de base sobre la inclusión y la discriminación, y cambiar no solo los algoritmos sino también los aspectos básicos como el hardware y las tecnologías de calibración, para garantizar una representación más equitativa.
Outlines
🤖 Discriminación en la inteligencia artificial
Este párrafo explora cómo la inteligencia artificial (IA) puede reflejar y perpetuar la discriminación, tanto a nivel racial como de género. Se menciona que la IA aprende de los datos proporcionados por humanos y que estos datos pueden estar teñidos de prejuicios. Se ilustra con un ejemplo de software de reconocimiento de imágenes que interpreta de manera diferente objetos sostenidos por manos de diferentes colores de piel. Además, se discute cómo la IA puede afectar negativamente a las minorías, como se evidencia en el documental 'Coudet Vayas', donde se muestra que ciertos sistemas de IA tienen dificultades para reconocer rostros de personas de razas diferentes. Se argumenta que la mayoría de los algoritmos de IA fueron desarrollados y probados por hombres blancos, lo que puede llevar a una visión sesgada del mundo y a la discriminación hacia personas de diferentes razas.
🚨 Usos controvertidos de la IA en la seguridad y vigilancia
Este párrafo se enfoca en el uso de la IA en contextos de seguridad y vigilancia, particularmente en China, donde se ha implementado para identificar a miembros de la minoría uigur. Se menciona la existencia de un software de reconocimiento facial que integra información de smartphones y cámaras de vigilancia para identificar a individuos sospechosos. Además, se discute el uso de la IA en la policía predictiva, que utiliza algoritmos para predecir delitos basándose en datos geográficos y personales. Se cuestiona la fiabilidad de estos sistemas, ya que pueden tener un alto error en la identificación de ciertos grupos étnicos y cómo esto puede llevar a consecuencias graves, como detenciones arbitrarias y demandas a organismos estatales.
🔍 Impacto social de la IA y la importancia de la ética
El tercer párrafo aborda el impacto social de la IA y la necesidad de controles éticos en su desarrollo. Se destaca que la IA puede ser destructiva y reflejar prejuicios y racismo, lo que es un reflejo de sociedades desiguales. Se menciona un incidente con un robot de chat de Microsoft que se volvió ofensivo en Twitter debido a la influencia de datos sesgados. Además, se discute cómo la IA puede afectar a la vida cotidiana de las personas, como en el caso de la toma de decisiones sobre créditos, empleos o vivienda, basadas en algoritmos que pueden ser discriminatorios. Se enfatiza la importancia de que los datos de entrenamiento sean diversos y representativos para evitar la perpetuación de la discriminación y se sugiere que la responsabilidad de la justicia social no debe recaer solo en la tecnología, sino en las acciones de los humanos que la desarrollan y utilizan.
Mindmap
Keywords
💡Integridad artificial
💡Discriminación
💡Algoritmos
💡Datos
💡Reconocimiento facial
💡Hardware
💡Inclusión
💡Derechos humanos
💡Policía predictiva
💡Etica
Highlights
La inteligencia artificial puede ser racista y sexista debido a la discriminación en la tecnología.
La precisión de una aplicación de IA depende de los datos iniciales proporcionados por humanos.
Un error de reconocimiento de imágenes por parte de Google Vision Cloud refleja la discriminación racial en la tecnología.
Los sistemas de IA afectan especialmente a las minorías, como se muestra en el documental 'Coudet Vayas'.
La mayoría de los algoritmos de IA fueron desarrollados y testeados por hombres blancos, lo que crea un trato discriminatorio.
Los algoritmos de IA tienen problemas para reconocer rostros con colores de piel distintos al occidental.
La diversidad en los bancos de datos es crucial para mejorar el reconocimiento de la tecnología.
Los equipos de filmación y cámaras fueron construidos con el hombre blanco en foco, lo que afecta la precisión de la IA.
La clave para prevenir interpretaciones discriminatorias en la IA es la inclusión y la discusión sobre discriminación.
En China, la IA se utiliza para identificar grupos étnicos, lo que es inquietante en términos de derechos humanos.
El software de reconocimiento facial chino tiene un porcentaje de aciertos del 70%, lo que implica un alto error en la identificación.
La policía predictiva utiliza algoritmos para predecir posibles riesgos para la seguridad pública.
Los sistemas de reconocimiento facial en EE. UU. tienen más probabilidades de identificar erróneamente a minorías.
La inteligencia artificial puede ser destructiva para una sociedad justa si no se controla éticamente.
Los datos con los que se construyen los sistemas de IA son conservadores y reflejan la realidad de forma sesgada.
Los errores en los algoritmos de IA terminan afectando a la población más vulnerable.
Los sistemas de IA no son infalibles y no deben ser el símbolo de la perfección digital.
Transcripts
una mano negra una mano blanca y ambas
sostienen el mismo dispositivo pero el
software de reconocimiento de imágenes
ve cosas muy diferentes en las fotos es
racista y sexista la inteligencia
artificial porque hay discriminación en
esta tecnología ese es nuestro tema de
hoy en enlaces yo soy juan sebastián
gómez cota sebastián gómez en redes
sociales bienvenidos
[Música]
la inteligencia artificial aprende de
manera autónoma y ella misma puede
entrenar a otros algoritmos ese es uno
de sus grandes talentos para lograrlo
necesita enormes cantidades de datos
pero los criterios para su selección los
construimos nosotros los humanos esta
parte es clave porque la precisión de
una aplicación de inteligencia
artificial depende de los datos
iniciales que le suministramos fíjense
en las dos imágenes casi idénticas
analizadas por el software de
reconocimiento de imágenes de google
vision cloud la única diferencia es que
el color de la piel en una de las fotos
fue cambiado después el resultado el
objeto de la mano derecha un termómetro
infrarrojo fue interpretado por el
algoritmo como unos prismáticos un error
comprensible pero el mismo objeto en la
mano izquierda fue interpretado como una
pistola qué pasó ahí esto fue hace ya un
buen tiempo y google entretanto ofreció
disculpas y eliminó la etiqueta de
pistola del programa
es esta la solución correcta cómo
prevenir las interpretaciones racistas o
discriminatorias de un software de
reconocimiento los sistemas de
inteligencia artificial han afectado
especialmente a las minorías negras como
lo muestra el documental estadounidense
coudet vayas
durante mi primer semestre en el lema y
trabajé con una aplicación que debía
reconocer mi rostro pero solo comenzó a
funcionar cuando utilice una máscara
blanca me pregunte qué está pasando con
las condiciones de luz el ángulo del
rostro frente a la cámara o hay algo más
joe bull and win y fue una de las
primeras personas en descubrir que los
sistemas de inteligencia artificial
pueden ser racistas su historia fue
documentada en el film cobre bayas la
película explica por qué estos sistemas
pueden fallar en función del color de la
piel la mayoría de los algoritmos que se
esconden detrás de la inteligencia
artificial fueron desarrollados y
testeados por hombres blancos
prevalece su visión del mundo creando un
trato discriminatorio hacia personas
diferentes
los algoritmos están basados en códigos
que han aprendido a identificar
principalmente rostros occidentales
de ahí que la inteligencia artificial
tenga problemas con otros colores de
piel
[Música]
y en mí a cuanta más información haya en
los bancos de datos
cuanto más diversos sean mejor podrá
reconocer la tecnología la diversidad
humana pero esta desigualdad tiene otra
causa más que empieza incluso antes de
que el sistema aprenda los códigos
comienza con el hardware los equipos de
filmación y las cámaras fueron
construidos con el hombre blanco en foco
los sensores las calibraciones las
tecnologías infrarrojas desarrolladas en
las últimas décadas parten de la piel
blanca y su reflexión de la luz como
base no consideran a seres humanos con
otro color de piel que reflejan la luz
de otra forma
utilizando su afección por eso la
experta cree que hay que cambiar otras
cosas básicas antes que los algoritmos
los indigentes y lo importante es cómo
interactuamos con estas tecnologías la
clave está en todos nosotros no solo la
programación es importante sino cómo
interactuamos con el sistema cómo
alimentamos esta tecnología y creo que
lo que nos falta es una discusión de
base sobre la inclusión sobre la
discriminación su significado y sus
dimensiones
también doy bola wing y lucha por
replantear a ciertos aspectos de la
sociedad ha publicado artículos hablado
frente al congreso de los eeuu y ha
fundado una asociación que trabaja por
la inclusión y la igualdad en los
algoritmos
en china la inteligencia artificial se
utiliza hasta para identificar grupos
étnicos los expertos en vigilancia
digital de haití bien en eeuu
descubrieron entre otras cosas que la
multinacional huawei por ejemplo
participó en el desarrollo de la llamada
alarma we would se supone que este
software chino de reconocimiento facial
puede identificar en segundos a personas
de la minoría musulmana de los uigur es
pero a ver si esta tecnología ni
siquiera puede relacionar objetos con
personas de forma confiable cómo va a
identificar una etnia religiosa pues no
los chinos tampoco están tan avanzados
según las estimaciones el porcentaje de
aciertos es apenas del 70% eso significa
que el software se equivoca en casi un
tercio de los casos y sin embargo se
utiliza en toda china
el sistema de cámaras testeado por
huawei está capacitado para reconocer el
rostro de personas de determinadas
etnias con la ayuda de la inteligencia
artificial los sistemas no sólo están
entrenados para identificar edad o sexo
del sujeto sino también su procedencia
étnica el software ha sido entrenado con
datos de rostros de wii gures y know
your es para que pueda distinguir
correctamente los distintos indicadores
fisonómicos su aplicación en china
resulta inquietante el hecho de que la
inteligencia artificial identifique a
miembros de la minoría uigur podría
activar la llamada alarma uigur y acabar
en manos de la policía
[Música]
las autoridades chinas construyeron un
sistema de observación y control de wii
fures en la provincia noroccidental de
xinjiang cientos de miles son re
educados en prisiones lo que fue muy
criticado por occidente
oficialmente las empresas chinas se
oponen al uso comercial de este software
piloto sin embargo el gigante alibaba ya
ha admitido que sus expertos han
desarrollado versiones del llamado
software racista y lo han utilizado en
la práctica incluso han hecho tutoriales
para utilizar la función de búsqueda
específica de musulmanes uigures esta
versión del software de reconocimiento
facial integra información de
smartphones y cámaras de vigilancia y
permite a los usuarios chinos enviar
imágenes para identificarlas como
sospechosas
de zerbi gures según los expertos no hay
nada mejor que la información de los
propios usuarios para afinar el ojo
racial de un software de reconocimiento
facial que miedo herramientas como la
alerta o igor demuestran que el uso
policivo de la inteligencia artificial
es ya una cuestión de derechos humanos y
libertades civiles nos lo explica karen
jong experta en inteligencia artificial
estos potentes sistemas se utilizan cada
vez más para valorar clasificar y
organizar a las personas a gran escala y
aunque las sociedades occidentales son
reacias a usar estos sistemas lo cierto
es que hay cada vez más ámbitos sociales
en los que se clasifica a las personas
sobre todo en el sistema judicial con el
fin de predecir mediante algoritmos
posibles riesgos para la seguridad
pública
adic setting es cierto los organismos
policiales de todo el mundo están
recurriendo a los algoritmos para
predecir los delitos el término técnico
para esto es policía predictiva o
predictivo leasing como funciona aquí
les explico
existen dos grandes formas de hacer
policía predictiva la primera es a
partir de los algoritmos de localización
éstos desarrollan vínculos entre lugares
crímenes y tasas históricas de
delincuencia para predecir dónde y
cuándo es más probable que se cometa un
delito también toman en cuenta
condiciones climáticas y eventos
especiales manifestaciones conciertos o
encuentros deportivos
a estos patrones se le suma la llamada
teoría de la repetición cercana según la
cual un ladrón serial tiende a atacar de
nuevo poco tiempo después cerca de la
primera escena del crimen
la otra forma de policía predictiva se
basa en datos sobre las personas la edad
el sexo el estado civil o los
antecedentes penales para predecir
quiénes tienen más probabilidades de
participar en futuras actividades
delictivas
estos datos también pueden ser usados
ante la justicia para calcular la
probabilidad de que un condenado vuelva
a cometer un delito
[Aplausos]
los algoritmos también pueden calcular
el riesgo general de robo en una ciudad
red pool es un programa usado en decenas
de ciudades norteamericanas con el que
la policía planifica hasta la
distribución de patrullas y agentes red
pool divide la ciudad en bloques y
actualiza sus predicciones a lo largo
del día como una previsión meteorológica
de la delincuencia
[Música]
pero según la experta lorena jaume para
la si esto no es tan sencillo
en la investigación criminológica se
sabe que en realidad las bases de datos
no son suficientes para predecir cómo se
moverá una banda organizada porque esa
dinámica es mucho más compleja
porque había que añadir a las bases de
datos los robos de coches por ejemplo en
los sistemas que utilizamos no se
recogen estos casos en un centro de
investigación criminológica de alemania
también se pronunció en contra de la
policía predictiva
después de tres años de investigaciones
concluyeron que la calidad y la cantidad
de los datos policiales son muy
deficientes como para poder generar
previsiones válidas sobre futuros
crímenes
es que varios sistemas de reconocimiento
facial en eeuu tienen hasta 100 veces
más probabilidades de identificar
erróneamente a personas de ascendencia
asiática o minorías negras o latinas
antes que a los blancos eso es lo que ha
descubierto un reciente estudio del
mismo gobierno norteamericano esto ya
está teniendo serias consecuencias
detenciones arbitrarias y claro más
demandas a organismos del estado sin
embargo su uso se sigue expandiendo cada
vez más en decenas de países alrededor
del mundo para carl isabel is
investigadora de ética digital el
impacto en la sociedad es grave y la
inteligencia artificial puede ser muy
destructiva para buena sociedad puede
ser sexista racista y extremadamente
injusta
un ejemplo en 2016 microsoft puso en
marcha un robot de chat que se
comunicaba de forma autónoma vía twitter
sólo dura un día lo tuvieron que
desconectar de la red pues sus tweets
comenzaron a ser ofensivos hacia los
otros usuarios
el robot se volvió sexista racista y
antisemita porque se desarrollan
sistemas de inteligencia artificial tan
injustos y con tantas fallas no jim watt
sanín y naqim a este fell bagua dos
investigadoras y artistas berlinesas
estudian esta problemática
y los datos con los que se construyen
estos sistemas provienen del pasado son
sistemas bastante conservadores y lo
vemos desde esa perspectiva
cuando se utiliza la inteligencia
artificial para hacer predicciones o
recomendaciones es poco realista esperar
que se comporte de forma justa e
igualitaria si los datos que la
constituyen no lo son
existe en ese país es esto afecta a
todos aquellos que según el algoritmo no
tienen el color de piel o el sexo
correctos o los ingresos mínimos
necesarios nadie sabe cuáles son los
criterios de decisión
tal vez ya seamos víctimas de la
inteligencia artificial sin saberlo tal
vez te rechazaron a que el crédito no
tienes un trabajo o un apartamento por
culpa de un algoritmo puede que estemos
siendo discriminados sin saberlo
construir un algoritmo de inteligencia
artificial es un poco como hornear un
pastel si desde el principio mezclamos
mal los ingredientes no va a ser posible
arreglarlo después y a ver quién se lo
come en la inteligencia artificial si
los datos de entrenamiento del algoritmo
no están bien elegidos nada funcionará
bien después no importa cuánta
información adicional le metamos y las
víctimas de esos errores terminan siendo
la población más vulnerable esto es
culpa de las personas no de la
tecnología de la inteligencia artificial
no hará el mundo más justo eso lo
debemos hacer los humanos fuerte pero
cierto está claro que los sistemas de
inteligencia artificial no son
infalibles ni deben ser el símbolo de la
perfección digital y si realmente nos
quieren vender esta tecnología como él
pues tiene que pasar primero por muchos
más controles éticos de otro lado que
las imágenes catalogadas y la predicción
del crimen repliquen prejuicios y
racismo es también el reflejo de
sociedades injustas y profundamente
desiguales eso no lo puede cambiar un
algoritmo de inteligencia artificial
esto es todo por hoy en enlaces no
olviden suscribirse a nuestro canal de
español y seguir nuestra lista de
reproducción tecnología y mundo digital
nos vemos pronto a oficiarse
[Música]
ah
Browse More Related Video
What Educators Need to Know About AI’s Limits and Possibilities
La verdadera amenaza de la inteligencia artificial | Matthías Galle | TEDxCordoba
What facial recognition steals from us
¿Qué dice la legislación Europea sobre la IA? 👾🤔
Estado actual de la Inteligencia Artificial 2024
El Peligro de la Inteligencia Artificial | Tecnología de miedo | Documental
5.0 / 5 (0 votes)