THERAC-25: O PIOR erro de SOFTWARE da HISTÓRIA

Summary

The script discusses software failures and our overreliance on machines, using the Therac-25 radiation therapy machine as a case study. Developed by Atomic Energy of Canada Limited, the Therac-25 depended entirely on software for safety measures. Multiple radiation overdose incidents led to severe injuries and patient deaths, traced back to bugs in the software code. The unknown developer failed to thoroughly test the system. This demonstrates the risks of overtrusting that machines and AI systems will perform perfectly. Though technology brings great benefits, we must remember they remain susceptible to potentially catastrophic flaws, and exercise due caution and skepticism rather than blind faith.

Takeaways

• 😲 The Therac-25 radiation therapy machine caused several accidents with injuries and deaths due to software bugs.
• 😥 The software was written by one unidentified person and contained flaws that were not properly tested.
• 🔍 The machine relied entirely on software for safety measures rather than additional hardware checks.
• ❌ Bugs caused the Therac-25 to administer radiation doses much higher than intended, seriously harming patients.
• 😠 The company AECL dismissed initial accident reports and refused to add safety measures, leading to further incidents.
• 😱 One accident victim received a radiation dose equivalent to being at the Chernobyl nuclear accident site.
• 🤔 The complex software had bugs triggered by unforeseen edge cases that slipped through limited testing.
• ✏️ The Therac-25 accidents highlighted the need to build safety and security into increasingly software-reliant systems.
• 💡 Multiple experts should validate safety-critical software, not just one unidentified coder.
• 🤝 Humans and technology should complement each other's strengths and limitations for best results.

Q & A

What was the Therac-25?

The Therac-25 was a radiation therapy machine developed by Atomic Energy of Canada Limited (AECL) in the 1980s. It was intended to be an improved model that relied entirely on software for safety mechanisms.

What coding issues led to the Therac-25 accidents?

The Therac-25 software had bugs that caused it to administer radiation doses that were too high. It also lacked proper error handling and hardware interlocks as safety backups.

How many fatal accidents were associated with the Therac-25?

There were at least 3 confirmed fatal accidents involving radiation overdoses from the Therac-25.

What safety mechanisms did earlier Therac models have?

Earlier Therac models had physical hardware interlocks and controls that provided redundancy in case of software failures. The Therac-25 lacked these safety mechanisms.

How did AECL respond to early reports of Therac-25 accidents?

AECL was initially dismissive of early accident reports and claimed operator error. They defended the software's safety and took a long time to acknowledge coding flaws.

What lessons can be learned from the Therac-25 case?

The Therac-25 shows the dangers of over-reliance on software controls in safety-critical systems. Redundant hardware backups and extensive testing are important.

Who wrote the code for the Therac-25 software?

The Therac-25 code was written in assembly language by a single anonymous programmer over several years. The identity of the coder was never revealed.

When did radiation therapy first begin?

Radiation therapy dates back to the late 19th century, beginning just days after the discovery of X-rays by Wilhelm Röntgen in 1895.

What were some of the bugs found in the Therac-25 code?

Bugs included mishandling command input timing, position value overflows, and incorrect radiation dose calculations and displays.

What changes resulted from the Therac-25 accidents?

The accidents led to closer FDA oversight of medical devices, requirements for hardware safety mechanisms, and improvements in software testing and quality control.

Outlines

00:00

🚨 Raio-x e o início da radioterapia

Este parágrafo introduz o começo da história da radioterapia em 1895 com a descoberta dos raios-x por Röntgen. Logo depois, em 1896, raios-x foram usados em tratamentos pelos químicos e médicos Émile Grubbé e J.E. Gilman. Em 1898, Marie e Pierre Curie descobriram o rádio, dando início à radioatividade que também foi usada em tratamentos.

05:06

🚑 Therac-20 e Therac-25: máquinas de radioterapia

Este parágrafo explica o surgimento da máquina Therac-20 nos anos 1970, que realizava dois tipos de tratamento de radioterapia. Em seguida, a AECL criou a Therac-25, máquina totalmente dependente de software para realizar as funções de forma automática. A segurança também dependia do software, em vez de medidas físicas de hardware.

10:09

❌ Primeiros acidentes com overdoses de radiação

Este parágrafo narra os primeiros acidentes com overdoses de radiação do Therac-25 em 1985, nos quais pacientes sofreram graves queimaduras. A AECL negou inicialmente a possibilidade dos erros, até que novos acidentes ocorreram e a empresa admitiu problemas no software da máquina.

15:13

💀 Dois casos fatais nos EUA em 1986

Este parágrafo descreve dois acidentes fatais com o Therac-25 nos EUA em 1986. Erros no software resultaram em overdoses de radiação que levaram à morte dois pacientes. Os técnicos relatavam erros frequentes na máquina, mas não havia informações nos manuais sobre como resolvê-los.

😞 Terceiro caso fatal em 1987 e investigações

Este parágrafo aborda um terceiro caso fatal com o Therac-25 em 1987, novamente por um bug de software. Isso levou a investigações da FDA, que descobriu que a AECL nunca testou adequadamente a máquina antes. O caso se tornou um estudo ético sobre bugs fatais em software.

Keywords

💡software

Software refers to the programs and code that run on computers and other devices. The video discusses how we increasingly rely on software, and how bugs or errors in software can lead to catastrophic failures. The Therac-25 radiotherapy machine's accidents were caused by software bugs that went undetected.

💡automation

Automation means letting machines and software perform tasks automatically, without human input. The video talks about how automation through AI algorithms is becoming more prevalent in our lives, like with music and video recommendations. But it warns about blindly trusting automation without human oversight.

💡artificial intelligence

Artificial intelligence or AI refers to computer systems that can perform tasks normally requiring human intelligence, like visual perception and decision-making. The video cautions that as AI advances into high-risk areas like medicine, we should not fully trust it to be error-free.

💡radiotherapy

Radiotherapy uses radiation to treat diseases like cancer by damaging tumor cells. The Therac-25 was a radiotherapy machine whose software bugs led to patients receiving fatal radiation overdoses.

💡bug

A software bug refers to an error, flaw or fault in a computer program that causes it to produce an incorrect or unexpected result. The Therac-25 accidents were caused by bugs in its software that went undetected and unchecked.

💡hardware

Hardware refers to the physical components of a computer system, like integrated circuits, circuit boards, input/output devices etc. The video notes that the Therac-25 lacked hardware safety mechanisms that could have prevented the fatal accidents.

💡cybersecurity

Cybersecurity refers to protecting internet-connected systems like hardware, software and data from cyberthreats. The Therac-25 events demonstrate the life-threatening risks of cybersecurity failures in safety-critical software like medical devices.

💡robotics

Robotics involves designing intelligent machines that can perform tasks without human intervention. The video argues that as robotics expands into sensitive domains like healthcare, we should be mindful that robots are not immune to errors.

💡accountability

Accountability means being responsible for and answerable for one's actions. The video notes that the Therac-25's poor software was created by an anonymous programmer, showing a lack of accountability.

💡redundancy

Redundancy refers to duplicating critical components or functions so that the system has backups. The video suggests that redundancy through both hardware safety mechanisms and software checks could have prevented Therac-25's errors.

Highlights

The Therac-25 was a radiotherapy machine developed in the 1980s that was involved in multiple accidents causing serious injury and death.

The Therac-25 depended entirely on software for safety measures, unlike previous models that had hardware safety checks.

The Therac-25 software was written by one unidentified person over several years.

The first Therac-25 accident causing serious injury occurred in June 1985, but the company denied it could happen.

Further accidents occurred, but AECL continued to state it was impossible and blame other factors.

In 1986, accidents in Texas and Maine involving error code 54 led to fatal overdoses of radiation.

AECL finally admitted software bugs caused the overdoses when the error could be reproduced.

The software could not properly synchronize with hardware changes, allowing radiation before magnets were correctly positioned.

Another fatal accident in 1987 revealed a variable overflow bug also caused incorrect radiation doses.

AECL had never properly tested the Therac-25 before selling and claiming it was extremely safe.

The Therac-25 case revealed the dangers of over-relying on software for safety and led to more hardware checks.

Humans can fail more than machines, but we should not blindly trust machines as immune to catastrophic errors.

As we become more reliant on AI, we must reflect on not blindly trusting answers without verification.

Working together, humans, hardware, and software can help reduce risks from over-reliance on machines.

Even simple software like YouTube can fail, but failures in mission-critical systems like planes, cars, and medicine can be catastrophic.

Transcripts

Eu quero começar o vídeo com uma pergunta.

Quantas coisas na sua vida você depende diretamente de máquinas para fazer?

Quando você precisa acordar cedo, você talvez use o seu celular ou algum outro dispositivo eletrônico para te acordar.

O que você faz sem saber é criar uma condição no software do seu despertador que se parece algo com isso.

Se o horário for X horas, um alarme será disparado.

E existe uma chance, mesmo que pequena, de um problema acontecer.

Quem sabe um bug afete o software do despertador e o seu alarme não vai ser disparado.

Tenta explicar isso pro seu chefe. Boa sorte.

Esse é um exemplo muito simples e antigo de como nós somos dependentes de máquinas no nosso dia a dia.

Até um relógio antigo daqueles programados manualmente pode falhar.

Nada tá a salvo.

E com o tempo as coisas deixaram de ser manuais

e as máquinas começaram a ganhar uma outra espécie de automatização:

os softwares.

E hoje em dia, com o avanço de algoritmos de inteligências artificiais, essa automatização

está cada vez mais presente na nossa vida.

As músicas que você escuta, os vídeos que você assiste ou até mesmo as pesquisas

que você faz dependem quase que diretamente de uma inteligência artificial que pode ser

considerada um software que automatiza.

Usando um exemplo recente, o ChatGPT.

Nesse ponto da história, você provavelmente já escutou que a gente tem que tomar cuidado

com as respostas que o ChatGPT dá, porque ela nem sempre é informação correta.

Existem diversas notícias ao redor do mundo de alunos de faculdade que fizeram

trabalhos usando o ChatGPT sem conferir as fontes e acabaram recebendo uma nota

baixa ou até reprovando por causa disso. Mas por que eu tô falando disso tudo?

Isso mostra que nós não devemos confiar 100% nas máquinas, mesmo que elas sejam

extremamente úteis na maior parte do tempo. E pra ser justo, isso também vale para humanos. Falhas humanas são até mais comuns do que a falha

das máquinas. O ponto aqui é a conclusão errada que muitos de nós temos de que máquinas

são perfeitas e imunes a erros. E que por errarem menos, então nós podemos confiar

cegamente nelas. Alguns erros, como um despertador não tocando de manhã, podem ser pequenos.

Mas outros erros podem ser muito mais catastróficos e levar até mesmo a desastres com perdas irreparáveis, como é o caso do considerado pior erro de

software na história, o Therac-25.

O Therac-25 foi uma máquina de radioterapia desenvolvida pela Atomic Energy of Canada

Limited, ou AECL, e começou a ser comercializada em 1982.

A máquina foi responsável por seis acidentes que levaram a lesões graves e algumas até

fatais de pessoas.

E todos os acidentes estão associados a um bug que aconteceu no

software da máquina que antes era considerada extremamente segura pela

empresa. Mas antes que você ache estúpida a ideia de usar a máquina junto com

radiação, deixa eu contar uma breve história da radioterapia. Só antes de

conhecermos mais sobre o pior bug de software da história, que tal ouvir sobre

uma oportunidade de aprender habilidades novas e quem sabe programar melhor?

Eu pergunto isso porque a Alura está com 15% de desconto para quem assiste o Ciência Todo Dia.

A Alura é a maior escola online de tecnologia e são mais de 1.400 cursos que você pode

fazer com uma única assinatura.

Então entre no site alura.tv/cienciatododia e escolha algum curso de algo que

você gostaria muito de aprender, mas nunca tirou tempo.

Se eu fosse recomendar algum, eu recomendaria qualquer um da escola de inteligência artificial.

Vale a pena.

E agora, de volta ao vídeo, vamos começar com uma breve história da radioterapia.

A ideia do uso de radiação para tratar condições médicas não é nova.

Ela vem do final do século XIX.

O primeiro uso registrado de radiação foi apenas três dias depois do anúncio da descoberta

dos raios-x, que foi feita pelo físico alemão Röntgen, em 1895.

O químico e médico Émile Grubbé ficou extremamente interessado pelo trabalho do Röntgen,

e ele se utilizou como cobaia,

tirando imagens de raio-x da sua própria mão.

E na época, o Grubbé não imaginava que raios-x

poderiam ser perigosos em doses altas e frequentes.

Quando ele visitou médicos,

porque a mão dele estava ficando lesionada,

um deles, chamado J. E. Gilman,

percebeu que se algo pudesse danificar tecidos saudáveis daquela forma,

talvez pudesse danificar e tratar tecidos indesejáveis, como tumores e lesões.

Um dos médicos que estava na ocasião era Reuben Ludlam,

e ele cuidava de pacientes com câncer de mama.

Ludlam e Grubbé, então, iniciaram o tratamento usando o raio-x.

E por muitas pessoas, essa é conhecida como a primeira vez

em que a radiação foi usada como tratamento, dando início à radioterapia.

Infelizmente, os primeiros casos não deram certo,

mas isso não impediu que a pesquisa do uso de radiação como tratamento

ao redor do mundo continuasse.

Logo depois, em 1898, Marie Curie, junto com seu marido Pierre Curie,

descobriram o rádio e o fenômeno da radioatividade.

E não demorou muito para que também fosse levantada a ideia

de que isso pudesse ser usado como radioterapia.

Por décadas, físicos, químicos e médicos aprofundaram cada vez mais

a pesquisa do uso de radiação para tratamento de diferentes doenças,

principalmente tumores.

E em diversos casos, até hoje,

tem se mostrado como um tratamento que funciona.

E é aqui que nós chegamos em 1970,

quando a radioterapia já era usada como tratamento tradicional e bastante comum.

O tratamento podia ser dividido em dois tipos, radiação de elétrons e radiação de raios-x.

Um era usado para atingir partes mais internas do corpo, e dessa forma tratar lesões em órgãos internos,

enquanto o outro era usado para lesões externas, como as da pele.

Então, era comum a necessidade de duas máquinas para diferentes tipos de tratamentos,

o que era visto como caro pelos hospitais.

Pensando nisso, a AECL introduziu o Double Pass Linear Accelerator,

ou Acelerador Linear de Passagem Dupla,

e ele conseguia ser mais ou menos uma máquina dois em um.

A primeira máquina a ter esse conceito de dois em um foi a chamada Therac-20,

mas a AECL acreditava que podia melhorar. Foi então que o protótipo da chamada

Therac-25 foi criado. Ela funcionaria com esse conceito de passagem dupla. Ela seria uma máquina

dois em um e ela seria totalmente dependente do software. Inclusive as medidas de segurança,

que antes eram baseadas em hardware, ou seja, coisas físicas, agora dependiam completamente

de software, código. Em resumo, o Therac-25 faria tudo completamente sozinho.

O radiologista precisaria apenas posicionar a pessoa na máquina,

informar a prescrição médica e definir o tipo de radiação.

Então, seria tudo feito de forma automática e com um mínimo de presença humana.

E, em teoria, isso diminuiria a possibilidade de falhas humanas.

Mas o código tem umas coisas curiosas.

Ele inteiro foi escrito na linguagem de programação PDP-11 Assembly Language

e ele foi escrito por uma pessoa no decorrer de anos.

E até hoje a gente não sabe quem foi essa uma

pessoa. A gente não sabe quem era o responsável pelo código e nem quais eram suas experiências e

qualificações. E nem mesmo os advogados envolvidos no caso conseguiram identificar a pessoa, mesmo

depois de inúmeros processos que a empresa levou. E isso nos leva ao momento em que as coisas

começaram a dar errado. O primeiro caso que levou a um processo aconteceu em junho de 1985.

Uma mulher estava fazendo a sua 12ª sessão de radioterapia

para tratar um câncer na região da clavícula.

E normalmente o processo era completamente indolor

quando o paciente recebia 200 rads de radiação a cada vez.

Mas nesse dia ela sentiu uma sensação de queimado

e disse para o técnico que ele havia queimado a pele dela.

A queimadura continuou a piorar durante as próximas semanas

e os técnicos e médicos do centro de tratamento

acreditavam que eram sintomas do câncer que estava sendo tratado.

No entanto, um médico percebeu que as lesões foram causadas por alta dose de radiação,

calculando que a paciente tinha recebido cerca de 15 a 20 mil rads.

Só lembrando que a dose era para ser por volta dos 200 rads.

Quando eles informaram a AECL, a empresa retornou dizendo que o médico estava fazendo alegações falsas

e que era impossível um erro como esse acontecer.

Um pouco mais de um mês depois, em Ontário, no Canadá,

algo semelhante aconteceu com outra paciente que também teve sensação de queimaduras.

A estimativa é que ela tenha recebido uma quantidade próxima a 17 mil rads.

Para vocês terem noção da quantidade de radiação,

ela é maior do que a quantidade absorvida pelos dois físicos

que foram vítimas dos acidentes envolvendo o núcleo do demônio.

O problema foi informado à empresa, que retornou dizendo que era apenas um problema na mesa giratória.

A empresa adicionou no software uma forma de identificar se a mesa estava ou não na posição ideal.

E eles afirmaram que isso aumentaria em 10 mil vezes a segurança da máquina.

Mas novamente, ela dependia apenas do software, do código para a segurança.

A Canadian Radiation Protection Bureau pediu que a empresa adicionasse medidas de segurança no hardware da máquina, para que ele funcionasse como uma medida de

segurança adicional, mas a empresa nunca respondeu. Outro acidente aconteceu em

dezembro daquele mesmo ano, mas novamente a AECL disse que era impossível aquele

erro e o software da máquina proibiria uma dose tão alta. E para piorar, só uma das

três vítimas de 1985 morreu naquele ano. E a causa da morte foi, provavelmente, a

doença que estava sendo tratada. Os outros dois pacientes tiveram sequelas às lesões, mas essas sequelas não chegaram a ser fatais.

Mas o pior ainda estava por vir.

Os técnicos que manuseavam a máquina disseram mais tarde que era comum erros com números aparecerem.

E, geralmente, eles diziam 'Malfunction X'.

E esse X, na verdade, era só um número, que ia até mais ou menos 64.

Alguns deles até relatavam que os erros apareciam diariamente e sumiam logo depois.

E eles davam sempre as mesmas instruções de reparo.

Era só desligar a máquina, ligar ela de novo e, puf, pronto.

Ela volta a funcionar.

Quanta coisa na vida não é assim, né?

E quando eles iam procurar o que os erros significavam no manual,

não tinha nada de útil.

E mesmo tentando o contato com a empresa, ela também não respondia.

Até que em março de 1986, no Texas,

um paciente estava na sua nona sessão de radioterapia.

Ele estava tratando um tumor localizado nas costas.

E o hospital já tinha feito mais de 500 sessões usando o Therac-25.

E até então, eles não tinham nenhum registro de um problema semelhante àqueles que aconteceram em 1985.

Até que uma técnica experiente colocou os dados na máquina

e apertou a letra X, de raio-X, ao invés de E, de elétrons.

E antes que ela pudesse apertar, a técnica percebeu o erro e mudou os parâmetros

e continuou o tratamento como de costume.

Até que um erro 'Malfunction 54' apareceu no monitor e, de acordo com o manual, isso significa

que o paciente havia recebido uma dose ou muito baixa ou muito alta de radiação.

A técnica percebeu isso.

No monitor da máquina estava escrito que o paciente tinha recebido só 6 unidades

de dose ao invés das 202 esperadas.

Ou seja, de acordo com o software da máquina, ele tinha recebido dose de menos.

E aí a técnica apertou o botão OK novamente para liberar mais.

Dentro da sala onde estava a máquina, o paciente percebeu que tinha alguma coisa errada quando

ele sentiu um choque elétrico forte passando pelo seu corpo.

Ele tentou avisar a técnica, mas os alto-falantes da sala não estavam funcionando.

Ele sentiu outro choque antes de conseguir avisar a técnica, que finalmente interrompeu

o procedimento.

E no monitor ainda constava que ele tinha recebido uma dose menor do que a esperada.

E os médicos que foram chamados para resolver disseram que provavelmente o que ele sentiu

foi um choque comum por causa dos equipamentos eletrônicos.

O paciente foi enviado para casa e a máquina voltou a funcionar pelo resto do dia.

Os técnicos da AECL até foram chamados para reproduzir o erro, mas eles não conseguiram.

Até que dias depois, esse mesmo paciente retornou com sintomas de overdose por radiação

e os médicos calcularam que ele tinha recebido uma dose de radiação

maior do que a de alguém que estivesse na usina de Chernobyl quando ela explodiu.

O paciente faleceu em agosto daquele ano por complicações associadas a essa alta dose de radiação.

Em abril do mesmo ano, no mesmo hospital, o mesmo erro 54 aconteceu com outro paciente que faleceu em Maina.

Quando a empresa foi chamada, eles disseram que não conseguiam reproduzir o erro.

E eles assumiram que talvez tinha sido só um choque elétrico por causa de algum curto circuito,

mas logo perceberam que esse não era o caso.

Após testes de um médico, a empresa finalmente confirmou que tinha um problema no código

e pediu para os usuários não mudarem mais o tipo de radiação de forma rápida.

O que acontecia era que, para mudar os tipos de radiação,

os imãs levavam 8 segundos para deixar tudo na configuração adequada.

Quando os valores eram alterados em menos de 8 segundos,

as configurações dos imãs não eram

alteradas e a radiação podia chegar aos pacientes de forma fatal.

O próprio código que fazia a máquina funcionar era cego para esse erro.

Ele não conseguia analisar se o que estava no monitor era a configuração em que a

máquina se encontrava no momento em que os raios eram produzidos. E o erro 54

dizia mais sobre a dose ter sido alta demais ou baixa demais e não sobre a

questão de a máquina não estar na configuração adequada.

Inclusive, até o dosímetro da máquina indicava uma dose bem menor do que a usual.

E nós não podemos nos esquecer de que a AECL vendia a máquina como se o software detectasse todo e qualquer problema.

Então, em teoria, esses problemas deveriam ser identificados pelo código da máquina, mas ele possuía bugs que não eram identificados.

Os modelos anteriores ao Therac-25 possuíam o mesmo erro, mas eles tinham confirmações de segurança através do próprio hardware,

mesmo quando o operador cometia erros. Ou seja, se o Therac não estivesse na configuração

adequada, a máquina possuía travas de segurança que impediriam o funcionamento e evitava acidentes.

E esse foi o grande problema. A segurança da máquina era 100% dependente do código

dela, que em teoria devia detectar tudo isso. A AECL atualizou o software para consertar esse problema, e no fim de 1986 parecia que tudo estava resolvido.

Mas como se não bastasse, em janeiro de 1987, outro acidente fatal aconteceu em Washington.

Mais uma vez por outro bug no software.

Uma das funções do código era verificar se a posição da máquina estava correta.

E para isso ele poderia verificar a posição centenas de vezes antes de liberar a dose de radiação.

Só que se o valor fosse qualquer um diferente de zero,

isso significaria um problema na posição,

então a dose não poderia ser liberada.

Mas a variável que a empresa usou para isso possuía apenas 1 byte,

que limita o número de valores possíveis para apenas 256 valores,

que vão do zero ao 255.

Ou seja, era improvável, mas podia acontecer uma ocasião em que o software tentasse mostrar o valor 256,

que é um número diferente de zero, que deveria proibir a liberação de radiação,

mas ainda assim o código deria esse número como zero, porque ele está fora do intervalo.

E o improvável aconteceu.

O número parou justamente em 256,

que foi lido como zero pelo código da máquina e liberou radiação quando a posição ainda não estava correta.

E esse foi o terceiro acidente fatal envolvendo a Therac-25.

E como consequência, o FDA passou a investigar mais a fundo a AECL.

Eles até tentaram melhorar o código e adicionar travas de segurança no próprio hardware,

mas a empresa logo encerrou a sua atuação no desenvolvimento de equipamentos médicos.

E pra piorar, na investigação eles descobriram que a empresa nunca havia testado propriamente

a máquina antes.

Apesar de eles terem alegado que eles tinham feito mais de 25 mil horas de testes,

mais tarde eles descobriram que esse não era o caso.

E o que deixa tudo ainda mais bizarro é que o código foi escrito por apenas uma pessoa

que até hoje nós não sabemos quem é.

E toda a segurança de uma máquina com radiação estava baseada nesse código.

Hoje, o caso do Therac-25 funciona como um caso de estudo de ética

nos cursos de ciência da computação e também de como bugs podem ser fatais.

Isso é ainda mais grave quando pensamos que hoje nós somos ainda mais dependentes de

máquinas em diversas áreas, incluindo medicina.

Claro que a maior parte dos erros do nosso dia a dia é do tipo, nossa, meu YouTube tá

demorando pra carregar, eu mostro uma mensagem de erro quando eu abro o Ciência Todo Dia.

E esse tipo de erro é muito menos grave do que um Therac-25 da vida.

Mas é importante a gente parar pra refletir o quanto a gente confia nas máquinas.

E esse tipo de situação tende a ficar ainda maior e mais frequente, com o avanço de IAs em áreas

como medicina, aeronáutica e automobilismo.

Sim, humanos estão aptos a falhar até mais do que máquinas.

Mas isso não significa que elas são imunes a erros que nós devemos confiar cegamente

nelas.

Eu acho importante deixar claro que meu objetivo nesse vídeo não é criar caos, já que máquinas

podem ter até mais casos de sucesso do que casos de falhas em diferentes áreas.

Mas é importante a reflexão de que existem casos em que nós não devemos confiar cegamente

em máquinas e quem sabe o caminho para reduzir o risco seja um trabalho em conjunto entre

humanos, hardware e softwares.

Isso é algo que devemos ter em mente até mesmo com algo simples como confiar cegamente

no que o ChatGPT responde, já que a tendência é a nossa dependência nele aumentar.

E se você gosta desse tipo de tema de vídeo, não esquece de se inscrever aqui no canal

pra eu fazer mais.

Muito obrigado e até a próxima!