Insights de dados e algoritmos de aprendizado de máquina podem ser inestimáveis. No entanto, erros podem custar sua reputação, receita ou até mesmo vidas. Essas análises de alto nível e desastres de IA ilustram o que pode dar errado.
Em 2017, The Economist declarou que os dados, em vez do petróleo, tornaram-se o recurso mais valioso do mundo. O refrão foi repetido desde então. Então, organizações de todos os setores têm investido e continuam a investir fortemente em dados e análises. Mas, como o petróleo, os dados e as análises têm seu lado sombrio.
De acordo com o relatório State of the CIO 2022 do CIO, 35% dos líderes de TI dizem que dados e análise de negócios impulsionarão a maior parte dos investimentos em TI em sua organização este ano. Entretanto, 20% dos líderes de TI dizem que aprendizado de máquina/inteligência artificial impulsionará a maior parte do investimento em TI. Insights obtidos de análises e ações conduzidas por algoritmos de aprendizado de máquina podem dar às organizações uma vantagem competitiva. Contudo, os erros podem custar caro em termos de reputação, receita ou até mesmo vidas.
Portanto, compreender seus dados e o que eles estão dizendo é importante, mas também é importante entender suas ferramentas. Isso, além de conhecer seus dados e manter os valores da sua organização em mente.
Aqui estão algumas análises de alto nível e desastres de IA da última década para ilustrar o que pode dar errado.
Algoritmos de IA identificam tudo, menos o COVID-19
Desde o início da pandemia do COVID-19, várias organizações têm procurado aplicar algoritmos de aprendizado de máquina (ML) para ajudar os hospitais a diagnosticar ou fazer a triagem de pacientes mais rapidamente. No entanto, de acordo com o Turing Institute do Reino Unido, um centro nacional de ciência de dados e IA, as ferramentas preditivas fizeram pouca ou nenhuma diferença.
O MIT Technology Review registrou uma série de falhas, a maioria delas decorrentes de erros na forma como as ferramentas foram treinadas ou testadas. O uso de dados rotulados incorretamente ou dados de fontes desconhecidas era um culpado comum.
Derek Driggs, pesquisador de aprendizado de máquina da Universidade de Cambridge, juntamente com seus colegas, publicou um artigo na Nature Machine Intelligence que explorou o uso de modelos de aprendizado profundo para diagnosticar o vírus. Contudo, o artigo determinou que a técnica não era adequada para uso clínico.
Por exemplo, o grupo de Driggs descobriu que seu próprio modelo era falho porque foi treinado em um conjunto de dados que incluía exames de pacientes que estavam deitados enquanto eram examinados e pacientes que estavam em pé. Os pacientes que estavam deitados eram muito mais propensos a estar gravemente doentes, então o algoritmo aprendeu a identificar o risco de COVID com base na posição da pessoa no exame.
Um exemplo semelhante inclui um algoritmo treinado com um conjunto de dados que inclui exames de tórax de crianças saudáveis. O algoritmo aprendeu a identificar crianças, não pacientes de alto risco. Portanto, esse foi um dos grandes desastres de IA dos últimos tempos.
Zillow perdeu dinheiro e funcionários devido ao desastre algorítmico na compra de casa
Em novembro de 2021, o mercado imobiliário online Zillow disse aos acionistas que encerraria suas operações Zillow Offers e cortaria 25% da força de trabalho da empresa – cerca de 2.000 funcionários – nos próximos trimestres. Os problemas da unidade de inversão de casas foram o resultado da taxa de erro no algoritmo de aprendizado de máquina usado para prever os preços das casas.
O Zillow Offers era um programa por meio do qual a empresa fazia ofertas em dinheiro em propriedades com base em uma “Zestimate” de valores residenciais derivados de um algoritmo de aprendizado de máquina. A ideia era reformar os imóveis e lançá-los rapidamente. Entretanto, um porta-voz da Zillow disse à CNN que o algoritmo tinha uma taxa de erro média de 1,9%, e a taxa de erro poderia ser muito maior, até 6,9%, para casas fora do mercado.
Então, a CNN informou que a Zillow comprou 27.000 casas por meio do Zillow Offers desde seu lançamento em abril de 2018, mas vendeu apenas 17.000 até o final de setembro de 2021. Eventos de cisne negro como a pandemia do COVID-19 e uma escassez de mão de obra para reforma de casas contribuíram para os problemas de precisão do algoritmo.
Zillow disse que o algoritmo a levou a comprar involuntariamente casas a preços mais altos do que suas estimativas atuais de preços de venda futuros. Isso resultou em uma redução de estoque de US$ 304 milhões no terceiro trimestre de 2021.
Em uma teleconferência com investidores após o anúncio, o cofundador e CEO da Zillow, Rich Barton, disse que pode ser possível ajustar o algoritmo, mas no final das contas era muito arriscado. Não à toa, esse é considerado um dos grandes desastres de IA dos últimos tempos.
Reino Unido perde milhares de casos de COVID ao exceder o limite de dados da planilha
Em outubro de 2020, a Public Health England (PHE), órgão do governo do Reino Unido responsável por registrar novas infecções por COVID-19, revelou que quase 16.000 casos de coronavírus não foram relatados entre 25 de setembro e 2 de outubro. O culpado? Limitações de dados no Microsoft Excel.
O PHE usa um processo automatizado para transferir resultados laboratoriais positivos para COVID-19 como um arquivo CSV em modelos do Excel usados por painéis de relatórios e para rastreamento de contatos. Infelizmente, as planilhas do Excel podem ter no máximo 1.048.576 linhas e 16.384 colunas por planilha. Além disso, o PHE estava listando casos em colunas em vez de linhas. Quando os casos excederam o limite de 16.384 colunas, o Excel cortou os 15.841 registros na parte inferior.
A “falha” não impediu que os indivíduos testados recebessem seus resultados. No entanto, impediu os esforços de rastreamento de contatos. Isso tornou mais difícil para o Serviço Nacional de Saúde do Reino Unido (NHS) identificar e notificar indivíduos que estavam em contato próximo com pacientes infectados. Em uma declaração em 4 de outubro, Michael Brodie, executivo-chefe interino da PHE, disse que o NHS Test and Trace e o PHE resolveram o problema rapidamente e transferiram todos os casos pendentes imediatamente para o sistema de rastreamento de contatos do NHS Test and Trace.
Então, a PHE implementou uma “mitigação rápida”. Ou seja, dividiu arquivos grandes e realizou uma revisão completa de todos os sistemas para evitar incidentes semelhantes no futuro. Por isso, esse caso entrou na lista de grandes desastres de IA dos últimos tempos.
Algoritmo de saúde falhou ao sinalizar pacientes negros
Em 2019, um estudo publicado na Science revelou que um algoritmo de previsão de saúde, usado por hospitais e seguradoras em todos os EUA para identificar pacientes que precisam de programas de “gerenciamento de cuidados de alto risco”, era muito menos provável de destacar pacientes negros.
Os programas de gerenciamento de cuidados de alto risco fornecem pessoal de enfermagem treinado e monitoramento de cuidados primários para pacientes com doenças crônicas, em um esforço para prevenir complicações graves. Contudo, o algoritmo era muito mais propenso a recomendar pacientes brancos para esses programas do que pacientes negros.
O estudo descobriu que o algoritmo usou os gastos com saúde como um proxy para determinar a necessidade de saúde de um indivíduo. Entretanto, de acordo com a Scientific American, os custos de saúde de pacientes negros mais doentes estavam no mesmo nível dos custos de pessoas brancas mais saudáveis. Ou seja, eles recebiam pontuações de risco mais baixas, mesmo quando sua necessidade era maior.
Os pesquisadores do estudo sugeriram que alguns fatores podem ter contribuído. Primeiro, as pessoas de cor são mais propensas a ter rendas mais baixas. Isso, mesmo quando segurado, pode torná-las menos propensas a ter acesso a cuidados médicos. O viés implícito também pode fazer com que as pessoas de cor recebam cuidados de baixa qualidade.
Embora o estudo não tenha nomeado o algoritmo ou o desenvolvedor, os pesquisadores disseram à Scientific American que estavam trabalhando com o desenvolvedor para resolver a situação. Portanto, esse foi um dos grandes desastres de IA dos últimos tempos.
Dataset treinou chatbot da Microsoft para lançar tweets racistas
Em março de 2016, a Microsoft descobriu que usar interações do Twitter como dados de treinamento para algoritmos de aprendizado de máquina pode ter resultados desanimadores.
A Microsoft lançou o Tay, um chatbot de IA, na plataforma de mídia social. A empresa descreveu isso como um experimento de “entendimento conversacional”. A ideia era que o chatbot assumiria a persona de uma adolescente e interagiria com indivíduos via Twitter usando uma combinação de aprendizado de máquina e processamento de linguagem natural. Então, a Microsoft o semeou com dados públicos anônimos e algum material pré-escrito por comediantes, depois o liberou para aprender e evoluir a partir de suas interações na rede social.
Em 16 horas, o chatbot postou mais de 95.000 tweets, e esses tweets rapidamente se tornaram abertamente racistas, misóginos e antissemitas. A Microsoft rapidamente suspendeu o serviço para ajustes e, finalmente, desligou.
“Lamentamos profundamente os tweets ofensivos e prejudiciais não intencionais de Tay, que não representam quem somos ou o que defendemos, nem como projetamos Tay”, Peter Lee, vice-presidente corporativo da Microsoft Research & Incubations, escreveu em um post no blog oficial da Microsoft após o incidente.
Lee observou que o antecessor de Tay, Xiaoice, lançado pela Microsoft na China em 2014, teve conversas bem-sucedidas com mais de 40 milhões de pessoas nos dois anos anteriores ao lançamento de Tay. O que a Microsoft não levou em conta foi que um grupo de usuários do Twitter imediatamente começaria a twittar comentários racistas e misóginos para Tay. O bot aprendeu rapidamente com esse material e o incorporou em seus próprios tweets. Isso sim caracteriza um dos grandes desastres de IA do século.
“Embora tenhamos nos preparado para muitos tipos de abusos do sistema, fizemos uma supervisão crítica para esse ataque específico. Como resultado, Tay twittou palavras e imagens extremamente inapropriadas e repreensíveis”, escreveu Lee.
Ferramenta de recrutamento habilitada para IA da Amazon apenas para homens recomendados
Como muitas grandes empresas, a Amazon está faminta por ferramentas que possam ajudar sua função de RH a selecionar os melhores candidatos. Portanto, em 2014, a Amazon começou a trabalhar em um software de recrutamento com inteligência artificial para fazer exatamente isso. Havia apenas um problema: o sistema preferia amplamente candidatos do sexo masculino. Em 2018, a Reuters deu a notícia de que a Amazon havia descartado o projeto.
O sistema da Amazon deu aos candidatos classificações de estrelas de 1 a 5. Mas os modelos de aprendizado de máquina no centro do sistema foram treinados em 10 anos de currículos enviados à Amazon – a maioria deles de homens. Como resultado desses dados de treinamento, o sistema começou a penalizar frases no currículo que incluíam a palavra “mulheres” e até rebaixou candidatos de faculdades só para mulheres.
Na época, a Amazon disse que a ferramenta nunca foi usada pelos recrutadores da Amazon para avaliar os candidatos.
A empresa tentou editar a ferramenta para torná-la neutra. Contudo, acabou decidindo que não poderia garantir que não aprenderia alguma outra forma discriminatória de classificação de candidatos e encerrou o projeto. Isso caracteriza um dos grandes desastres de IA dos últimos tempos.
Análise de destino de compra violou a privacidade
Em 2012, um projeto de análise do gigante do varejo Target mostrou o quanto as empresas podem aprender sobre os clientes a partir de seus dados. De acordo com o New York Times, em 2002, o departamento de marketing da Target começou a se perguntar como poderia determinar se as clientes estavam grávidas. Essa linha de investigação levou a um projeto de análise preditiva que levaria o varejista a revelar inadvertidamente à família de uma adolescente que ela estava grávida. Isso, por sua vez, levaria a todos os tipos de artigos e blogs de marketing citando o incidente como parte do conselho para evitar o “fator assustador”.
O departamento de marketing da Target queria identificar grávidas porque há certos períodos da vida – a gravidez principalmente entre eles – em que as pessoas têm maior probabilidade de mudar radicalmente seus hábitos de compra. Então, se a Target pudesse alcançar os clientes nesse período, poderia, por exemplo, cultivar novos comportamentos nesses clientes. Ou seja, os faria recorrer à Target para comprar mantimentos, roupas ou outros bens.
Como todos os outros grandes varejistas, a Target coletava dados sobre seus clientes por meio de códigos de compras, cartões de crédito, pesquisas e muito mais. Ele misturou esses dados com dados demográficos e dados de terceiros que comprou. A análise de todos esses dados permitiu que a equipe de análise da Target determinasse que havia cerca de 25 produtos vendidos pela Target que poderiam ser analisados juntos para gerar uma pontuação de “previsão de gravidez”. O departamento de marketing poderia, então, atingir clientes de alta pontuação com cupons e mensagens de marketing.
Resultado
Pesquisas adicionais revelariam que estudar o status reprodutivo dos clientes pode parecer assustador para alguns desses clientes. De acordo com o Times, a empresa não recuou de seu marketing direcionado, mas começou a misturar anúncios de coisas que sabiam que mulheres grávidas não comprariam. Incluindo anúncios de cortadores de grama ao lado de anúncios de fraldas. Tudo para fazer o mix de anúncios parecer aleatório para o cliente. Ainda assim, trata-se de um dos grandes desastres de IA dos últimos tempos.
