Insights de dados e algoritmos de machine learning são inestimáveis. Contudo, os erros podem custar reputação, receita ou até mesmo vidas. Confira a seguir o top 5 desastres de IA e analytics dos últimos anos.
Em 2017, The Economist declarou:
Dados, ao invés do petróleo, se tornaram o recurso mais valioso do mundo.
Isso foi repetido desde então. Portanto, empresas de todos os setores investiram e continuam a investir pesadamente em dados e análises. Mas, como o petróleo, dados e análises têm seu lado perigoso.
Relatório State of the CIO 2020 do IDG
37% dos líderes de TI dizem que a análise de dados é responsável pela maior parte dos investimentos em TI em sua organização em 2020. Afinal, insights obtidos via IA e analytics podem dar às organizações uma vantagem competitiva. Entretanto, os erros podem custar caro em termos de reputação, receita ou até mesmo vidas.
Ou seja, compreender seus dados e o que eles estão dizendo é importante. Contudo, também é importante entender suas ferramentas. Além de conhecer seus dados e manter os valores de sua organização em mente.
Confira os maiores desastres de IA e analytics da última década a seguir. Dessa forma, você pode aprender com o erro dos outros e se prevenir.
1 – Reino Unido perdeu milhares de casos COVID por exceder o limite de dados da planilha
Sim. É isso mesmo. Em outubro de 2020, o Public Health England (PHE) revelou que quase 16.000 casos de coronavírus não foram notificados entre 25 de setembro e 2 de outubro. O culpado? Limitações de dados no Microsoft Excel. Se isso não entrasse no top desastres de IA e analytics, não sei o que entraria.
O PHE usa um processo automatizado para transferir resultados de laboratório COVID-19 positivos. Isso é feito via arquivo CSV para modelos do Excel usados por painéis de relatórios e para rastreamento de contato. Contudo, as planilhas do Excel podem ter no máximo 1.048.576 linhas e 16.384 colunas por planilha. Além disso, o PHE estava listando os casos em colunas em vez de linhas. Ou seja, o que aconteceu quando os casos excederam o limite de 16.384 colunas? O Excel cortou os 15.841 registros na parte inferior.
Prevenção por água abaixo
A “falha” não impediu os indivíduos que fizeram o teste de receberem seus resultados. No entanto, impediu os esforços de rastreamento de contato. Ou seja, dificultou a identificação e notificação de pessoas que estavam em contato próximo com pacientes infectados.
Em uma declaração em 4 de outubro, Michael Brodie, executivo-chefe interino da PHE, disse:
“O NHS Test and Trace e o PHE resolveram o problema rapidamente. Todos os casos pendentes foram imediatamente transferidos para o sistema de rastreamento de contato do NHS Test and Trace”.
Além disso, o PHE implementou uma “mitigação rápida”. Ela dividiu arquivos grandes e conduziu uma revisão completa de ponta a ponta de todos os sistemas. Tudo a fim de evitar incidentes semelhantes no futuro.
2 – Algoritmo de saúde falhou ao sinalizar pacientes negros
Em 2019, um estudo publicado na Science revelou algo inesperado. Um algoritmo de previsão de saúde tinha muito menos probabilidade de destacar pacientes negros. Este era usado por hospitais e seguradoras em todos os Estados Unidos para identificar pacientes que precisam de programas de “gerenciamento de cuidados de alto risco”.
Esse tipo de programa fornece uma equipe de enfermagem treinada em monitoramento de cuidados primários. Elas atendem pacientes crônicos em um esforço para prevenir complicações graves. Contudo, o algoritmo tinha muito mais probabilidade de recomendar pacientes brancos para esses programas do que pacientes negros.
Cuidado com o proxy
O estudo descobriu que o algoritmo usou gastos com saúde como um proxy para determinar a necessidade de saúde de um indivíduo. Entretanto, a Scientific American mostrou que custos de saúde de pacientes negros mais doentes eram equivalentes aos custos de pessoas brancas mais saudáveis. Ou seja, eles recebiam escores de risco mais baixos. Mesmo quando sua necessidade era maior. Por isso, este entra como o segundo no top desastres de IA e analytics da década.
Contudo, os pesquisadores sugeriram que mais fatores podem ter contribuído. Em primeiro lugar, as pessoas negras têm maior probabilidade de ter rendimentos mais baixos. Ou seja, mesmo quando seguradas, pode diminuir a probabilidade de acesso a cuidados médicos. O preconceito implícito também pode fazer com que as pessoas de cor recebam cuidados de qualidade inferior.
O estudo não forneceu o nome do algoritmo ou do desenvolvedor. No entanto, os pesquisadores disseram à Scientific American que estavam trabalhando com o desenvolvedor para resolver a situação.
3 – Conjunto de dados treinou o chatbot da Microsoft para enviar tweets racistas
Em março de 2016, a Microsoft descobriu o que já era esperado. Usar as interações do Twitter como dados de treinamento para algoritmos de machine learning pode ter resultados ruins.
A história é a seguinte:
A Microsoft lançou o Tay Um chatbot AI, na plataforma de mídia social. A empresa o descreveu como um experimento de “compreensão conversacional”. A ideia era boa. Afinal, o chatbot assumiria a personalidade de uma adolescente e interagiria com os indivíduos via Twitter. Tudo usando uma combinação de aprendizado de máquina e processamento de linguagem natural.
Então, a Microsoft semeou-o com dados públicos anônimos. Isso, além de algum material pré-escrito por comediantes. Em seguida, o liberou para aprender e evoluir a partir de suas interações na rede social.
Resultado:
Em apenas 16 horas, o chatbot postou mais de 95.000 tweets. Contudo, esses tweets rapidamente se tornaram abertamente racistas, misóginos e anti-semitas. Portanto, a Microsoft suspendeu rapidamente o serviço para ajustes. Entretanto, eventualmente, desistiu do projeto.
“Sentimos profundamente pelos tweets ofensivos e prejudiciais não intencionais de Tay. Ele não representa quem somos ou o que defendemos. Tampouco como projetamos Tay.” – Peter Lee, vice-presidente corporativo, Microsoft Research & Incubations (então vice-corporativo presidente da Microsoft Healthcare).
A culpa é dos usuários?
Esse é um dos desastres de IA e analytics mais lembrados até hoje! Contudo, Lee ainda observou o seguinte. O antecessor de Tay, Xiaoice, lançado pela Microsoft na China em 2014, teve conversas com sucesso com mais de 40 milhões de pessoas dois anos antes do lançamento de Tay. Ou seja, a Microsoft não considerou que um grupo de usuários do Twitter imediatamente começaria a twittar comentários racistas e misóginos para Tay. O bot aprendeu rapidamente com esse material e o incorporou em seus próprios tweets.
“Embora tenhamos nos preparado para muitos tipos de abusos do sistema, fizemos uma supervisão crítica para esse ataque específico. Como resultado, Tay tuitou palavras e imagens totalmente inadequadas e repreensíveis”, escreveu Lee.
4 – Ferramenta de recrutamento habilitada para Amazon só recomendou homens
Como muitas grandes empresas, a Amazon usa aplicativos de seleção para encontrar os melhores candidatos. Contudo, em 2014, a Amazon começou a trabalhar com um software de recrutamento movido a IA. Havia apenas um problema: o sistema preferia amplamente candidatos do sexo masculino. Felizmente, em 2018, a Reuters anunciou que a Amazon descartou o projeto.
O sistema da Amazon deu aos candidatos classificações de 1 a 5. Entretanto, os modelos de aprendizado de máquina no centro do sistema foram treinados em currículos de 10 anos enviados à Amazon. Ou seja, a maioria deles pertencia a homens. Portanto, o sistema passou a penalizar frases no currículo que incluíam a palavra “mulheres”. Isso incluiu até mesmo candidatos rebaixados de faculdades só para mulheres.
Na época, a Amazon disse que a ferramenta nunca foi usada pelos recrutadores para avaliar candidatos. Ainda assim, a empresa tentou editar a ferramenta para torná-la neutra. Contudo, acabou decidindo que não poderia garantir que não aprenderia alguma outra forma discriminatória de classificar candidatos. Portanto, encerrou o projeto que está entre os desastres de IA e analytics da década.
5 – Análise de segmentação violou privacidade
Em 2012, a titã do varejo Target criou um projeto incrível. Este mostrou o quanto as empresas podem aprender sobre os clientes a partir de seus dados. De acordo com o New York Times, em 2002 o departamento de marketing da Target teve uma brilhante ideia. Ele começou a se perguntar como poderia determinar se as clientes estão grávidas.
Essa linha de investigação levou a um projeto de análise preditiva. Esta, por sua vez, levaria o varejista a revelar inadvertidamente à família de uma adolescente que ela estava grávida. Contudo, isso levaria a todos os tipos de artigos e blogs de marketing citando o incidente.
O departamento de marketing da Target queria identificar grávidas porque há certos períodos na vida quando as pessoas têm maior probabilidade de mudar radicalmente seus hábitos de compra. E a gravidez é um deles. Portanto, se a Target pudesse alcançar os clientes naquele período, poderia cultivar novos comportamentos nesses clientes. Ou seja, fazê-los recorrer à Target para comprar mantimentos, roupas ou outros bens.
E a coleta ética de dados?
Entretanto, a Target estava coletando dados sobre seus clientes por meio de:
- Códigos de compradores;
- Cartões de crédito;
- Pesquisas e mais.
Então, ela misturou esses dados com dados demográficos e dados de terceiros adquiridos. A análise de todos os dados permitiu que a equipe de análise determinasse que cerca de 25 produtos vendidos pela Target poderiam ser analisados em conjunto. Tudo a fim de gerar uma pontuação de “previsão de gravidez”. O departamento de marketing poderia então direcionar os clientes de alta pontuação com cupons e mensagens de marketing.
Contudo, pesquisas adicionais revelaram que estudar o estado reprodutivo dos clientes pode parecer assustador. Isso virou meme e também é lembrado até hoje entre os desastres de IA e analytics.
Entretanto, de acordo com o Times, a empresa não recuou de seu marketing direcionado. No entanto, começou a misturar anúncios de coisas que sabiam que mulheres grávidas não comprariam. Isso inclui anúncios de cortadores de grama ao lado de anúncios de fraldas. Dessa forma, o mix de anúncios pareceria aleatório para o cliente.
