Insights de algoritmos de aprendizado de máquina e dados podem ser inestimáveis, mas erros podem custar sua reputação, receita ou até mesmo vidas. Essas análises de alto perfil e erros de IA ilustram o que pode dar errado.
Em 2017, o The Economist declarou que os dados, em vez do petróleo, se tornaram o recurso mais valioso do mundo. O refrão foi repetido desde então. Organizações em todos os setores têm investido fortemente em dados e análises. Mas, como o petróleo, dados e análises têm seu lado negro.
De acordo com o relatório State of the CIO 2023 do CIO, 34% dos líderes de TI dizem que dados e análise de negócios impulsionarão o maior investimento em TI em sua organização este ano. E 26% dos líderes de TI dizem que aprendizado de máquina/inteligência artificial impulsionará o maior investimento em TI. Os insights obtidos a partir de análises e ações orientadas por algoritmos de aprendizado de máquina podem dar às organizações uma vantagem competitiva, mas os erros podem custar caro em termos de reputação, receita ou até vidas.
Compreender seus dados e o que eles estão dizendo é importante, mas também é importante entender suas ferramentas, conhecer seus dados e manter os valores de sua organização em mente.
Aqui estão algumas análises de alto nível e erros de IA da última década para ilustrar o que pode dar errado.
ChatGPT alucina processos judiciais
Os avanços feitos em 2023 por grandes modelos de linguagem (LLMs) alimentaram o interesse generalizado no potencial transformador da IA generativa em quase todos os setores. O ChatGPT da OpenAI tem estado no centro desse aumento de interesse, prenunciando como a IA generativa detém o poder de interromper a natureza do trabalho em quase todos os cantos dos negócios.
Mas a tecnologia ainda tem um longo caminho a percorrer antes que possa assumir de forma confiável a maioria dos processos de negócios, como o advogado Steven A. Schwartz aprendeu quando se viu em maus lençóis com o juiz distrital dos EUA P. Kevin Castel em 2023, depois de usar o ChatGPT para pesquisar precedentes em um processo contra a companhia aérea colombiana Avianca.
Schwartz, um advogado da Levidow, Levidow & Oberman, usou o chatbot de IA geradora OpenAI para encontrar casos anteriores para apoiar um caso aberto pelo funcionário da Avianca, Roberto Mata, por ferimentos sofridos em 2019. O único problema? Pelo menos seis dos casos apresentados no escrito não existiam. Em um documento arquivado em maio, o juiz Castel observou que os casos apresentados por Schwartz incluíam nomes e números de processos falsos, juntamente com falsas citações e citações internas.
Em uma declaração juramentada, Schwartz disse ao tribunal que foi a primeira vez que usou o ChatGPT como fonte de pesquisa legal e que “não tinha conhecimento da possibilidade de que seu conteúdo pudesse ser falso”. Ele admitiu que não havia confirmado as fontes fornecidas pelo chatbot AI. Ele também disse que “lamenta muito ter utilizado inteligência artificial generativa para complementar a pesquisa jurídica aqui realizada e nunca o fará no futuro sem verificação absoluta de sua autenticidade”.
Em junho de 2023, Schwartz enfrentava possíveis sanções do tribunal.
Algoritmos de IA identificam tudo, menos o COVID-19
Desde o início da pandemia de COVID-19, várias organizações procuraram aplicar algoritmos de aprendizado de máquina (ML) para ajudar os hospitais a diagnosticar ou triar pacientes mais rapidamente. Mas de acordo com o Turing Institute do Reino Unido, um centro nacional de ciência de dados e IA, as ferramentas preditivas fizeram pouca ou nenhuma diferença.
O MIT Technology Review registrou uma série de falhas, a maioria das quais decorre de erros na forma como as ferramentas foram treinadas ou testadas. O uso de dados rotulados incorretamente ou dados de fontes desconhecidas era um culpado comum.
Derek Driggs, pesquisador de aprendizado de máquina da Universidade de Cambridge, juntamente com seus colegas, publicou um artigo na Nature Machine Intelligence que explorou o uso de modelos de aprendizado profundo para diagnosticar o vírus. O artigo determinou que a técnica não é adequada para uso clínico. Por exemplo, o grupo de Driggs descobriu que seu próprio modelo era falho porque foi treinado em um conjunto de dados que incluía varreduras de pacientes deitados durante a varredura e pacientes em pé. Os pacientes que estavam deitados tinham muito mais probabilidade de ficar gravemente doentes, então o algoritmo aprendeu a identificar o risco de COVID com base na posição da pessoa no exame.
Um exemplo semelhante inclui um algoritmo treinado com um conjunto de dados que incluía varreduras de tórax de crianças saudáveis. O algoritmo aprendeu a identificar crianças, não pacientes de alto risco.
Zillow abateu milhões de dólares e cortou a força de trabalho devido ao desastre algorítmico na compra de casas
Em novembro de 2021, o mercado imobiliário online Zillow disse aos acionistas que encerraria suas operações de Zillow Offers e cortaria 25% da força de trabalho da empresa – cerca de 2.000 funcionários – nos próximos trimestres. Os problemas da unidade de mudança de casa foram resultado da taxa de erro no algoritmo de aprendizado de máquina usado para prever os preços das casas.
O Zillow Offers era um programa por meio do qual a empresa fazia ofertas em dinheiro em propriedades com base em um “Zestimate” de valores residenciais derivados de um algoritmo de aprendizado de máquina. A ideia era reformar os imóveis e lançá-los rapidamente. Mas um porta-voz da Zillow disse à CNN que o algoritmo tinha uma taxa média de erro de 1,9%, e a taxa de erro poderia ser muito maior, até 6,9%, para casas fora do mercado.
A CNN informou que Zillow comprou 27.000 casas por meio de Zillow Offers desde seu lançamento em abril de 2018, mas vendeu apenas 17.000 até o final de setembro de 2021. Eventos de cisne negro como a pandemia de COVID-19 e uma escassez de mão de obra para reforma contribuíram para os problemas de precisão do algoritmo.
Zillow disse que o algoritmo o levou a comprar involuntariamente casas a preços mais altos do que suas estimativas atuais de preços de venda futuros, resultando em uma redução de estoque de US$ 304 milhões no terceiro trimestre de 2021.
Em uma teleconferência com investidores após o anúncio, o cofundador e CEO da Zillow, Rich Barton, disse que pode ser possível ajustar o algoritmo, mas, em última análise, é muito arriscado.
O Reino Unido perdeu milhares de casos de COVID ao exceder o limite de dados da planilha
Em outubro de 2020, a Public Health England (PHE), órgão do governo do Reino Unido responsável por registrar novas infecções por COVID-19, revelou que quase 16.000 casos de coronavírus não foram relatados entre 25 de setembro e 2 de outubro. Limitações de dados no Microsoft Excel.
O PHE usa um processo automatizado para transferir resultados laboratoriais positivos para COVID-19 como um arquivo CSV para modelos do Excel usados por painéis de relatórios e para rastreamento de contatos. Infelizmente, as planilhas do Excel podem ter no máximo 1.048.576 linhas e 16.384 colunas por planilha. Além disso, o PHE listava os casos em colunas e não em linhas. Quando os casos excederam o limite de 16.384 colunas, o Excel cortou os 15.841 registros na parte inferior.
A “falha” não impediu que os indivíduos que fizeram o teste recebessem seus resultados, mas bloqueou os esforços de rastreamento de contatos, tornando mais difícil para o Serviço Nacional de Saúde do Reino Unido (NHS) identificar e notificar indivíduos que estiveram em contato próximo com pacientes infectados. . Em uma declaração em 4 de outubro, Michael Brodie, executivo-chefe interino da PHE, disse que o NHS Test and Trace e o PHE resolveram o problema rapidamente e transferiram todos os casos pendentes imediatamente para o sistema de rastreamento de contatos NHS Test and Trace.
A PHE implementou uma “mitigação rápida” que divide arquivos grandes e realizou uma revisão completa de ponta a ponta de todos os sistemas para evitar incidentes semelhantes no futuro.
O algoritmo de assistência médica falhou ao sinalizar pacientes negros
Em 2019, um estudo publicado na Science revelou que um algoritmo de previsão de saúde, usado por hospitais e seguradoras nos Estados Unidos para identificar pacientes que precisam de programas de “gerenciamento de cuidados de alto risco”, tinha muito menos probabilidade de destacar pacientes negros.
Os programas de gerenciamento de cuidados de alto risco fornecem equipe de enfermagem treinada e monitoramento de cuidados primários para pacientes com doenças crônicas em um esforço para prevenir complicações graves. Mas o algoritmo era muito mais propenso a recomendar pacientes brancos para esses programas do que pacientes negros.
O estudo descobriu que o algoritmo usava gastos com saúde como um proxy para determinar a necessidade de saúde de um indivíduo. Mas, de acordo com a Scientific American, os custos de saúde de pacientes negros mais doentes eram equivalentes aos custos de pessoas brancas mais saudáveis, o que significava que eles recebiam pontuações de risco mais baixas mesmo quando sua necessidade era maior.
Os pesquisadores do estudo sugeriram que alguns fatores podem ter contribuído. Em primeiro lugar, as pessoas de cor são mais propensas a ter rendas mais baixas, o que, mesmo quando seguradas, pode torná-las menos propensas a ter acesso a cuidados médicos. O viés implícito também pode fazer com que pessoas de cor recebam atendimento de qualidade inferior.
Embora o estudo não tenha identificado o algoritmo ou o desenvolvedor, os pesquisadores disseram à Scientific American que estavam trabalhando com o desenvolvedor para resolver a situação.
Dataset treinou chatbot da Microsoft para lançar tweets racistas
Em março de 2016, a Microsoft descobriu que usar as interações do Twitter como dados de treinamento para algoritmos de aprendizado de máquina pode ter resultados desanimadores.
A Microsoft lançou o Tay, um chatbot de IA, na plataforma de mídia social. A empresa o descreveu como um experimento de “compreensão conversacional”. A ideia era que o chatbot assumisse a personalidade de uma adolescente e interagisse com os indivíduos via Twitter usando uma combinação de aprendizado de máquina e processamento de linguagem natural. A Microsoft o semeou com dados públicos anônimos e algum material pré-escrito por comediantes, depois o soltou para aprender e evoluir a partir de suas interações na rede social.
em 16 horas, o chatbot postou mais de 95.000 tweets, e esses tweets rapidamente se tornaram abertamente racistas, misóginos e anti-semitas. A Microsoft suspendeu rapidamente o serviço para ajustes e, por fim, desligou.
“Lamentamos profundamente os tweets ofensivos e prejudiciais não intencionais de Tay, que não representam quem somos ou o que defendemos, nem como projetamos Tay”, Peter Lee, vice-presidente corporativo, Microsoft Research & Incubations (então vice-presidente corporativo presidente da Microsoft Healthcare), escreveu em um post no blog oficial da Microsoft após o incidente.
Lee observou que o antecessor de Tay, Xiaoice, lançado pela Microsoft na China em 2014, teve conversas bem-sucedidas com mais de 40 milhões de pessoas nos dois anos anteriores ao lançamento de Tay. O que a Microsoft não levou em consideração foi que um grupo de usuários do Twitter começaria imediatamente a twittar comentários racistas e misóginos para Tay. O bot aprendeu rapidamente com esse material e o incorporou em seus próprios tweets.
“Embora estivéssemos preparados para muitos tipos de abusos do sistema, fizemos uma supervisão crítica para esse ataque específico. Como resultado, Tay twittou palavras e imagens extremamente inapropriadas e repreensíveis”, escreveu Lee.
A ferramenta de recrutamento habilitada para IA da Amazon recomenda apenas homens
Como muitas grandes empresas, a Amazon está ávida por ferramentas que possam ajudar sua função de RH a selecionar aplicativos para os melhores candidatos. Em 2014, a Amazon começou a trabalhar em um software de recrutamento baseado em IA para fazer exatamente isso. Havia apenas um problema: o sistema preferia candidatos do sexo masculino. Em 2018, a Reuters deu a notícia de que a Amazon havia descartado o projeto.
O sistema da Amazon deu aos candidatos classificações de estrelas de 1 a 5. Mas os modelos de aprendizado de máquina no centro do sistema foram treinados em 10 anos de currículos enviados à Amazon – a maioria deles de homens. Como resultado desses dados de treinamento, o sistema começou a penalizar frases no currículo que incluíam a palavra “feminino” e até mesmo rebaixar candidatos de faculdades só para mulheres.
Na época, a Amazon disse que a ferramenta nunca foi usada pelos recrutadores da Amazon para avaliar candidatos.
A empresa tentou editar a ferramenta para torná-la neutra, mas acabou decidindo que não poderia garantir que não aprenderia alguma outra forma discriminatória de classificar os candidatos e encerrou o projeto.
A análise de destino violou a privacidade
Em 2012, um projeto de análise da gigante do varejo Target mostrou o quanto as empresas podem aprender sobre os clientes a partir de seus dados. De acordo com o New York Times, em 2002, o departamento de marketing da Target começou a se perguntar como poderia determinar se as clientes estavam grávidas. Essa linha de investigação levou a um projeto de análise preditiva que levaria o varejista a revelar inadvertidamente à família de uma adolescente que ela estava grávida. Isso, por sua vez, levaria a todos os tipos de artigos e blogs de marketing citando o incidente como parte do conselho para evitar o “fator assustador”.
O departamento de marketing da Target queria identificar as grávidas porque há certos períodos na vida – a gravidez em primeiro lugar – quando as pessoas têm maior probabilidade de mudar radicalmente seus hábitos de compra. Se a Target conseguisse alcançar os clientes naquele período, poderia, por exemplo, cultivar novos comportamentos nesses clientes, levando-os a recorrer à Target para comprar mantimentos, roupas ou outros produtos.
Como todos os outros grandes varejistas, a Target coletava dados sobre seus clientes por meio de códigos de compradores, cartões de crédito, pesquisas e muito mais. Ele misturou esses dados com dados demográficos e dados de terceiros que comprou. A análise de todos esses dados permitiu que a equipe de análise da Target determinasse que havia cerca de 25 produtos vendidos pela Target que poderiam ser analisados em conjunto para gerar uma pontuação de “previsão de gravidez”. O departamento de marketing poderia, então, atingir os clientes de alta pontuação com cupons e mensagens de marketing.
Pesquisas adicionais revelariam que estudar o status reprodutivo dos clientes pode parecer assustador para alguns deles. De acordo com o Times, a empresa não recuou de seu marketing direcionado, mas começou a misturar anúncios de coisas que sabiam que mulheres grávidas não comprariam – incluindo anúncios de cortadores de grama ao lado de anúncios de fraldas – para fazer o mix de anúncios. sinta-se aleatório para o cliente.
Gerenciar inteligências artificiais demanda expertise, portanto, é interessante contar com uma parceira de TI.
Diferenciais da Infonova
A Infonova tem 20 anos de experiência em tecnologia, infraestrutura de TI, e pessoas. Temos clientes internacionais como HBO, AirBnb, Linkedin, Tempo Assist, Nissin, entre outros. Ou seja, estamos aptos a atender qualquer segmento e tamanho de negócio com maestria.
BACKUP
Todas as posições de profissionais da Infonova têm backup. Temos um ditado interno que é: “quem tem um… não tem nenhum”. Portanto, somos obcecados em ter continuidade nas operações para que nós e os nossos clientes possam focar na parte mais importante: explorar oportunidades e gerar crescimento.
VALOR FINANCEIRO
O valor da Infonova é intencionalmente menor quando comparado com empresas no mesmo nível de maturidade. No entanto, fazemos isso para ter a possibilidade de escolher os nossos clientes e ter uma base de clientes satisfeitos, e por bastante tempo.
LIBERAÇÃO DO RH
O RH é uma das áreas mais importantes de qualquer empresa. Afinal, ele deve estar focado em gerir a cultura, desenvolvimento dos colaboradores e atração de talentos; e não apenas com a reposição de profissionais. Sendo assim, terceirizar a TI oferece a possibilidade de fazer com que o RH esteja mais livre para se tornar um vetor de crescimento para a empresa.
FLEXIBILIDADE – HUB DE TECNOLOGIA
A Infonova não faz só Infra, ela pode fazer de tudo. Na verdade, para alguns clientes que não podem resolver algumas questões diretamente, a Infonova atua como Hub, indo para o mercado, encontrando parceiros e fornecedores e interagindo com eles. Esses serviços incluem áreas diversas, como:
- Ar condicionado;
- Outsourcing de impressão;
- Links de internet;
- Compra de materiais e mais.
ALOCAÇÃO DE DESENVOLVEDORES
A Infonova já foi uma fábrica de software no passado. Contudo, em 2012 escolhemos focar em Gestão de TI, Infraestrutura e Segurança. No entanto, como era de se esperar, esse conhecimento e familiaridade permanecem até hoje no time. Portanto, realizamos consultorias de DevOps para alguns clientes, atuamos como mediador entre clientes e desenvolvedores, e também alocamos desenvolvedores para alguns clientes.
RETENÇÃO DE COLABORADORES
Demoramos mais de 10 anos para entender e construir as ferramentas para atrair e manter profissionais de tecnologia no nosso time. Então, seja o profissional alocado no cliente ou não, temos a vivência de como reter, desenvolver e satisfazer tanto os profissionais quanto os clientes. E essa é uma necessidade para o sucesso da empresa.
LIBERAR BRAIN POWER DA ORGANIZAÇÃO PARA APROVEITAR OPORTUNIDADES
Não dá para fazer tudo. Então, faz mais sentido focar no que faz a empresa crescer, mas isso requer um recurso escasso: tempo e atenção. Terceirizar a TI significa retomar esse recurso, contudo, não é de graça. Terceirizar é mais caro do que contratar direto, mas faz sentido se você pode usar a atenção e o tempo para realizar mais valor, inclusive financeiro.
NÃO TEM MULTA DE CONTRATO
A Infonova tirou as multas dos seus contratos há muitos anos. Afinal, entendemos que para o cliente, muitas vezes mudar é uma situação nova. Portanto, escolhemos tirar o risco do cliente e trazer este risco apenas para o nosso lado.
PODE PARAR QUANDO QUISER
Os primeiros 90 dias de contrato com a Infonova não tem multa e nem aviso prévio. Ou seja, basta pedir para parar. Contudo, após os 90 dias, também não temos multa, porém, solicitamos um aviso com 30 dias de antecedência.
CONTINUAMOS AMIGOS
Na Infonova a relação continua mesmo sem contrato. Ou seja, mantemos o relacionamento com os clientes e continuamos ajudando, trocando experiências e apoiando, independente de existir um documento de contrato ou não. Afinal, o nosso interesse é na parceria.
DORMIR TRANQUILO
Stress faz parte do crescimento. Afinal, crescer não é um caminho fácil. No entanto, você pode escolher o tipo de stress que quer ter. Ou seja, pode decidir entre o stress de fazer a empresa “funcionar”, ou o de focar em aproveitar as oportunidades enquanto dorme tranquilo sabendo que o dia a dia está garantido.
