Autoria: Ana Rita Fontes, MEBiom (IST)
A Inteligência Artificial (IA) já não é um bicho de 7 cabeças, só visto nos ciborgues destruidores dos filmes de ficção científica, e faz-nos agora companhia em tarefas básicas do nosso dia a dia.
A IA é a ciência e a “engenharia de fazer máquinas inteligentes”. Para além de ser capaz de armazenar dados, sistemas de IA também conseguem adquirir e manipular conhecimento, na medida em que são capazes de inferir e deduzir novos conhecimentos a partir dos dados atuais: de certa forma,procuram reproduzir a capacidade de tomar decisões e de resolver problemas dos seres humanos [1][2].
Algumas das aplicações mais recorrentes no nosso dia a dia são: chatbots, assistentes pessoais, reconhecimento facial, análise do comportamento do consumidor (e, como bem sabemos, do dos utilizadores de redes sociais). Alguns outros exemplos incluem robótica, carros autónomos, ferramentas de processamento de linguagem natural e algumas aplicações na área da saúde, como o mapeamento de doenças [3].
Se, por um lado, a IA pode facilitar-nos a vida, por outro há um grande número de questões éticas que não podem ser ignoradas. E mesmo dentro do campo da ética, há um mundo de considerações por explorar. Por exemplo, se um carro autónomo for contra alguém, de quem é a culpa? E se tiver de escolher entre sacrificar o condutor ou o peão para salvar um deles, quem deverá ser? As escolhas morais não são universais e por isso ainda não se pode responder de forma concreta a estes dilemas [4][5].
Os carros autónomos são um dos inúmeros exemplos do tipo de questões éticas que têm vindo ao de cima nos últimos anos. O foco deste artigo está noutro assunto: os preconceitos, nomeadamente de raça e de género, que podem estar presentes nos sistemas de IA.
Tecnicamente, um sistema de IA é tão bom quanto os dados de treino que lhe são fornecidos. Se o sistema for enriquecido com dados totalmente desprovidos de preconceito, tanto conscientes como inconscientes, então fará decisões e julgamentos completamente justos e despretensiosos. O problema é que este nem sempre é o caso e nos últimos anos reportaram-se situações concretas e graves que prejudicaram substancialmente a vida de várias pessoas [6].
Esta situação nem sempre é culpa ativa de quem desenvolve os sistemas. Mas o ser humano é muitas vezes influenciado por preconceitos inerentes que acabam por se refletir nos algoritmos ou nos dados a que o sistema tem acesso. Há, desta forma, dois “culpados” para a presença de preconceito na IA:
-Enviesamentos cognitivos (cognitive bias): Caracterizam-se por tendências humanas que podem levar a desvios sistemáticos de lógica e decisões irracionais. Mais de uma centena deste tipo de enviesamentos já foi identificada no mundo da psicologia e todos podem afetar a nossa capacidade de tomada de decisões. Podem refletir-se nos algoritmos, quer pela “transmissão” inconsciente de quem os desenvolve ao sistema, quer pela sua presença nos dados que são fornecidos para o treino;
–Dataset desequilibrado: Os dados de treino fornecidos podem não ser inclusivos ou representativos da realidade, o que acaba por resultar em preconceito.
É altura de explorar alguns exemplos do que tem acontecido a este nível. Um dos nomes mais conhecidos na exposição desta situação é o de Joy Buolamwini, uma cientista afro americana que estudou Ciências da Computação no MIT. No seu percurso académico, Joy teve contacto com alguns algoritmos de reconhecimento facial em contexto de trabalho. Eis o que notou: os softwares muito raramente reconheciam a sua face… Até colocar uma máscara branca.
A sua pesquisa acabou por revelar que os softwares de reconhecimento facial dos gigantes da tecnologia, como a IBM, a Microsoft e a Amazon, estavam enviesados. Reconheciam mais facilmente uma cara masculina do que uma cara feminina, e mais facilmente também a cara de alguém de raça branca comparativamente a alguém de raça negra. No geral, os sistemas apresentavam 1% de erro quando se tratava de um homem branco, mas cerca de 35% de erro na deteção da cara de uma mulher negra [7].
Esta situação é explicada pelo facto de a maioria dos trabalhadores destas empresas serem homens brancos, cujas caras acabam por servir como dados de testes para o desenvolvimento dos softwares. Desta forma, é natural que o algoritmo tenha mais facilidade na deteção de pessoas com essas características. Joy tem tido um papel relevante na luta contra este tipo de preconceito e algumas destas empresas já corrigiram a situação, fornecendo ao software dados mais diversificados para a sua aprendizagem.
Mas e quando há vidas em risco? Uma equipa de investigadores, ao fazer análises estatísticas de um hospital, acabou por se aperceber de forma quase acidental que o algoritmo usado nos hospitais e seguradoras norte americanas tem vindo a discriminar racialmente os seus utentes de forma sistemática. Muito mais facilmente remete uma pessoa branca para um certo programa de cuidados de saúde do que uma pessoa negra, igualmente doente.
Acabaram por estudar a situação, o que é raro, pois muitas vezes não é permitido o acesso ao algoritmo. No fim, concluíram que o que se passava era que o algoritmo atribuía risk scores conforme os custos totais de saúde acumulados pela pessoa ao longo do ano. No dataset, o custo médio de saúde de uma pessoa negra era igual ao custo médio de saúde de uma pessoa branca. O que perceberam foi que, em média, a pessoa negra do dataset estava mais doente, com doenças mais graves. Portanto, no final do dia, o custo médio de tratar pessoas negras era inferior e isto refletia-se no algoritmo na medida em que as pessoas negras tinham de estar mais doentes do que as brancas para o algoritmo considerar que deveriam ser tratadas. Isto deve-se sobretudo ao facto de as pessoas negras procurarem cuidados de saúde com menos frequência, talvez devido ao racismo sistémico: quer por não acreditarem no sistema de saúde, quer por medo de discriminação direta por parte dos prestadores de cuidados[8].
Outra situação polémica acontece no sistema judicial norte americano. Alguns estados têm um sistema de apoio à decisão denominado COMPAS, que, em teoria, tem o objetivo de avaliar a probabilidade de um réu se tornar reincidente, ajudando o juiz a decidir desde valores de fianças a sentenças. Contudo, verificou-se que, de acordo com o sistema, infratores de raça negra com apenas um pequeno delito no cadastro tinham o dobro do risco de serem reincidentes do que infratores de raça branca com um cadastro mais preenchido e, à partida, mais grave. Infelizmente, não foi permitido ter acesso ao algoritmo porque foi considerado como sendo informação protegida. Em 2016, o Tribunal Supremo de Wisconsin reconheceu estes problemas, contudo comunicou que se poderia continuar a usar o COMPAS. Os juízes deveriam apenas ter em conta as suas limitações no momento de tomada de decisão [9].
O preconceito não se fica apenas à raça, podendo também ir ao encontro do género. Um dos exemplos mais conhecidos verifica-se nos algoritmos usados por algumas empresas para os processos de recrutamento. Isto aconteceu na Amazon, que em 2014 desenvolveu um algoritmo deste tipo para mecanizar a procura de talento [10]. Esta ferramenta atribuía entre 1 e 5 estrelas aos candidatos e idealmente escolheria, em 100 CVs, os 5 melhores para serem contratados. Contudo, em 2015 repararam numa coisa: a ferramenta de apoio não gostava particularmente de mulheres.
Os modelos foram treinados com os CVs submetidos à empresa ao longo de um período de 10 anos. Estes eram maioritariamente enviados por homens, uma vez que este é o género que está mais representado no mundo da tecnologia. Consequentemente, o sistema ensinou a si próprio que os candidatos masculinos eram os melhores. Foi revelado por membros da empresa familiarizados com o algoritmo que o mesmo penalizava a aparição da palavra “women” num CV, como por exemplo “women’s chess club captain”. Penalizava, também, candidatas que tiraram a sua formação em universidades exclusivas a mulheres. A empresa acabou por modificar o programa, tornando-o neutro para estas situações em específico. No entanto, havendo outros caminhos discriminatórios pelos quais os algoritmos poderiam ir, acabou por não confiar unicamente nele para o processo de recrutamento.
Apresentados alguns exemplos, coloca-se agora a questão de como combater esta situação. O primeiro passo parece, evidentemente, ser o uso de datasets representativos e completos. Há quem sugira remover rótulos de género e raça .Contudo, é preciso ter em conta que, se forem removidas muitas variáveis, o algoritmo poderá não aprender como é suposto. Caso haja insuficiência de dados relativos a um certo grupo, uma possível solução é a atribuição de pesos diferentes a cada grupo de forma a ter isso em conta.
Para além da importância dos dados que são alimentados ao modelo, deve-se também garantir que o próprio modelo a usar é o mais adequado para o que se pretende fazer. Por exemplo, em Machine Learning faz diferença utilizar aprendizagem supervisionada e não supervisionada em termos de limitações cognitivas ou inconsistências. Portanto, parte de quem desenvolve o software perceber o que faz mais sentido utilizar para evitar este tipo de situações.
Por fim, é importante monitorizar e rever constantemente qualquer modelo que se desenvolva. Os testes de treino não são suficientes e podem, até, criar uma falsa confiança. É necessário garantir que tudo corre bem no mundo real. Em última instância, entidades governamentais deverão poder intervir de forma a garantir uma sociedade mais justa.
Se quiseres informar-te mais sobre este tema e ver mais exemplos do que tem acontecido, assiste ao documentário Coded Bias na Netflix ou lê o livro Weapons of Math Destruction, sobre o impacto dos algoritmos na sociedade.
[1] https://observador.pt/explicadores/inteligencia-artificial/
[2] https://www.ibm.com/cloud/learn/what-is-artificial-intelligence
[3] https://builtin.com/artificial-intelligence/examples-ai-in-industry
[4] https://www.nature.com/articles/d41586-018-07135-0
[5] https://www.moralmachine.net/
[6] https://research.aimultiple.com/ai-bias/
[7] https://time.com/5520558/artificial-intelligence-racial-gender-bias/
[8] https://www.nature.com/articles/d41586-019-03228-6
[10] https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G
[11] https://www.logikk.com/articles/prevent-machine-bias-in-ai/https://www.logikk.com/articles/prevent-machine-bias-in-ai/https://www.logikk.com/articles/prevent-machine-bias-in-ai/
