Um negro, automaticamente reconhecido como gorila em uma plataforma de fotografia digital. Nas redes sociais, cortar automaticamente uma foto fora do padrão de exibição favorece rostos brancos. Em outra rede, o alcance das postagens de mulheres negras aumentou 6.000% quando postadas por mulheres brancas.

Esses exemplos não são específicos e têm sido alvo de críticas e reflexões por parte de internautas e pesquisadores. Como poderiam os modelos matemáticos, os chamados algoritmos, ser racistas? O que é racismo algorítmico? O pesquisador Tarcizio Silva, doutorando em Ciências Humanas e Sociais pela Universidade Federal do ABC (UFABC), explica que é preciso perguntar como esses sistemas são utilizados para permitir “a manutenção, a intensificação e a ocultação do racismo estrutural”. Silva desenvolveu uma linha do tempo que demonstra casos, dados e reações.

“A solução não está apenas na transparência dos códigos, mas na apropriação e crítica social da tecnologia”, afirma. Como os sistemas são alimentados, quais dados são aceitos, quem cria as tecnologias e quem é incluído ou excluído na multiplicação dos dispositivos automatizados são algumas das questões levantadas por Silva. “O racismo algorítmico é uma tecnologização e automatização do racismo estrutural”, avalia.

Os criadores do blog Tecnocríticas, Renata Gusmão, Gabriela Guerra e Felipe Martins atuam na área de tecnologia da informação (TI) e usam a Internet para discutir, entre outros temas, a ausência de neutralidade tecnológica. “Existem aqueles que pensam que esses algoritmos são pessoas de uma sociedade machista, racista e desigual. Logo, a lógica por trás de uma solução carrega esses mesmos valores. Eles não consideram a diversidade dos usuários finais e acabam reforçando as desigualdades e a discriminação no mundo ‘real’”, ressaltam em entrevista por e-mail à Agência Brasil.

Racismo algorítmico

Uma das mais impactantes ocorreu faz uns meses no Twitter, com o recorte automático de fotos que favorecia rostos brancos. Milhares de usuários utilizaram a hashtag #AlgoritmoRacista, na própria rede, para questionar os automatismos que denunciavam o racismo. Silva explica que essa descoberta mostrou a utilização de algoritmos baseados em redes neurais, cuja técnica encontra regiões de interesse na imagem a partir de dados coletados por rastreamento ocular.

“Um acúmulo de dados tendenciosos e pesquisas que favoreciam a estética branca fez com que o sistema usado pelo Twitter não conseguisse nem explicar adequadamente de onde vinha o problema”, disse o pesquisador. Na época, a plataforma prometeu revisar o motor.

"Devíamos ter feito um trabalho melhor ao antecipar essa possibilidade quando estávamos projetando e construindo este produto."

“É assim que funciona o racismo algorítmico, através da acumulação de tecnologias inexplicáveis e mal ajustadas que, em princípio, otimizam algum aspecto técnico, mas na realidade mutilam a experiência do utilizador”, acrescenta a investigadora.

Reconhecimento facial

Fora das redes sociais, os danos do racismo algorítmico podem ser ainda maiores. Dados levantados pela Rede de Observatórios de Segurança mostram que, de março a outubro de 2019, 151 pessoas foram detidas por meio de tecnologia e reconhecimento facial no Brasil em quatro estados (Bahia, Rio de Janeiro, Santa Catarina e Paraíba). Nos registros que continham informações sobre raça e cor, ou quando havia imagens das pessoas abordadas (42 casos), observou-se que 90,5% eram negros. “As principais motivações para as detenções e detenções foram o tráfico e o roubo de drogas”, afirma o relatório.

Silva lembra que, em países europeus e regiões dos Estados Unidos, esta tecnologia tem sido questionada ou proibida. “Os motivos são vários, desde a imprecisão, a baixa rentabilidade ou a promoção do vigilantismo e da violência estatal”, explica. Ele ressalta que o sistema é impreciso na identificação de rostos de minorias. “Mas um futuro onde o reconhecimento facial seja mais preciso não importa: é uma tecnologia necessariamente racista em países onde a seletividade penal e o encarceramento em massa são o modus operandi do Estado.”

Partidas

Combater esta expressão discriminatória dos algoritmos passa por garantir mais diversidade na área das TI. “Seja garantindo que as equipes encarregadas de pensar nessas soluções sejam diversificadas em termos raciais e de gênero, por exemplo, ou treinando robôs com dados diferentes. Outra questão, também muito importante, é que a indústria tecnológica responde à dinâmica econômica, por isso nem sempre estas soluções são as que realmente resolvem os problemas das pessoas, mas sim as que geram lucros”, avaliam. Silva acredita que o primeiro passo para a proteção é “superar eventuais problemas”.