Inteligência Artificial e Direito - Ed. 2020

Discriminação nas Decisões por Algoritmos: Polícia Preditiva

Entre no Jusbrasil para imprimir o conteúdo do Jusbrasil

Acesse: https://www.jusbrasil.com.br/cadastro

Autor:

Carolina Braga

Nos últimos seis anos, o departamento de polícia de Nova York compilou um enorme banco de dados contendo os nomes e detalhes pessoais de pelo menos 17.500 pessoas que acredita estarem envolvidas em gangues criminosas. O esforço já foi criticado por ativistas dos direitos civis que dizem que é impreciso e racialmente discriminatório.

“Now imagine marrying facial recognition technology with the development of a database that theoretically assumes you are in a gang”, disse Sherrilyn Ifill, presidente e diretora-conselheira do fundo NAACP Legal Defense no AI Now Symposium, realizado em Nova York em 2018.

Controlados por algoritmos, sistemas automatizados de tomada de decisões ou de apoio à decisão são procedimentos em que as decisões são inicialmente, de forma parcial ou total, delegadas para outra pessoa ou corporação, que, por sua vez, usa modelos de decisões automatizadas para executar uma ação. A automatização é da execução, portanto, e não da decisão em si. Esta, na maioria dos casos atuais, permanece sendo humana.

O termo também afasta a questão levantada pelo termo “inteligência” que remete a um comportamento e pensamentos dotados de, ao menos, certo grau de autonomia, o que geraria problemas mais à frente quando se analisar a questão de regulação e responsabilização.

Considerando os casos já citados anteriormente é possível constatar que sistemas de decisões autônomas já vêm sendo usados em diversos países de modo que lidar com a questão da discriminação gerada por eles é tratar de um problema atual, e não futuro.

Embora haja ampla evidência 1 de que decisões humanas sejam dotadas de vieses sendo, muitas vezes, preconceituosas não há indícios de que as decisões por algoritmos sejam melhores ou livres desses vieses. Na verdade, o que ocorre é justamente o contrário, como se demonstrará.

1. Polícia preditiva

Em maio de 2010, motivado por uma série de escândalos de alto perfil, o prefeito de Nova Orleans pediu ao Departamento de Justiça dos EUA que investigasse o departamento de polícia da cidade (NOPD). Dez meses depois, o DOJ ofereceu sua análise alucinante: durante o período de sua revisão a partir de 2005, o NOPD violou repetidamente as leis constitucionais e federais 2 .

Usou força excessiva e desproporcionalmente contra moradores negros; minorias raciais específicas, falantes não nativos de inglês e indivíduos LGBTQ; e não abordou a violência contra as mulheres. Os problemas, disse o assistente do procurador geral Thomas Perez na época, eram “sérios, abrangentes, sistêmicos e profundamente enraizados na cultura do departamento” 3 .

Na tentativa de buscar uma solução para tais resultados, a cidade entrou em uma parceria secreta apenas um ano depois com a empresa de mineração de dados Palantir para implantar um sistema de policiamento preditivo 4 . O sistema usou dados históricos, incluindo registros de detenções e relatórios policiais eletrônicos, para prever o crime e ajudar a moldar as estratégias de segurança pública, de acordo com materiais da empresa 5 e do governo local 6 .

No entanto, não consta nesses documentos qualquer indício que sugira ter ocorrido algum esforço para limpar ou corrigir os dados utlizados pelo algoritmo, que traziam em si as violações reveladas pelo DOJ. Com toda a probabilidade, os dados corrompidos foram alimentados diretamente no sistema, reforçando as práticas, já discriminatórias, do departamento.

O policiamento preditivo, sistema utilizado no caso descrito acima, geralmente descreve qualquer sistema que analisa dados disponíveis para prever onde um crime pode ocorrer em um determinado período de tempo (baseado em local) ou quem estará envolvido em um crime como vítima ou perpetrador (baseado em pessoa).

Trata-se da mais recente ferramenta de combate à criminalidade que se utiliza de técnicas de análise de dados e, tal como o uso de sistemas de decisão autônomos adquiridos e utilizados por outros setores, o policiamento preditivo é vendido com a promessa de neutralizar os preconceitos, conscientes ou inconscientes, dos tomadores de decisão humanos – neste caso, a polícia.

No entanto, poucos fornecedores de sistemas de policiamento preditivo são totalmente transparentes sobre como seus sistemas operaram, devido ao fato de seus algoritmos estarem protegidos pelo segredo industrial, que dados específicos são usados, ou ainda quais medidas de responsabilidade que o fornecedor emprega para abordar eventuais danos gerados por vieses ou evidências de má conduta.

Contudo, é notoriamente sabido que a principal fonte de dados usualmente utilizada são as atividades passadas da polícia local e, enquanto as categorias específicas podem...

Uma experiência inovadora de pesquisa jurídica em doutrina, a um clique e em um só lugar.

No Jusbrasil Doutrina você acessa o acervo da Revista dos Tribunais e busca rapidamente o conteúdo que precisa, dentro de cada obra.

  • 3 acessos grátis às seções de obras.
  • Busca por conteúdo dentro das obras.
Ilustração de computador e livro
jusbrasil.com.br
2 de Dezembro de 2021
Disponível em: https://thomsonreuters.jusbrasil.com.br/doutrina/secao/1196969677/discriminacao-nas-decisoes-por-algoritmos-policia-preditiva-inteligencia-artificial-e-direito-ed-2020