Inteligência Artificial e Direito - Ed. 2020

Discriminação nas Decisões por Algoritmos: Polícia Preditiva

Entre no Jusbrasil para imprimir o conteúdo do Jusbrasil

Acesse: https://www.jusbrasil.com.br/cadastro

Autor:

Carolina Braga

Nos últimos seis anos, o departamento de polícia de Nova York compilou um enorme banco de dados contendo os nomes e detalhes pessoais de pelo menos 17.500 pessoas que acredita estarem envolvidas em gangues criminosas. O esforço já foi criticado por ativistas dos direitos civis que dizem que é impreciso e racialmente discriminatório.

“Now imagine marrying facial recognition technology with the development of a database that theoretically assumes you are in a gang”, disse Sherrilyn Ifill, presidente e diretora-conselheira do fundo NAACP Legal Defense no AI Now Symposium, realizado em Nova York em 2018.

Controlados por algoritmos, sistemas automatizados de tomada de decisões ou de apoio à decisão são procedimentos em que as decisões são inicialmente, de forma parcial ou total, delegadas para outra pessoa ou corporação, que, por sua vez, usa modelos de decisões automatizadas para executar uma ação. A automatização é da execução, portanto, e não da decisão em si. Esta, na maioria dos casos atuais, permanece sendo humana.

O termo também afasta a questão levantada pelo termo “inteligência” que remete a um comportamento e pensamentos dotados de, ao menos, certo grau de autonomia, o que geraria problemas mais à frente quando se analisar a questão de regulação e responsabilização.

Considerando os casos já citados anteriormente é possível constatar que sistemas de decisões autônomas já vêm sendo usados em diversos países de modo que lidar com a questão da discriminação gerada por eles é tratar de um problema atual, e não futuro.

Embora haja ampla evidência 1 de que decisões humanas sejam dotadas de vieses sendo, muitas vezes, preconceituosas não há indícios de que as decisões por algoritmos sejam melhores ou livres desses vieses. Na verdade, o que ocorre é justamente o contrário, como se demonstrará.

1. Polícia preditiva

Em maio de 2010, motivado por uma série de escândalos de alto perfil, o prefeito de Nova Orleans pediu ao Departamento de Justiça dos EUA que investigasse o departamento de polícia da cidade (NOPD). Dez meses depois, o DOJ ofereceu sua análise alucinante: durante o período de sua revisão a partir de 2005, o NOPD violou repetidamente as leis constitucionais e federais 2 .

Usou força excessiva e desproporcionalmente contra moradores negros; minorias raciais específicas, falantes não nativos de inglês e indivíduos LGBTQ; e não abordou a violência contra as mulheres. Os problemas, disse o assistente do procurador geral Thomas Perez na época, eram “sérios, abrangentes, sistêmicos e profundamente enraizados na cultura do departamento” 3 .

Na tentativa de buscar uma solução para tais resultados, a cidade entrou em uma parceria secreta apenas um ano depois com a empresa de mineração de dados Palantir para implantar um sistema de policiamento preditivo 4 . O sistema usou dados históricos, incluindo registros de detenções e relatórios policiais eletrônicos, para prever o crime e ajudar a moldar as estratégias de segurança pública, de acordo com materiais da empresa 5 e do governo local 6 .

No entanto, não consta nesses documentos qualquer indício que sugira ter ocorrido algum esforço para limpar ou corrigir os dados utlizados pelo algoritmo, que traziam em si as violações reveladas pelo DOJ. Com toda a probabilidade, os dados corrompidos foram alimentados diretamente no sistema, reforçando as práticas, já discriminatórias, do departamento.

O policiamento preditivo, sistema utilizado no caso descrito acima, geralmente descreve qualquer sistema que analisa dados disponíveis para prever onde um crime pode ocorrer em um determinado período de tempo (baseado em local) ou quem estará envolvido em um crime como vítima ou perpetrador (baseado em pessoa).

Trata-se da mais recente ferramenta de combate à criminalidade que se utiliza de técnicas de análise de dados e, tal como o uso de sistemas de decisão autônomos adquiridos e utilizados por outros setores, o policiamento preditivo é vendido com a promessa de neutralizar os preconceitos, conscientes ou inconscientes, dos tomadores de decisão humanos – neste caso, a polícia.

No entanto, poucos fornecedores de sistemas de policiamento preditivo são totalmente transparentes sobre como seus sistemas operaram, devido ao fato de seus algoritmos estarem protegidos pelo segredo industrial, que dados específicos são usados, ou ainda quais medidas de responsabilidade que o fornecedor emprega para abordar eventuais danos gerados por vieses ou evidências de má conduta.

Contudo, é notoriamente sabido que a principal fonte de dados usualmente utilizada são as atividades passadas da polícia local e, enquanto as categorias específicas podem variar de acordo com o sistema, tais geralmente incluem informações sobre crimes passados (tipo de crime, tempo e localização) e detenções 7 .

Tal caso não foi o primeiro nem o único quando se trata da utilização de algoritmos de decisão autônoma no policiamento, prática denominada de polícia preditiva. Cidades como Memphis e Nova York já os utilizam há alguns anos e recentemente foi criado na Argentina o Observatório Nacional de Big Data que pretende, dentre outros objetivos, realizar análises de dados para previsão de eventos futuros de qualquer natureza. Além disso, a implementação desses sistemas vem sendo discutida em países como a França e no Reino Unido.

Em Memphis há a iniciativa Blue Crush (Criminal Reduction Utilizing Statistical History) onde foram coletados dados de todas as ocorrências policiais. Estes dados são registrados por aparelhos utilizados pelos próprios policiais e coletados por um software preditivo da IBM que, em conjunto com um serviço de mapeamento da empresa ESRI, cria mapas com os possíveis locais de novos crimes. Utilizando-se desses dados a polícia direciona o patrulhamento de forma a trazer maior precisão e poupar recursos financeiros.

A polícia de Chicago, por sua vez, utiliza-se de uma tecnologia denominada ShotSpotter que é capaz de registrar sons de tiros, além de sua localização aproximada. Recentemente esse sistema foi integrado à tecnologia que utiliza algoritmos preditivos, que identificam padrões e tendências a partir dos dados do ShotSpotter.

Há ainda a integração com o sistema HunchLab, que ajuda a polícia a tomar decisões de acordo com a análise massiva das informações, detenções, chamadas 911, atividades de gangues e outros dados relevantes.

Com esses sistemas integrados a cidade de Chicago conseguiu reduzir os tiroteios em 49% e 66%, em uma análise feita entre fevereiro e março de 2017, nos dois distritos onde esta foi implementada.

No entanto, o caso mais famoso certamente é a utilização do sistema PredPol, desenvolvido pelo Departamento de Polícia de Los Angeles em parceira com a Universidade da Califórnia. Tal sistema tem como utilizar os dados das forças policiais na identificação dos problemas relacionados à criminalidade e suas soluções, fornecendo ajudas na gestão de recursos e escolha de estratégias de forma a prevenir fatos futuros. Da mesma forma que nos casos anteriores o PredPol é utilizado para geoposicionar policiais em local e hora corretos para prevenir um possível crime.

No cenário brasileiro, pode-se apontar que em 2014 o governo do Estado de São Paulo firmou uma parceria com a Microsoft para a utilização do sistema, denominado Detecta, que se utiliza do Big Data para análise dos dados da polícia e de radares e câmeras de vigilância.

Há atualmente 2.661 câmeras ligadas aos batalhões, delegacias e, inclusive, tablets das viaturas. Associado ao sistema Omega, da polícia civil de São Paulo, que coleta informações de cadastros de registros civis, criminal, de armas, de veículos roubados e furtados, da junta comercial, disque-denúncia, delegacia eletrônica e DETRAN, além de mapas e sistema de identificação biométrica, os dados analisados podem ser utilizados para investigar, mapear e combater a criminalidade no Estado.

As Polícias Judiciárias Estaduais, de modo geral, ainda estão se modernizando, coletando dados úteis e desenvolvendo técnicas de análises diagnósticas e até descritivas para investigações. Nada próximo ao que ocorre nas cidades americanas. Poucas possuem processos de análise preditiva como fonte investigativa para estratégia de policiamento e prevenção de crimes.

A Polícia Federal, por sua vez, já está bem a frente nesse quesito, tendo uma gama de softwares, como o Nudetective 8 e o EspiaMule 9 , que permitem o correlacionamento de dados de diversas fontes. Apesar de ainda se utilizar principalmente de descritivas e diagnósticas, ela já possui a capacidade de implementar também unidades preditivas.

No entanto, foi com a operação Lava-Jato que a polícia federal efetivamente adentrou na era do Big Data ao criar um banco de dados unificados, além de procedimentos analíticos, que foram denominados como “o Big Data para o combate à corrupção”.

Diante do extenso banco de dados e dos mecanismos já existente para a sua análise é possível, futuramente, a adoção de uma análise preditiva, caso os dados sejam alimentados constantemente, de forma a se traçar perfis e tendências para o combate à fraude e outros crimes.

No entanto, há que se estar atento às possíveis violações a direitos fundamentais. Como tratado extensamente no tópico anterior sistemas de predição podem ser altamente discriminatórios e injustos devido a problemas no próprio algoritmo, nos dados utilizados ou simplesmente pelo sistema de predição em si.

1.1. Formas de policiamento preditivo

Até o momento tratou-se do policiamento preditivo como uma ação única. No entanto, há diversas formas de policiamento que variam conforme o sistema algorítmico adotado. Embora todas essas formas tenham o potencial de gerar vieses e discriminações, como será observado com maior detalhamento no tópico seguinte, cada uma detém certas nuanças que merecem ser analisadas.

A maioria dos sistemas de policiamento preditivo em uso é baseada em locais que visam prever quando e onde os futuros crimes ocorrerão (“baseados em locais”) ou que tentam prever infratores, determinar as identidades dos perpetradores ou prever vítimas em potencial (“baseados na pessoa”).

1.1.1. Policiamento baseado no lugar

Sistemas baseados em locais, incluindo os exemplos bem conhecidos de software da PredPol e o HunchLab, é o tipo mais comum de policiamento preditivo. As previsões baseadas em locais são focadas, principalmente, em pontos quentes (hot spots) onde haveria a maior probabilidade de ocorrerem novos crimes 10 .

Essas informações são utilizadas, por sua vez, principalmente para gestão de recursos humanos e econômicos da polícia. Em outras palavras, trata-se da tentativa de prever onde haverá um maior foco de crimes de modo que a polícia possa realocar um maior número de policiais para esta localidade.

Ocasionalmente, se houver um padrão muito específico, a polícia pode ser capaz de prever especificamente o próximo caso em uma onda de crimes, mas os sistemas de predição geralmente não são tão específicos podendo apontar uma determinada área e período onde há maior probabilidade de ocorrer determinados tipos de delitos.

O potencial de dano decorrente desse tipo de policiamento preditivo decorre de haver um maior policiamento em localidades de residência de grupos vulneráveis como negros e latinos.

O sistema denominado PredPol utiliza como base um sistema desenvolvido para medir abalos sísmicos que ocorrem após um terremoto. Os seus desenvolvedores descobriram que o crime segue padrões similares.

O crime, ao que parece, poderia ser visualizado como tendo efeitos parecidos com ondulações e, uma vez identificado, esse padrão poderia ser mapeado e previsto.

O HunchLab, por sua vez, recebe dados de crimes anteriores, dados do censu, densidade populacional, bem como outras variáveis como localização de escolas, igrejas, bares, entre outros. O algoritmo então analisa esses dados e informa um mapa, constantemente atualizado, de locais de risco em determinada área determinando a probabilidade da ocorrência de crimes 11 .

Apesar de os sistemas de predição baseados em lugar serem novos, tal estratégia já vem sendo utilizada pela polícia há décadas. O sistema de predição evoluiu da teoria da criminologia denominada de teoria das janelas quebradas. Desenvolvida na escola de Chicago por James Q. Wilson e George Kelling tal teoria explica que, se uma janela de um edifício for quebrada, e não for reparada, a tendência é que vândalos passem a arremessar pedras nas outras janelas e posteriormente passem a ocupar o edifício e destruí-lo.

Segundo essa teoria a desordem gera desordem de modo que um comportamento antissocial pode dar origem a vários delitos. Por isso, qualquer ato desordeiro, por mais insignificante que possa parecer, deve ser reprimido, caso contrário, ele pode ser o difusor de inúmeros outros crimes mais graves. 12

De fato a desordem gera a desordem, no entanto, tal teoria foi desenvolvida, e aplicada, de modo a justificar uma política agressiva de combate à criminalidade que, na verdade, não se sustenta porque visa atacar um conflito apontando como solução um problema maior ainda: visa penalizar com a prisão aqueles que foram gratuitamente sancionados com a falta de estrutura física e social. O mesmo acaba por ocorrer com a utilização dos sistemas de polícia preditiva baseados em lugar.

Tal ocorre...

Uma experiência inovadora de pesquisa jurídica em doutrina, a um clique e em um só lugar.

No Jusbrasil Doutrina você acessa o acervo da Revista dos Tribunais e busca rapidamente o conteúdo que precisa, dentro de cada obra.

  • 3 acessos grátis às seções de obras.
  • Busca por conteúdo dentro das obras.
Ilustração de computador e livro
jusbrasil.com.br
19 de Janeiro de 2022
Disponível em: https://thomsonreuters.jusbrasil.com.br/doutrina/secao/1196969677/discriminacao-nas-decisoes-por-algoritmos-policia-preditiva-inteligencia-artificial-e-direito-ed-2020