Leitura:
Make Algorithms Accountable
Accountable Algorithms
Accountable Algorithms (A Provocation)
Who do you blame when an algorithm gets you fired?
Sent to Prison by a Software Program’s Secret Algorithms
Risk and Needs Assessment in the Criminal Justice System
Police in Durham will use Minority Report-style AI to decide whether suspects should be kept in custody
Audiovisual:
How I'm fighting bias in algorithms
Risk Assessment Tool Helps Probation Officers
Author Presentation - Joshua A. Kroll and Joel R. Reidenberg
Cathy O'Neil: "Weapons of Math Destruction" | Talks at Google
Frank Pasquale on The Black Box Society
Objetivamente falando, a tecnologia existe para facilitar a resolução de problemas e acrescentar agilidade a diversos processos. Mais uma vez parece ela desempenhar tal papel.
ResponderExcluirO uso de bases de dados e algoritmos para auxiliar a tomada de decisão é um excelente uso de tamanha ferramenta. Firmando-se o uso dos algoritmos nesse auxílio e não no uso não reflexivo sobre seus resultados, é uma boa prática. Nesse caso, acredita-se, não haveria necessidade de atribuir-lhe responsabilidade. Além disso, não é necessário comentar sobre a necessidade do cuidado na construção deles. É preciso que os desenvolvedores tenham a cultura de analisar bem o que desenvolvem e se responsabilizem por isso.
Esse tema nos leva a uma grande reflexão acerca de algoritmos. Atualmente, por meio da Internet das Coisas e de uma sociedade cada vez mais digital, dispositivos eletrônicos passam a fazer parte diariamente das nossas vidas. A maioria das empresas e pessoas faz porte de algum instrumento computacional para auxílio do trabalho, comunicação e etc. Ainda mais, sistemas inteligentes e diversos algoritmos têm sidos criados e aperfeiçoados com os mais distintos objetivos. Em alguns casos, a criação de alguns tipos específicos de algoritmos pode parecer, no mínimo, polêmica. Atualmente existem sistemas capazes de detectar doenças por meio de um conjunto de dados coletados do paciente. Esses softwares são capazes de até mesmo substituir o diagnóstico médico e prometem assim escalonar o trabalho em hospitais. Como visto no material para leitura, softwares também são usados para o meio criminal, decidindo ou não se um suspeito deve permanecer em custódia ou responder em liberdade.
ResponderExcluirPessoalmente, acredito que essas tecnologias são sim importantes para o auxílio em diversos campos da sociedade, mas vejo que elas não devem, de maneira alguma, serem usadas como único critério de tomadas de decisões, em vista que algoritmos, em diversas situações, não são capazes de julgar critérios de caráter subjetivo.
Sendo assim, a responsabilização do uso de algoritmos deve ser tomada por parte de todos os envolvidos em sua concepção, desde desenvolvedores até aos que utilizam a tecnologia (Nos exemplos acima: Médico + Desenvolvedores; polícia + Desenvolvedores), pois, apesar que de em muitas ocasiões o uso de algoritmos possa facilitar drasticamente o trabalho do homem, ele pode não ser tão preciso em algumas situações, sendo necessário uma análise humana, a fim de evitar resultados desagradáveis.
Esse tema me remeteu a um vídeo onde foi discutido o poder que certas empresas tem sobre as nossas vidas. Nesse vídeo o palestrante falava sobre como ele foi banido erroneamente do facebook e por consequência ele foi banido de metade dos serviços online que ele estava cadastrado. E o mais impressionante é que ele não tinha ninguém que ele pudesse recorrer para poder consertar as coisas.
ResponderExcluirVisto isso, qual tipo de poder está sendo dado à empresas que são donas de algoritmos que substituem/auxiliam um juiz a definir uma sentença? Esses algoritmos empresariais são sigilosos e essas empresas se recusam a deixar seu código/dataset de treinamento a passarem por uma inspeção, então como podemos garantir que o algoritmo está funcionando de modo honesto e neutro? Será que esse poder realmente deve estar centralizado na mão de uma empresa prestadora de serviço? Quais tipo de experimentos sociais podem ser feitos (assim como o facebook faz) com as pessoas? Até onde isso pode afetar a vida de alguém? Acho que esse é um tema que deve ser muito bem pensado, debatido e regulamentado antes de ser aplicado no dia-a-dia.
'Algorithmic Accountability' é um dilema interessante. Ao mesmo tempo que é importante termos a liberdade de uso dessas plataformas como facebook e google, é importante notar como nos tornamos dependentes delas. Ao mesmo tempo que não queremos que limitem nosso uso de forma arbitrária queremos ter o controle de denunciar posts abusivos, ou restringir o uso de menores e crianças para protege-las de assuntos maliciosos.
ResponderExcluirOutro aspecto importante relacionado ao tema não mencionado em sala é: "De quem é a culpa?"
Quando um algoritmo falha por qualquer razão, como por exemplo num carro autônomo, a culpa é da fabricante ou do motorista que não estava com as mãos no volante?
Sem falar no bias que as bases de dados usadas no mundo todo tem, e o efeito que isso gera nas bases de treinamento. Isso é algo acontece e naturalmente deve ser evitado como mencionado no TED "How I'm fighting bias in algorithms". Esse problema deve ser evidenciado e mais estudado na academia. Já é possível ver um movimento nesse sentido pela academia que tentam responder como conseguir samples de dados com melhor distribuição dos dados.
O que mais me chamou atenção na aula foi a palestra de Joy Buolamwini, em que fala sobre algoritmos treinados com um viés pelos seus programadores. No primeiro comentário desse fórum Ângelo falou que tecnologia foi feita para agilizar processos e facilitar sua resolução, concordo com ele, mas vem a questão se a tecnologia for enviesada qual o impacto que isso pode na sociedade.
ResponderExcluirNo TED Joy Buolamwini fala que algoritmos de reconhecimento facial está começando a ser usado pela segurança pública, e são esses algoritmos que podem dizem que alguém é um potencial criminoso, o que pode ser um problema se a aplicação for "racista".
Acredito que deverá existir um movimento no treinamento para que não ocorra nenhum tipo de segregação por parte da aplicação.
A historia contada por Joy Buolamwini trouxe à tona um problema que eu nunca havia considerado, mas que com certeza impacta pessoas e podem causar muitos danos. A falta de representação nos conjuntos de dados de treinamento usados pelos algoritmos de aprendizagem evidencia o preconceito/segregação presente ainda nos dias de hoje. Como é aceitável que algoritmos de reconhecimento facial só funcionem com pessoas brancas? Não é!
ResponderExcluirQuando o assunto é a responsabilidade (accountability), creio que os responsáveis/regulados devam ser quem produziu o algoritmo, os programadores. Conseguir algoritmos sem bias pode ser uma utopia, dado que não existem pessoas sem bias, e são pessoas que escrevem os códigos. Até quando o programador tem pouco ou quase nenhum impacto no algoritmo, os que só aprendem com dados, cabe pensar de que forma esses dados foram obtidos, e se realmente podem ser confiados, ou se existe bias enraizado neles. Por exemplo, o desejo de criar um sistema inteligente que substitui juízes no julgamento de casos, pela promessa dele ser mais imparcial que um juiz. Se esse sistema aprende com dados sobre julgamentos anteriores, vai estar aprendendo a ser biased, pois os julgamentos foram feitos por juízes biased.
Acho que os programadores e todos envolvidos no desenvolvimento de um software tem que tomar responsabilidade pela procedência das bases de dados que estão usando, e as mesmas devem ser transparentes, para que todos possam saber se estão usando um algoritmo de reconhecimento facial racista.
https://www.youtube.com/watch?v=qXQA6D4JC0A
Com o mundo cada vez mais dependente da tecnologia, é esperado que criem ferramentas para facilitar o trabalho do homem,'Algorithmic Accountability'é um exemplo disso. Esse algoritmo é realmente muito útil para as pessoas pois ajudam em inúmeras tarefas, como já citadas acima, diagnósticos médicos, auxílio para juízes numa sentença, ou até mesmo tomar uma decisão. O problema é o quão confiável são esses algoritmos. Se ocorrer uma falha, quem seriam os responsáveis? Esses algoritmos já fazem parte das nossas vidas, porém ainda precisa de muito estudos e discussões para esses algoritmos chegarem num nível mais confiável.
ResponderExcluirÉ um fato que nós, cientistas da computação, trabalhamos em prol da sociedade, trazendo novas tecnologias para automatizar e facilitar atividades diversas do dia-a-dia. Essa “responsabilização de algoritmos” é, teoricamente, algo que veio a fim de alcançar o objetivo dito acima – automatizar e facilitar atividades do dia-a-dia. Porém, falando por mim, acho muito estranho pensar que um algoritmo pode, por exemplo, fazer com que você seja demitido do seu emprego. O algoritmo pode até, realmente, analisar cada fator que possa fazer com que você perca seu emprego (chegar atrasado, não entregar certo serviço, etc), mas e o toque humano? O algoritmo levaria em conta, por exemplo, se o empregado está passando por um bom momento? E se o empregado estiver com alguns problemas pessoais – como familiares em hospital – que possa ter o levado a um período de improdutividade trabalho?
ResponderExcluirO mais bizarro, de tudo que li até agora sobre esse assunto, foi o algoritmo para determinar o “risco” que cada pessoa tem de cometer – ou não – um crime. Tudo bem que é dito (https://www.nytimes.com/2016/08/01/opinion/make-algorithms-accountable.html) que essa pontuação não deve ser considerada fator determinante para o julgamento da pessoa em questão, contudo, se pensarmos direitinho, a cor de pele também não deveria ser um fator determinante, mas é. Acredito que, nesse caso, não deveríamos colocar mais variáveis que possam abrir espaço para mais preconceito. O fato do algoritmo ser feito por uma empresa privada também é muito estranho. Por que não liberar a fórmula usada para fazer esse cálculo? Tá certo que é propriedade privada, mas é algo que está sendo usado a fim de influenciar, totalmente, a vida da pessoa julgada. Acho que o fato de esconderem a fórmula só piora a situação e traz mais desconfiança.
Outro tópico que acho importante comentar é como é engraçado ver que a tecnologia reflete tanto a nossa sociedade. Hilton comentou ali em cima sobre a falta de representatividade no conjunto de dados de treinamento do algoritmo e isso é algo que nós temos que encarar todos os dias. Representatividade importa em tantos níveis sociais e psicológicos que se formos entrar em discussão, ficaríamos, com certeza, debatendo por mais de 1 aula.
Imaginem uma criança, negra, já desencorajada por ter que lidar com vários preconceitos diários, brincando com o aplicativo que tem reconhecimento facial e ele simplesmente não reconhecer seu rosto?
Concluindo, eu compreendi que essa “responsabilização” é algo que tem de tudo pra ser binário: ou vai dar muito certo, ou vai dar muito errado. Vejo que pode dar certo em alguns casos, mas não em outros.
Imagino que seja necessário muita cautela por parte dos desenvolvedores de algoritmos tão importantes, como por exemplo a necessidade de um algoritmo que calcularia quantos anos uma pessoa deve ficar presa ou se ela deve ser presa de ser extremamente imparcial é absurda. Além do mais não é tão fácil checar se esse algoritmo segue estritamente o que propôs ou se há falhas nesse código. Outra coisa, quem escolhe o que o algoritmo leva em conta ou não? Provavelmente essas pessoas irão adequar as decisões tomadas pelo algoritmo à suas próprias. Creio que em questões que mexem com a vida de seres humanos esses códigos devem, no máximo, auxiliar na tomada de decisões e nunca decidirem sozinhos.
ResponderExcluirComo humanos, somos passíveis a viés em tudo que fazemos. É bastante difícil se desvencilhar das amarras e estereótipos que são construídos o tempo inteiro ao nosso redor. Quando se estar produzindo um algoritmo que visa classificar ou agrupar pessoas, contudo, temos que visar pela maior equidade possível. Na verdade, aplicar equidade as decisões deveria ser uma das vantagens de se utilizar ferramentas como as citadas no material. A partir do momento em que o treinamento ou preparo dessas ferramentas possui um vies implícito, seja por meio do conjunto de treinamento ou a implementação em si, o software acaba perdendo credibilidade. Sem levar em consideração aspectos práticos, algoritmos que podem tomar decisões racistas perdem toda credibilidade ética. A plataforma criada pela Joy Buolamwini, nesse contexto, é uma iniciativa bem inteligente, pois levanta o problema de Responsabilização de Algoritmos de uma forma mais formal e estruturada. Contudo, acho que ainda há pouca conscientização sobre o problema para que possamos começar a ver resultados vindos dessa iniciativa. Além disso, as barreiras impostas pelas as empresas - muitas privadas - que produzem essas ferramentas atrasa a possibilidade de se auditar esses algoritmos.
ResponderExcluirAlgoritmos de aprendizagem de máquinas já são muito utilizados no nosso dia-a-dia, suas aplicações são diversas e na maioria das vezes benéficas. Por nos auxiliarem na decisão de algo eles têm uma grande responsabilidade. As consequências de um resultado errado podem variar de dar uma recomendação errada de filme no Netflix ou ocasionar em uma pena não justa, no caso de algoritmos usados para determinar o risk score de um suspeito.
ResponderExcluirDe primeira vista o uso de um processo teoricamente parcial e matemático pode parecer interessante, na prática temos algoritmos fechados, com bias e no qual juízes podem se apoiar para tirar o peso de sua decisão. Nesse caso eu acho que a tecnologia acaba atrapalhando mais do que ajudando e pode acabar causando um fator de imparcialidade para o lado do juiz.
A questão do uso de algoritmos para o auxilio em tomadas de decisões, decisões essas que podem ser bastante críticas, como o julgamento de uma pessoa, é uma questão difícil de se debater. O senso comum diz que, por essas decisões serem frias, bastante analíticas, e por serem baseadas em números, elas são completamente confiáveis. Infelizmente essa não é a verdade. Algoritmos são criados por pessoas, e pessoas intrinsecamente possuem um viés. Um algoritmo de aprendizado, por exemplo, pode ser altamente enviesado, dependendo do banco de dados usado para fazer a aprendizagem de máquina. É preciso que haja muito debate sobre a ética no uso desses algoritmos, para que erros graves, que levem a injustiças sejam minimizados.
ResponderExcluirAcho um pouco delicado esse conceito pois dependendo da aplicação do algoritmo, o mesmo pode ter um grande impacto na vida de outros seres humanos, então ele tem que ser aplicado com cuidado. Acho que no espectro jurídico, ele pode ser muito importante para ajudar a tomada de decisões em pequenos casos. Se levarmos para a área de prisão perpétua, pena de morte ou até mesmo outros tipos de casos complicados, se o algoritmo não for confiável e por algum motivo tomar alguma decisão errada, isto pode ocasionar um grande impacto e condenar alguém que seja inocente.
ResponderExcluirJá sobre o caso do reconhecimento facial que só funciona em pessoas brancas eu acho que se trata de uma falta de responsabilidade dos criadores, talvez por ignorância ou por negligência de testes.
É fato que o uso de algoritmos para facilitar a tomada de decisões vem sendo cada vez mais usados. Ao mesmo tempo que vejo com bons olhos os benefícios trazidos por eles, tenho uma certa preocupação quanto ao poder que eles podem fornecer a quem os criam.
ResponderExcluirUm tema bastante complicado pois por um lado defendo que um algoritmo deve ser isento de alterações humanas tanto para o bom funcionamento do mesmo (quando digo sem alterações humanas, é que ele consiga funcionar automatizado, sem auxilio humano) quanto para neutralidade em casos que necessite de imparcialidade (i.e. decisões e avaliações no wikipedia) porém existem casos como este https://www.theguardian.com/technology/2016/dec/05/google-alters-search-autocomplete-remove-are-jews-evil-suggestion que contem conteudo racista e que precisa ser retirado, logo, é bastante complexo achar o meio termo. Penso ainda que devemos ter cautela em tentar regular, por meio da força do estado, pois podemos comprometer o "ganha pão" de terceiros, como é o caso de tentarmos usar o adblock para bloquear conteudo de propaganda de sites, porém os geradores de conteudos desses sites podem ter sua renda baseada nos mesmos, logo, imaginemos se o governo tentasse implantar legislações sobre advertising na web ? Temos que refletir o trade-off que nos custará.
ResponderExcluir