Leitura:
Make Algorithms Accountable
Accountable Algorithms
Computador no ES emite sentenças judiciais
Audiovisual:
The era of blind faith in big data must end
How I'm fighting bias in algorithms
Julia Angwin, ProPublica
How to hold algorithms accountable
Frank Pasquale: How To Regulate Google, Facebook and Credit Scoring?
Open Up 2016: Accountable Algorithms
4-2. Joshua A. Kroll
Quando eu estudei redes neurais lembro que fizemos uma para identificar, se baseando em exames, quem teria ou não cancer. Tinhamos 3 mil exames (com o resultado que deveria ser obtido em cada). Usamos metade para treinar e a outra metade para testar. Só ficamos satisfeitos quando quebramos 95% de acerto. Então eu me pergunto como um sistema (como o compass) com menos de 53% de acerto (que já foi considerado uma porcentagem insuficiente antes) ainda é usado para determinar algo.
ResponderExcluirA grande questão desses algoritmos é a porcentagem de acerto. Se ele tivesse uma taxa de acerto alta, mesmo que fosse "preconceituoso" isso seria irrelevante. Mas além de ser preconceituoso o sistema tem uma taxa inaceitável de erro.
Podemos até usar algoritmos para determinar coisas, mas como foi dito nos videos, temos de ser capazes de verificar sua taxa de acerto. Se for para usar algo com menos de 50% de chance é melhor simplesmente jogar uma moeda pra tomar a decisão do que usar um sistema computacional caro.
Toda equipe de desenvolvimento sabe que se gasta muito tempo com testes, as vezes, mais ainda do que desenvolvendo novas funcionalidades. Isso porque é comum um algoritmo está errado, não atender aos requisitos de maneira satisfatória e etc. Agora, vamos pensar, se um programa de controle de supermercados dá problema, vai haver um prejuízo financeiro que já é o suficiente para gerar decepção por parte do comprador do software. Imaginamos agora, um algoritmo que é usado para julgar pessoas, ou, que tem influência direta na vida delas. Em minha opinião, softwares não devem ter sequer opinião em casos criminais, pois, sabemos que, cada caso é um caso e softwares trabalham com padronizações. Em relação ao outros problemas (não criminais) vai depender do que grau de prejuízo que uma avaliação errada pode causar.
ResponderExcluirDizem que utilizam esses algoritmos para tomada de decisões a fim de substituir o esforço humano que está repleto de erros e preconceitos. Mas, como foi comentado nos vídeos, se é utilizado o histórico de decisões humanas para treinar os algoritmos, os resultados acabam sendo tão preconceituosos quanto já tem sido, se não pior. Esses algoritmos atuais nunca deveriam ser usados para tomar tais decisões prejudiciais, como condenações, mas sim apenas dar um suporte a um ser humano de verdade, e capaz de julgar o viés dos resultados. É necessário muito mais estudos sobre esses algoritmos e ainda acho que estamos bem longe de eles terem uma inteligência suficientemente adequada para tomar as decisões que estão tomando hoje. Se for para serem utilizados, que pelo menos seja para algo positivo, como determinar a necessidade de tratamento ou de recursos, e não condenar pessoas. E ainda assim, sem que a decisão seja totalmente tomada pelas máquinas.
ResponderExcluirJá é de se esperar que um algoritmo que avalia questões subjetivas tenha seus preconceitos e cargas de valores, independente da fonte seja ela de quem concebeu, da amostra, do treinamento, etc. com isso nos deparamos com um problema que seja mais filosófico que acredito eu ser impossível se chegar a uma imparcialidade absoluta em algoritmos de análise subjetiva e muito menos em pessoas. Não existe fórmula mágica para isso. Agora quanto ao uso. Não vejo problema para casos triviais e de pouca relevância. Se até os próprios juízes também tem seus preconceitos não será surpreendente se o programa também ter.
ResponderExcluirÉ difícil pros programadores projetarem algoritmos sem nenhum viés porque nem sempre somos educados para ser críticos em relação as nossas bases de dados. Na maioria das vezes nunca contestamos os rótulos dos nossos dados e por esse motivo acredito que possamos está propagando algum tipo de preconceito de algo que parecesse normal aos nossos olhos.
ResponderExcluirOutro problema é a falta de informações sobre como os algoritmos que tomam decisões de impacto social funcionam. Acredito que devido a sua importância na vida das pessoas, os dados sobre qual esses algoritmos são treinados deveriam ser disponibilizados ao público.
Tomar decisões sobre determinados aspectos da sociedade pode ser algo muito difícil e complexo de realizar. Decretar uma sentença é um exemplo disso.
ResponderExcluirAcredito que certas decisões não podem ser avaliadas apenas por um algoritmo , até porque que garantia teriamos que a base de dados utilizada realmente cumpriria seu papel. O que torna essa situação ainda mais preocupante é que muitos desses algoritmos “avaliadores” não estão disponíveis para análise e isso faz com que muitas pessoas utilizem e confiem em sistemas sem conhece-los a fundo.
Evitar o bias em software é algo bastante complexo. Como fazer com que desenvolvedores, que vivem inseridos em um contexto social, simplesmente se libertem desses estigmas quando estão produzindo um software? Talvez, essa responsabilidade não deva ser deles, e sim, dos legisladores por representarem, em teoria, as vontades da sociedade e dos juristas, por serem os mais aptos à garantir o cumprimento dessas leis. Então, removeria do programador essa responsabilidade que, em geral, ele não sabe lidar, para que ele possa focar em sua real tarefa: produzir o software.
ResponderExcluir