quarta-feira, 5 de dezembro de 2018

Tecnologia, Lei e Sociedade (2018.2) (05/12): "Responsabilização e Transparência de Algoritmos"

Leitura:
Algorithmic accountability
Algorithmic Accountability: A Primer

Audiovisual:
Holding algorithms accountable
FutureLaw 2018 | Fairness, Accountability, and Transparency of Algorithms
Turing Lecture: Algorithmic Accountability: Professor Ben Shneiderman, University of Maryland
Accountable Algorithms: Beyond the GDPR: Dr Brent Mittelstadt, University of Oxford
Accountable Algorithms
Algorithms rule us all - VPRO documentary - 2018
Weapons of Math Destruction

6 comentários:

  1. Pelo meu ponto de vista, esses algoritmos são onipresentes em nossas vidas. Eles mapeiam a melhor rota para o nosso destino e nos ajudam a encontrar novas músicas com base no que ouvimos. Mas eles também estão sendo empregados para informar decisões fundamentais sobre nossas vidas.

    Os sistemas algorítmicos têm uma maneira de cometer erros ou levar as consequências indesejáveis. Porém, mesmo com o potencial de ganhar de eficiência, os algoritmos alimentados por big data também podem ampliar a discriminação estrutural, produzir erros que negam serviços a indivíduos ou até mesmo seduzir um grupo de pessoas a uma falsa sensação de segurança. De fato, há consciência crescente de que o público deve ter cuidado com os riscos sociais colocados por excesso de confiança nestes sistemas e trabalhar para mantê-los responsáveis.

    Algoritmos de avaliação, como aqueles usados para informar decisões de condenação, podem se basear em muitas variáveis diferentes em suas avaliações, mas serem estáticos e relativamente diretos, tornando fácil para suas operadores avaliar as variáveis envolvidas e determinar se elas são apropriados - bem como observar como um determinado ponto de dados pode impactar uma pontuação de risco porque o sistema é codificado para dar a essa variável uma ponderação específica.

    ResponderExcluir
  2. Certamente um dos temas mais polemicos debatidos em sala. O caso da utilização de algoritmos para auxílio de sentença judicial se mostrou, no mínimo, desproporcional. A tendência de classificar uma ação tomada por software como imparcial, tende a ser errônea. O juízo de valor de quem implementou o modelo é refletido na sua implementação.
    Achei a sugestão dos colegas de sala interessante, mencionaram que em casos onde o direito a liberdade fosse ferido não cabia uso de algoritmo. A utilidade de um artefato de inteligencia artificial é inquestionável, todos concordam que diversos problemas do nosso dia a dia foram minimizados. Embora há casos em que uma simples falha, por menor que seja, causa um desastre.

    ResponderExcluir
  3. Acho muito legal essa discussão, por se alguém que estuda exatamente esse tipo de inteligência que pode causar mal. Como disse em sala, de forma alguma estamos preparados para inteligências artificiais que decidem futuros complexos de humanos. O nível de conectividade de redes neurais para definir se alguém é apta a receber um plano de saúde A ao invés de um B, é absurdo. Imagine você ter um programa que ao invés de pegar os dados brutos e computar, tivess um que analisasse como nós. De onde veio, qual interesse no plano B, pq não o plano A? Algo meramente classificatório, como uma rede neural básica, decide isso de forma muito abrupta e muitas vezes errônea. A tecnologia para fazermos todas essas análises, já temos, o que falta é quebrar nossos paradigmas de pensamento e descobrir novos conceitos, ou explorá-los melhor.

    ResponderExcluir
  4. Com os avanços em áreas de pesquisa da computação, principalmente na área de Inteligência Artificial e Machine Learning, esse tipo de discussão já passou os limites do desejável. Eu diria que hoje é obrigatória. Com a autonomia e a complexidade que os algoritmos vem alcançando nos últimos tempos, é complicado saber, em um código com milhares ou até milhões de linhas, como ele toma determinado tipo de decisão. Isso é algo que deve ser bastante discutido, já que decisões podem prejudicar indivíduos em detrimento de outros.
    Acredito que esse tipo de discussão afeta de certa maneira o âmbito da ética. Sabe-se que ética é um conjunto de valores pelos quais a sociedade guia suas ações e decisões. A partir do momento em que sistemas computacionais passam a realizar atividades cada vez mais humanas, tais sistemas devem passar por um crivo de transparência e de responsabilização, para que a ordem e a moral da sociedade possa ser mantida.

    ResponderExcluir
    Respostas
    1. Falando sobre isso, Lucas. Uma dos artigos que gostei de ler foi este aqui: https://scholarship.law.upenn.edu/cgi/viewcontent.cgi?referer=https://scholar.google.com.br/&httpsredir=1&article=9570&context=penn_law_review. Ele compara justamente as diferentes formas de auditar um algoritmo e ele leva justamente ao seu primeiro parágrafo, ou seja, como é pobre a análise estática de um código-fonte quando o mesmo código-fonte não reflete fielmente o que será a saída do programa em questão.

      Sobre o segundo parágrafo, este artigo de jornal (http://merrill.umd.edu/wp-content/uploads/2016/01/p56-diakopoulos.pdf) possui uma visão interessante sobre as diferentes formas (ele divide em 4 principais) que um algoritmo de decisão influencia na vida dos usuários e como as diferentes entidades tentam evitar, acho que quantos mais artigos como esse forem escritos e utilizados em grandes mídias, mais a soecidade vai se tornar consciente e o impacto dos algoritmos criados repensados.

      Excluir
  5. Algorithmic accountability é o conceito de ter responsabilidade pelo resultado do algoritmo produzido. Este conceito incentiva as empresas a serem mais abertas sobre o propósito, a estrutura e as ações que seus algoritmos realizam diariamente. Esta preocupação se deve ao fato que, já que os algoritmos são criados e programados por humanos, então podem ser resultados de algum preconceito humano. A responsabilização algorítmica é promovida como uma forma de ajudar essas questões a serem reconhecidas e corrigidas. Acho muito interessante essa discussão, pois estes algoritmos estão envolvidos sempre com alguma questão que é necessário uma previsão de um comportamento, dado um histórico particular. Isto pode impactar muito a vida de terceiros, como positivamente e negativamente, e, por este motivo, acredito que ainda precise de mais neutralidade em relação aos preconceitos enrustidos no código e bastante discussão.

    ResponderExcluir