Leitura:
Make Algorithms Accountable
Accountable Algorithms
Accountable Algorithms (A Provocation)
Who do you blame when an algorithm gets you fired?
Audiovisual:
Kate Crawford | Know Your Terrorist Credit Score
Cathy O'Neil | Weapons of Math Destruction
Black Box Society
The Promise (and Threat) of Algorithmic Accountability
CITP Luncheon Speaker Series: Joshua Kroll – Accountable Algorithms
Como discutido em sala, os principais algoritmos que preocupam a questão de serem "responsabilizáveis" ao serem transparentes podem levar a vários efeitos adversos. Por outro lado, podem ser melhor em média, mesmo com viés, que os resultados puramente humanos em média. Mas também ao se considerar que a máquina fosse o ideal, e fosse amplamente utilizado por conta dessa eficiência, com o tempo poderíamos perder o parâmetro da qualidade humana, visto que aspectos diversos e sociais e tempo afetam neste e outros quesitos. O equilíbrio entre máquina e homem pode ser a chave para esse tipo de questão, como João Lucas levantou em sala, é uma interação homem-máquina que acontece. Vejo essa interação de forma não-trivial e caótica, não falo a nível de interface gráfica, ou de funcionalidades, mas sim de tomar máquinas como agentes sociais. Também se faz importante entender como aspectos humanos afetam essas máquinas que por sua vez afetam a socidade, afinal as máquinas ainda precisam de nós para existir e funcionar, pelo menos a maioria. Lembrei agora de casos de IA que não levaram em conta contexto, por exemplo. Esse artigo(link no final) explora exemplos dessa necessidade de preocupações no âmbito humano-máquina no contexto de IA: http://www.nytimes.com/2016/06/26/opinion/sunday/artificial-intelligences-white-guy-problem.html?_r=0
ResponderExcluirAtualmente temos milhares de empresas coletando dados sobre nós. Informações sobre localização, saúde, situação financeira, etc... E nessa tendência de Big Data quanto mais dados uma empresa coleta e mantém, maior o seu valor. A primeira questão é o sentimento de invasão de privacidade, que muitas pessoas sentem com por exemplo o Google e Facebook.
ResponderExcluirAlguns autores agora também estão apontando que os algoritmos que processam esses dados podem ter um viés preconceituoso em relação a atributos como raça, idade ou saúde. E quando esses dados tem um efeito na vida das pessoas, como no caso do software da Northpointe que dava uma chance de reincidência para criminosos e tinha o dobro da chance de etiquetar uma pessoa com risco alto de reincidência puramente por ser negro. Por serem muito mais eficiente do que seres humanos, imagino que a permanência desses algoritmos seja inevitável. Mas por causa dessas falhas os algoritmos devem ser transparentes e simples o suficiente para um indivíduo ter conhecimento do que está sendo feito com os seus dados e por quais motivos ele é etiquetado por um software de tal maneira para que ele mesmo possa questionar os resultados. O grande problema é que existem milhares de empresas fazendo todo tipo de pontuação e fica impossível de um indivíduo investigar todos os seus scores. Então existe uma necessidade desses algoritmos serem regulamentados de tal maneira que quem os cria é obrigado a seguir um padrão ético rigoroso.
Ian, você não pode esquecer que essas empresas que coletam informações sobre os usuários é a profecia que George Orwell fez em seu livro “1984”, de que todos os passos dados por um cidadão serão fiscalizados pelo ‘Grande Irmão’, e caso este fuja da conduta padrão dos usuários, será denunciado como um criminoso – no livro a que me referi, Orwell chama de ‘ideo-criminoso’. No mundo moderno, o conceito de ‘crimeideia’ de Orwell está associado ao “discurso de ódio” que as minorias de movimentos sociais acusam seus opositores, tanto no meio politico quanto no social e cultural.
ExcluirTem um pouco de pensamento politico aqui, mas importante a levar em consideração:
Sugiro a todos os amigos que assistam ao filme "I.T.": https://www.youtube.com/watch?v=Zaciyuvap7s
Um grande empresário é levado à ruína por um simples técnico em informática. Entreguem o gerenciamento informático de suas organizações e eventos a organizações ligadas à esquerda, acreditando que os negócios e a técnica são mundos imunes à política, e elas poderão acabar com a vida daqueles que elas consideram seus inimigos.
Acredito que, à medida que a automação será utilizada em cada vez mais tarefas, a discussão sobre a responsabilização de algoritmos se ampliará.
ResponderExcluirTalvez a pergunta mais importante a ser feita nesse contexto seja: O que significa, exatamente, "responsabilizar um algoritmo"?
Vimos em sala que vários pesquisadores descobriram vieses em algoritmos utilizados por diversos entes estatais e privados para, entre outras coisas, seleção de candidatos a empréstimos e hipotecas, e rankings acadêmicos.
O argumento geral em relação a esses algoritmos é que eles beneficiam certas categorias de pessoas injustamente. Todavia, acredito que uma pergunta importante que não está sendo feita é se o algoritmo é mais ou menos injusto do que um ser humano realizando as mesmas tarefas. Seres humanos também possuem claros vieses e preconceitos, e se um algoritmo realiza uma tarefa, se não perfeitamente, de forma menos enviesada que um ser humano realizando a mesma tarefa, acredito que esse algoritmo está promovendo uma melhora, mesmo com o sensacionalismo daqueles que chamariam o algoritmo de "Arma de Destruição Matemática"...
Mas deixando essa dúvida de lado e supondo que os algoritmos em questão estejam, de fato, prejudicando as pessoas que são afetadas por eles mais do que um operador humano realizando a mesma tarefa - o que significaria responsabilizar um algoritmo? Seria responsabilizar o programador que o escreveu? Será que estaríamos progredindo para um futuro onde programadores poderão ser processados por um erro de código?
Pessoalmente, acredito que a responsabilização dos programadores não seja uma abordagem saudável. Então quem deveria ser responsabilizado? A empresa que aplica o algoritmo? Mesmo que essa empresa não tenha pessoal técnico que compreenda a natureza do algoritmo em questão? Ou mesmo no caso em que a empresa tenha pessoal técnico, existem algoritmos (como redes neurais) em que os critérios de decisão do algoritmo são uma espécie de caixa-preta, não sendo passíveis de análise direta.
Acredito que a solução para o problema da responsabilização se dará de duas formas:
A primeira será a maior adoção de programas de código aberto por entidades que utilizem big data, permitindo assim a auditoria cidadã do código.
A segunda será o desenvolvimento de técnicas para extrair de algoritmos "caixa-preta" de decisão (como as redes neurais supracitadas) descrições mais compreensíveis de seus critérios de decisão.
Acho que apesar de algumas pessoas querem culpar os algoritmos, pelo fato de muitas vezes serem uma caixa preta , a culpa não é deles. A responsabilidade é das empresas que pagam o programador para fazer o código. Também acho que realmente há benefício de certas pessoas com o uso desses algoritmos, mas devemos lembrar que a pesar de toda evolução, quem está por trás disso tudo são humanos. Que infelizmente muitas vezes apesar de muito "inteligentes" possuem preconceitos, racismos e até falta de caráter e daí surge esse tema tão polêmico: "Responsabilização de Algoritmos". Acho que deveria ter uma lei rígida e punição para empresas que usam dados e prejudicam cidadãos. Mas o que ocorre é que sempre o prejudicado é o que tem "menor valor". Para ficar mais claro, um exemplo é: Se um cidadão tentar processar um empresa muito rica, é praticamente impossível ele ter a causa ganha. O tema é tão polêmico que esquecem de resolver e há um loop infinito de opiniões enquanto a cada dia que passa empresas se tornam mais ricas a custa de informações de cidadãos. Esses cidadão estão "presos" em termos de privacidade que ele nem leram, por falta de interesse, preguiça ou até falta de entendimento. Em minha opinião o drama da sociedade é culpar a tecnologia, a máquina, ou o que for, só para encobrir erro de quem tem mais poder financeiro.
ResponderExcluirDe quem é a culpa quando um algoritmo que é responsável por decidir quem é culpado ou inocente, contratado ou demitido faz um julgamento errado? O algoritmo em si? Não. A responsabilização de algoritmos é utilizada por empresas ou órgãos governamentais e desenvolvida por engenheiros softwares. Então a culpa é tanto de quem usa (contrata) o serviço como de quem desenvolve, a menos que este venda o produto com aviso prévio da possibilidade de erro.
ResponderExcluirNa minha opinião, a responsabilização de algoritmos é válida quando a responsabilidade dada não é tão relevante, por exemplo o limite de crédito de um cliente, ou o local e prova de um candidato de um concurso. Porém, quando falamos do julgamento de um réu, ou da contratação ou devoção de um empregado, a responsabilização de algoritmos deveria ser usada, no máximo, para auxiliar nas decisões.
Tecnologias de processamento de grande quandtidade dados para obtenção de padrões e inferência de características dos elementos analisados é uma inovação revolucionária, e um paradigma tão interessante que se tornou uma grande área da computação. Analistas de dados deixaram de analisar dados e perceber padrões e passaram a criar programas que fazem isso em seu lugar. Essa tendência tomou conta dos níveis mais altos do gerenciamento de empresas, e há algum tempo que as grandes empresas tem sido forçadas a incorporar esse tipo de solução tecnológica no seu processo de tomada de decisão para não serem ultrapassadas por sua concorrência. Porém há muitos que apontam problemas na utilização desse tipo de inovação, especificamente quando os elementos analisados são pessoas.
ResponderExcluirUm algoritmo que nota padrões e classifica elementos, por mais que com alta precisão, vai ser passível de falhas. Isso não se torna um problema quando a análise diz respeito à qualidade do vinho que pode ser obtido pela fermentação da uva, ou quais as chances de um time de futebol vencer uma partida, uma vez que uma classificação errada não seria danosa a ninguém além daqueles que decidem confiar na qualidade do seu classificador. Mas o elemento analisado pode ser uma pessoa, e se ao traçar o perfil de alguém uma classificação errada for obtida, essa pessoa pode ser prejudicada gravemente por isso. Pouca atenção é dada à maneira que os algoritmos classificam algo por quem o usa. O fator preponderante é a precisão desse algoritmo. Por tanto, se alguém for classificado como possível terrorista erroneamente, uma empresa que cogitasse contratar essa pessoa e não a fizesse por isso não seria muito prejudicada, uma vez que existem vários outros candidatos possíveis. Porém para a pessoa erroneamente classificada, isso pode ser a diferença entre estar ou não desempregado. Entre ter ou não uma maneira de prover por sua família e para si mesma. E a tendência é que essa classificação deve seguir tal pessoa em diferentes ocasiões na sua vida, não apenas nessa ocasião específica, uma vez que diferentes instituições se utilizam possivelmente da mesma empresa avaliadora de “scores”. A dificuldade pode se repetir ao tentar alugar uma casa, conseguir um empréstimo, viajar para fora do país, etc. E pode acontecer devido a um grande número diferente de classificadores, que podem avaliar crédito, criminalidade, etc.
A responsabilização de algoritmos no meu ver passa muito por algoritmos feitos para tal proposito, muitas das tecnologias que usamos para IA como Redes Neurais, SVM, Deep Learning não geram um resultado interpretável a posteriori. E sua remodelagem é necessário. No entanto é preciso ter leis duras que protejam o cidadão. Além disso me questiono o quanto é juridicamente correto usar esse índice de reincidência, quando o mesmo é em geral correlação de dados de pessoas próximas ao reu pedindo condicional e ele. juridicamente correlações não tem força de prova ou álibi, eu não posso me isentar de uma culpa por 99% das pessoas como eu não cometerem crimes, assim como se 99% das pessoas parecidas com meu perfil socio-economico comentem crimes eu não posso ser responsabilizado.
ResponderExcluirAdicionalmente mais transparência nesses setores podem causar a pessoas burlarem facilmente IAs que procurem terroristas, fraudadores, criminosos. Já que eles sabem a métrica que os mede, podem fugir da mesma.
A leitura desse artigo me leva muito a relemebrar o artigo pelo The guardian no The long read "Crash: how computers are setting us up for disaster – podcast" https://www.theguardian.com/news/audio/2016/oct/31/crash-how-computers-are-setting-us-up-for-disaster-podcast em que se comenta que estamos fazendo IA da forma errada. Estamos fazendo IA que torna os usuários do sistema preguiçoso e mal treinados, são ferramentas de suporte que em 95% ou mais dos casos agem bem, e quando agem mal chamam o usuário a tomar decisões, como piloto automático de aviões, driverless cars, ferramentas de suporte a decisão médica etc. No entanto, isso forma profissionais que usam menos a própria tecnologia no manual e estão menos capazes a julgarem. Será que nos dias de hoje um gerente de banco sabe identificar uma pessoa fraudulenta e uma não fraudulenta, ou se acostumou com a analise do software. Um fiscal anti terrorismo que use um sistema desse pode igualmente perder o habito de ver sinais que não estão no sistema.
Mesmo sem perceber, algoritmos estão presentes na nossa vida. Eles nos ajudam a fazer compras, achar rota mais curtas e muitos outros benefícios. Mas eles também afetam nossas vidas de outras formas. Quando vamos procurar um emprego, empresas usam algoritmos para filtrar currículos, podemos perder uma chance de entrevista por decisão de um algorítimo. Bancos podem usá-los para determinar o seu crédito.
ResponderExcluirEsses algoritmos, normalmente usando IA muitas vezes têm um viés. E aí entra a questão, quem é responsável se eles cometem um erro? Quem criou? Quem usa? Eu acho que a responsabilidade está nas empresas que os usam. Uma empresa não pode fugir da responsabilidade apenas porque foi um algoritmo que tomou a decisão. Se ela usar o serviço, devia saber como funciona e quais riscos e consequências.
A discussão posto em cheque é que de um lado existe uma forma de tentar oferecer segurança deixando nas mãos de uma máquina ou de um código de computador, do outro existe uma boa quantidade de pessoas a qual advogam que isso séria algo totalmente fora do contexto pois além de se ter invasão de privacidade podemos e que não podemos julgar alguém apenas por uma analise feita a partir de um algoritmo .A minha opinião acerca desse tema é que eu abro mão de um pouco da minha privacidade em nome da segurança, desde que as pessoas sejam condenadas pelos seus erros.
ResponderExcluirSobre um dos exemplos da responsabilização de algoritmos, Credit Score, ouvi quando estava fazendo o curso online "Cyberwar, Surveillance and Security" um dos professores citarem este termo como consequência da "Vigilância" e fazendo um paralelo com a situação atual do novo presidente eleito nos Estados Unidos; exatamente o que pensava começou a acontecer, ele começou a arrumar formas de expulsar pessoas que ele considera não necessárias (aí onde entra o Credit Score) de seu país. Mais especificamente estrangeiros que podem não trazer tanto benefício quanto ele busca. Como ele faria isso? Utilizando uma pontuação criada envolvendo fatores sociais também para apontar quem seria mais indicado para levar a uma evasão de pessoas e "salvar" sua economia. É cruel, mas existe e serão nesses momentos que estes algoritmos serão mais utilizados, mesmo que este fato não seja público.
ResponderExcluir