Vivemos um tempo de rápidas mudanças tecnológicas, no qual quase todos os aspectos de nossas vidas dependem de dispositivos que computam e se conectam.
O aumento exponencial resultante do uso de sistemas ciberfísicos transformou a indústria, o governo e o comércio.
Além disso, a velocidade da inovação não mostra sinais de desaceleração, principalmente porque a revolução na inteligência artificial (IA) tenta transformar ainda mais a vida cotidiana por meio de ferramentas cada vez mais poderosas para análise, previsão, segurança e automação de dados.
Como ondas passadas de extrema inovação, como é o caso, o debate sobre o uso ético e os controles de privacidade provavelmente proliferará.
Até agora, a interseção entre IA e sociedade trouxe seu próprio conjunto único de desafios éticos, alguns dos quais foram antecipados e discutidos por muitos anos, enquanto outros estão apenas começando a vir à tona.
Por exemplo, acadêmicos e autores de ficção científica há muito tempo ponderam as implicações éticas de máquinas hiperinteligentes, mas apenas recentemente vimos problemas do mundo real começarem a surgir, como o viés social nas ferramentas automatizadas de tomada de decisão ou as escolhas éticas feitas por carros autônomos.
Riscos e dilemas éticos
Nas últimas duas décadas, a comunidade de segurança se voltou cada vez mais para a IA e o poder do aprendizado de máquina (ML, na sigla em inglês) para colher muitos benefícios tecnológicos, mas esses avanços obrigaram os profissionais de segurança a navegarem por um número proporcional de riscos e dilemas éticos ao longo do caminho.
Como líder no desenvolvimento de IA e ML para segurança cibernética, a BlackBerry Cylance está no centro do debate e é apaixonada por aprimorar o uso da IA para sempre.
Desse ponto de vista, conseguimos acompanhar de perto a progressão técnica da IA enquanto observamos simultaneamente o impacto social mais amplo da IA da perspectiva de um profissional de risco.
Acreditamos que a comunidade de segurança cibernética e os profissionais de IA têm a responsabilidade de avaliar continuamente as implicações humanas do uso da IA, tanto em geral quanto nos protocolos de segurança, e que, juntos, devemos encontrar maneiras de construir considerações éticas em todos os produtos e sistemas baseados em IA.
Este artigo descreve algumas dessas dimensões éticas iniciais da IA e oferece orientação para nosso próprio trabalho e o de outros profissionais de IA.
A ética das decisões baseadas em computador
As maiores fontes de preocupação com o uso prático da IA estão relacionadas à possibilidade de as máquinas falharem nas tarefas das quais são encarregadas.
As consequências do fracasso são triviais quando a tarefa é jogar xadrez, mas os riscos aumentam quando a IA é encarregada de, digamos, dirigir um carro ou pilotar um avião que transporta 500 passageiros.
De certa forma, esses riscos de falha não são diferentes dos das tecnologias estabelecidas que dependem da tomada de decisão humana para operar.
No entanto, a complexidade e a percepção de falta de transparência subjacentes às maneiras pelas quais a IA toma suas decisões aumentam as preocupações com os sistemas executados pela IA porque parecem mais difíceis de prever e entender.
Além disso, o tempo relativamente curto em que essa tecnologia foi usada mais amplamente, somado à falta de entendimento do público sobre como, exatamente, esses sistemas movidos a IA operam, aumenta o fator medo.
A novidade de um computador tomando decisões que podem ter consequências fatais assusta as pessoas e grande parte desse medo gira em torno de como esses sistemas equilibram preocupações éticas.
Considere um exemplo do mundo real: a sociedade se acostumou a acidentes de carro resultantes de erro humano ou falhas mecânicas e, apesar das melhorias regulamentares e técnicas para reduzir o perigo inerente a acidentes de carro, agora os aceitamos sem questionar como parte do risco geral de dirigir.
Alarmes públicos
Os acidentes causados por falhas de IA, entretanto, despertam consideravelmente mais alarmes públicos do que aqueles causados por tipos mais tradicionais de falhas humanas ou mecânicas.
Tomemos, por exemplo, o furor do primeiro caso conhecido de um carro sem motorista que matou um pedestre.
Parece que o computador determinou tarde demais que o carro estava prestes a atropelar o pedestre, mas ele poderia ter tirado o carro da pista para evitar a colisão?
O computador favoreceu a segurança do passageiro em detrimento do pedestre?
E se fossem dois pedestres? E se fossem crianças?
E se o computador enfrentasse a opção de colidir com um dos dois pedestres?
O que um motorista humano faria diferente do software baseado em IA quando confrontado com essa decisão de frações de segundo?
Parte do alarme sobre esse acidente também resulta de temores de que sua causa afete outros veículos autônomos e uma ampla gama de atividades ligadas à IA.
Por exemplo, as condições da estrada fizeram dessa ocorrência um acidente que nenhum sistema humano ou de computador poderia ter evitado?
Foi uma falha na IA desse sistema de navegação específico ou em todos os sistemas de navegação baseados em IA?
A tecnologia de IA envolvida em um carro sem motorista é altamente complexa, o que faz com que esse teste seja mais difícil que o das peças mecânicas do carro.
Sensor mecânico
Sabemos o suficiente para quantificar adequadamente os riscos antes que essa tecnologia seja lançada em escala global?
O acidente fatal do voo 610 da Lion Air oferece outro exemplo educativo.
O acidente parece ter sido causado por um erro no sensor mecânico, que levou o sistema de computador da aeronave a forçar o nariz para baixo.
Os pilotos humanos parecem ter puxado o nariz de volta repetidamente antes de perderem o controle.
O fato de esse incidente envolver um computador tomando uma decisão falha e removendo o controle dos pilotos levanta preocupações além daquelas suscitadas por uma falha puramente mecânica.
A tragédia seria a mesma se tivesse sido o resultado de, digamos, falha do motor, mas suscitaria considerações éticas diferentes em termos de ação e falha.
Além disso, presumivelmente estaríamos mais aptos a quantificar o risco de o acidente se repetir por uma falha mecânica do que no caso de um complexo sistema de IA.
Exemplos como esses destacam a importância de garantir que os sistemas dependentes de IA sejam bem testados e construídos de maneira suficientemente transparente para permitir uma avaliação adequada dos riscos corridos pelos usuários finais desses sistemas.
O que isso significa na prática depende, em grande parte, da finalidade para a qual a IA está sendo empregada.
É necessário prestar bastante atenção ao dano potencial que pode resultar da falha em uma determinada tarefa, bem como à complexidade do sistema e até que ponto essa complexidade aumenta a incerteza nas estimativas da probabilidade de falha.
Os profissionais de risco precisarão considerar trocas entre transparência e eficácia, entre transparência e privacidade, entre a possibilidade de substituição humana e a eficácia geral da decisão da IA, visto que todas dependem do uso contextual da IA em qualquer configuração.
Privacidade e consentimento
A rápida adoção da IA e o seu uso generalizado nos últimos anos também suscitam consideráveis preocupações com a privacidade.
Os sistemas de IA dependem, cada vez mais, da ingestão de grandes quantidades de dados para fins de treinamento e teste, o que cria incentivos para as empresas não apenas manterem grandes bancos de dados expostos ao roubo, mas também coletarem ativamente informações pessoais excessivas, para aumentar o valor desses bancos de dados.
Também cria incentivos para usar esses dados de maneiras que vão além daquilo que o proprietário dos dados inicialmente consentiu.
De fato, em sistemas complexos de IA, pode ser difícil saber com antecedência exatamente como qualquer dado será usado no futuro.
Essas preocupações estão ligadas à proliferação geral e ao armazenamento indefinido dos dados coletados, com uma porcentagem crescente desses dados emitidos como “escape” de sistemas ciberfísicos, como a internet das coisas (IoT, na sigla em inglês).
Esses medos são exponencialmente aumentados pelo fato de que a IA deriva o melhor valor de grandes conjuntos de dados e é cada vez mais capaz de detectar padrões únicos que podem identificar novamente os dados que se acredita serem anonimizados.
Invasores cibernéticos
As preocupações são ainda mais acentuadas pela crescente capacidade dos invasores cibernéticos de exporem esses grandes conjuntos de dados que deveriam ser protegidos – uma tendência que acompanha a diminuição da eficácia das soluções de segurança tradicionais baseadas em assinatura.
Tais preocupações acrescentam novas dimensões às leis de privacidade de dados que os líderes em segurança cibernética e risco devem considerar ao ajudarem as organizações a navegarem na integração da IA.
A boa notícia, nesse caso, é que a tecnologia baseada em IA pode, de fato, ser usada para aprimorar a privacidade, se instalada e configurada corretamente como parte da estratégia geral de defesa em camadas de uma empresa.
Em contraste com outras ferramentas de análise, a IA geralmente é mais para usar dados adequadamente anonimizados e aprender com eles. O hash de recursos, quando os dados usados para treinar um sistema de aprendizado de máquina são alterados pela primeira vez através de um algoritmo de hash, é uma transformação irreversível que torna os dados inúteis para análise por seres humanos, mas ainda legíveis pelos sistemas de IA para detecção de padrões.
O hash de recursos pode tornar a análise baseada em IA mais eficiente, reduzindo a dimensionalidade dos dados, tornando o processo mais protetor da privacidade do que poderia ser.
Viés e transparência
Voltando à questão da ética, o potencial dos sistemas de IA para exacerbar a desigualdade social por meio de tomada de decisão discriminatória ou arbitrária (geralmente causada pelo uso de conjuntos de dados limitados para treinamento) também se tornou uma fonte recente de preocupação pública.
À medida que agências e tribunais governamentais se voltam cada vez mais para sistemas baseados em IA, para ajudar e aprimorar a tomada de decisões humanas, incluindo decisões que alteram a vida, como sentenças criminais e determinações de fiança, tornou-se aparente que preconceitos sociais podem involuntariamente se transformar em sistemas baseados em IA através de seus algoritmos ou nos dados de treinamento nos quais esses algoritmos se baseiam.
Também está se tornando aparente que alguns desses sistemas de IA estão sendo intencionalmente tendenciosos para ocultar resultados arbitrários ou injustos por trás de um verniz de objetividade e rigor científico.
Avaliação de risco
Um estudo recente da ProPublica de pontuações de avaliação de risco baseadas em IA usadas para decisões de fiança no Condado de Broward, na Flórida, ilustra o ponto.
Ao comparar as pontuações de risco à conduta subsequente dos acusados, a ProPublica mostrou não apenas quão pouco confiáveis as pontuações eram, mas também quão tendenciosas eram contra os afro-americanos.
As pontuações erroneamente indicaram os réus afro-americanos como futuros criminosos com quase o dobro da taxa porque falsamente não identificaram os americanos brancos como tal.
É importante ressaltar que as referências ocorreram mesmo que o sistema não tenha perguntado explicitamente sobre raça.
Em 2013, a Imigração e Alfândega dos EUA (ICE, na sigla em inglês) começou a usar em todo o país uma ferramenta automatizada de avaliação de riscos para ajudar a determinar se deve deter ou libertar não cidadãos durante o processo de deportação.
Inicialmente, recomendou a liberação em apenas 0,6% dos casos.
Em 2017, o ICE modificou silenciosamente a ferramenta para recomendar a detenção em todos os casos. Isso veio à tona apenas por meio de uma investigação da Reuters sobre decisões de detenção em 2018.
Reconhecimento facial
O perigo desses tipos de uso discriminatório e arbitrário da IA é aumentado com a disseminação de ferramentas de reconhecimento facial baseadas na IA por autoridades e em outros contextos, incluindo salas de aula e carros.
Um estudo realizado por pesquisadores da ACLU e da U.C. Berkeley descobriu que o software de reconhecimento facial da Amazon classificou incorretamente 28 membros do Congresso como tendo registros de prisão.
Além disso, a taxa de falsos positivos foi de 40% para membros não brancos, em comparação com 5% para membros brancos. O subcampo do reconhecimento suscita ainda mais preocupações.
Uma das lições claras a serem tiradas desses exemplos é a importância de tornar os sistemas de tomada de decisão baseados em IA mais transparentes para o usuário final ou administrador encarregado de comprar, instalar e supervisionar esses sistemas.
Informações sobre algoritmos e dados de treinamento devem estar disponíveis para inspeção sob demanda e os sistemas devem poder registrar e exibir objetivamente os padrões lógicos por trás de suas decisões.
Além disso, a auditoria regular é claramente importante pois os vieses internos só podem se tornar aparentes à medida que os sistemas são usados e os dados que eles coletam e armazenam se expandem.
Essas auditorias exigirão que profissionais de segurança e de IA criem uma ponte entre vários domínios do conhecimento, a fim de permitir e apoiar atividades de supervisão eficazes.
Protegendo-se contra o uso malicioso da IA
Por fim, vem a dimensão da preocupação ética que coloca o maior medo no coração dos profissionais de segurança e do público: o uso da IA para fins maliciosos.
As preocupações começam com os ataques a sistemas de IA benignos para fins maliciosos, mas se estendem ao uso estratégico da IA pelos invasores para subverter as defesas cibernéticas.
Ao obter acesso a um sistema baseado em IA – ou mesmo aos dados nos quais esse sistema é treinado –, um invasor pode alterar potencialmente a maneira como o sistema funciona para que se torne prejudicial.
Um mundo em que tudo, de carros a implantes cardíacos e redes elétricas, depende da IA e está conectado a uma rede é um mundo em que os ataques cibernéticos se tornam cada vez mais ameaçadores à vida.
Além disso, quando a IA determina o fluxo de notícias personalizadas e outras informações, atores mal-intencionados podem minar a confiança da sociedade no governo e na mídia em grande escala – um cenário que é muito comum hoje em dia.
Uma das maiores preocupações públicas em torno do lançamento de qualquer nova tecnologia poderosa é que, uma vez que a caixa de Pandora é aberta, se essa invenção é para o bem da humanidade ou foi projetada para causar seu prejuízo, não há como colocar essa nova tecnologia de volta na caixa.
Uma vez fora, na natureza, ela chega para ficar – e se a sociedade vai melhorar ou piorar só poderá ser determinado por um monitoramento cuidadoso e consistente ao longo do tempo.
Segurança baseada em IA
A tecnologia de segurança baseada em IA provou ser mais eficaz do que a tecnologia tradicional (como produtos antivírus que dependem de assinaturas geradas por seres humanos), mas desde que os profissionais de segurança têm acesso a essa tecnologia de ponta, o mesmo acontece com as pessoas com intenções maliciosas.
A prevenção do uso mal-intencionado da IA exige que os profissionais de segurança dobrem seu compromisso com os fundamentos da segurança, garantindo a confidencialidade, a integridade e a disponibilidade dos sistemas baseados em IA.
Novamente, esses compromissos exigirão maior grau de transparência na aplicação da IA nos níveis algorítmico e de código, para garantir que o crescimento futuro aconteça de maneira aberta e responsável.
Além disso, à medida que os profissionais de segurança examinam os sistemas quanto aos tipos de problemas mencionados antes, como falha operacional, privacidade e viés algorítmico, eles precisam considerar como os atores de ameaças distorcem ou ampliam os riscos para atingir seus fins.
Os profissionais de segurança também devem se lembrar de que os atores de ameaças procuram continuamente maneiras de aproveitar seus aplicativo pessoais de IA para aumentarem a eficácia de seus ataques.
O surgimento de ataques cibernéticos baseados em IA, como o DeepLocker, prejudica ainda mais os métodos tradicionais de segurança cibernética, dificultando a criação de defesas adequadas que não dependem da IA.
Riscos na segurança cibernética orientada por IA
No final da década de 1890, quando os primeiros carros a vapor passeavam pelas ruas à velocidade máxima de 20 quilômetros por hora, ninguém suspeitaria que, poucas décadas depois, seus descendentes tornariam obsoleta a carruagem puxada a cavalo.
Em contrapartida, muito antes da disseminação e da integração global da IA em todas as esferas da vida, os profissionais de segurança reconheceram que as soluções tradicionais de segurança cibernética estavam se tornando cada vez mais ineficazes e antiquadas.
Em face da proliferação de ataques automatizados, os avanços na produção e na distribuição de malware e das superfícies de ataque cada vez mais vulneráveis de organizações que dependem de computação em nuvem e redes com vários endpoints, o crescimento descontrolado e, muitas vezes, não regulamentado no setor de tecnologia, nas últimas décadas, criou cada vez mais vulnerabilidades de segurança cibernética, expandindo exponencialmente a superfície de ataque de empresas conectadas globalmente, fornecendo ferramentas maliciosas a atores mal-intencionados.
Felizmente, a maioria dos profissionais de segurança reconhece que os ataques cibernéticos alimentados por IA podem ser frustrados pela segurança alimentada por IA e estão atualizando continuamente suas defesas para enfrentar esse desafio.
Também é uma sorte que os líderes em segurança cibernética tenham reconhecido que a proteção efetiva de sistemas automatizados precisa ser guiada pela IA, para que os defensores fiquem sempre um passo à frente dos atacantes.
Dados seguros
Reduzir o risco na adoção da IA exige, portanto, avanços na segurança cibernética baseada em IA, junto com a expansão e a adoção dessa tecnologia por muitos setores da indústria e do governo, para difundir seu uso.
Os atacantes que usam ferramentas baseadas na IA para manipular a segurança cibernética baseada em IA como, por exemplo, reconhecer códigos ou comportamentos benignos como maliciosos, danificam tanto o sistema que a ferramenta de segurança estava protegendo quanto a reputação pública da IA.
Em outras palavras, um primeiro passo prático para garantir o futuro da IA implica primeiro garantir que os sistemas de segurança cibernética baseados em IA e qualquer dado de treinamento que eles usem esteja seguro.
Embora grande parte da supervisão ética da IA dependa da transparência dentro do ecossistema de segurança, a cibersegurança baseada em IA é outra área em que a transparência pode entrar em conflito, em certa medida, com a eficácia das soluções.
As vantagens de tornar o código aberto nesse contexto podem ser superadas pelo risco de exploração subsequente por agentes maliciosos; da mesma forma, onde os dados de treinamento e teste são fornecidos, há óbvias preocupações com a privacidade em torno da abertura desses dados, conforme discutiremos a seguir.
As apostas na eficácia da segurança cibernética exigem que os administradores de TI e usuários similares do setor recebam informações suficientes sobre como a segurança é implementada e como foi testada, a fim de tomar decisões informadas sobre seu nível de risco na concessão de acesso a esses dados.
Construindo organizações éticas de segurança cibernética
É improvável que o risco de a tecnologia de cibersegurança baseada em IA tomar decisões antiéticas seja tão grande quanto o de classificar atividades maliciosas de palavras reais, como está ocorrendo agora na China, por meio de um controverso sistema de crédito social experimental projetado para classificar pessoas com base em seus dados pessoais e públicos.
No entanto a cibersegurança baseada em IA tem o potencial de excluir o acesso de indivíduos ou grupos a sistemas de computador de maneira discriminatória ou arbitrária.
As mesmas lições a esse respeito que se aplicam a outros sistemas baseados em IA também se aplicam à cibersegurança: o que não é 100% transparente está aberto a falhas não intencionais e uso indevido.
Ao mesmo tempo, a cibersegurança baseada em IA também tem a capacidade de tornar outros sistemas de tomada de decisão baseados em IA mais seguros, protegendo-os de ataques maliciosos.
A cibersegurança baseada em IA pode ser usada para melhorar a privacidade de indivíduos e empresas, mas também cria incentivos para os criadores de tais sistemas coletarem e usarem dados sem consentimento informado, de modo que a tendência a se comportar mal deve ser combatida o tempo todo pela organização com precauções técnicas.
O risco de decisões discriminatórias ou arbitrárias tomadas pela IA sempre estará presente como resultado dos recursos de autoaprendizagem desses sistemas e, portanto, sempre exigirão auditorias humanas regulares para garantir que indivíduos e grupos não sejam excluídos do uso ou de proteções da privacidade do sistema.
Abertura e transparência
No fim das contas, nossa chamada à ação é clara: a IA desempenha um papel vital e benéfico na sociedade e na segurança, mas implantá-la no mundo real requer atenção cuidadosa aos detalhes por parte daqueles que a implantam e um cuidadoso equilíbrio de abertura e transparência por parte de quem a cria e fornece.
Embora a segurança baseada em IA possa montar uma defesa altamente eficaz contra ataques cibernéticos como parte de uma estratégia de defesa em camadas, é preciso tomar cuidado o tempo todo para garantir que os dados dos sistemas e do treinamento sejam suficientemente transparentes, a fim de permitir que usuários e administradores se informem para tomar decisões precisas sobre níveis de risco aceitáveis.
Embora muitos dos pontos descritos aqui sejam, em grande parte, diretrizes técnicas, eles dependem da criação de estruturas de prestação de contas e de uma cultura organizacional focada na ética para garantir que sejam implementados de forma eficaz.
- Marcello Pinsdorf é country manager da BlackBerry Cylance no Brasil
2 Comentários
Comments are closed.