As pessoas são o maior ativo da segurança
Cada foto que carregamos. Cada artigo que compramos. Todas as mensagens que enviamos.
Cada movimento que fazemos.
Tudo isto está a ser capturado, categorizado, correlacionado e alimentado em sistemas de IA cada vez mais poderosos.
Estes sistemas já não se limitam a prever o nosso futuro. Cada vez mais, moldam-no, limitam-no e decidem-no.
Não se trata de um cenário distante. Não é ficção científica. E não está confinado a uma parte do mundo. Já está a acontecer.
E a maioria das pessoas nunca dá por isso. Não há um momento único de rutura. Não há uma linha clara a ser cruzada. Apenas uma normalização gradual. Um sistema de cada vez. Uma conveniência de cada vez. Uma troca justificada como temporária. Até que a vigilância deixe de ser uma ferramenta. Torna-se o ambiente em que operamos.
Quando a vigilância se torna infraestrutura
Na China, estão a ser instaladas plataformas de “cérebro urbano” alimentadas por IA nas principais áreas metropolitanas. Estes sistemas integram dados de câmaras, sensores, dispositivos móveis, plataformas de pagamento e serviços públicos para criar perfis comportamentais dos cidadãos em tempo real.
Segue o rasto:
- Onde as pessoas vivem
- Com quem interagem
- Com que frequência viajam
- Como se comportam nos espaços públicos
- Como deitam fora o seu lixo
- Se cumprem (ou não) as regras
Uma regra foi quebrada?
Uma câmara vai apanhar. De vários ângulos. Automaticamente a pontuação da pessoa cai. Não uma pontuação de crédito, mas uma pontuação de cidadão. E quando essa pontuação cai, cai também o seu acesso à sociedade: transportes, emprego, habitação, educação, serviços financeiros.
Um algoritmo decide o que pode fazer a seguir.
Isto não é um aviso. É uma realidade.
Edward Snowden disse-o sem rodeios:
“Se alguma das tuas actividades for diferente do que o governo quer, não entras no comboio. Não embarcas num avião. Não terás um emprego. Um algoritmo decidirá o teu destino. E o que eles estão a vender… somos nós”.
Mais tarde, foi ainda mais claro:
“Isto não é ficção científica. Não é um aviso distante. Está a acontecer hoje em Xangai, Pequim e dezenas de outras cidades sob uma governação digital de espetro total”.
E a necessidade de governação não tem apenas a ver com vigilância, mas também com confiança e responsabilidade na IA. Como diz Clem Delangue, cofundador da Hugging Face:
“Penso que a confiança vem da transparência e do controlo. As pessoas querem ver os conjuntos de dados em que estes modelos foram treinados. … É muito difícil confiar em algo que tu não compreendes“.
Porque é que isto é importante fora da China
A verdade incómoda é esta: os elementos deste modelo estão a deslocar-se discretamente para o Ocidente.
Não como um sistema único, ou sob um rótulo único. Mas como fragmentos que, quando combinados, começam a assemelhar-se à mesma arquitetura.
Já estamos a ver:
- Programas de identificação digital
- Policiamento e vigilância assistidos por IA
- Deteção e classificação automatizada de “desinformação”
- Modelos de risco preditivos ligados a viagens, bancos, seguros, emprego
- Análise comportamental incorporada nos serviços públicos e privados
O risco principal: a tecnologia ultrapassa a governação
A IA não é neutra. Reflete os dados com que é treinada, os incentivos que lhe estão subjacentes e os pressupostos de quem a concebe e aplica.
O problema que enfrentamos atualmente não é o facto de a IA existir. O problema é que a tecnologia está a avançar mais depressa do que as barreiras de segurança, mais depressa do que a regulamentação, os quadros éticos, os requisitos de transparência, os mecanismos de responsabilização e a compreensão do público.
Uma vez que a tomada de decisões baseada em IA é incorporada na infraestrutura, torna-se extremamente difícil inverter a situação. Nessa altura, “optar por não participar” deixa de ser uma opção.
A segurança já não é apenas um problema técnico
Tradicionalmente, a segurança tem sido enquadrada como firewalls, encriptação, controlo de acesso, deteção de ameaças e resposta a incidentes. Tudo isso ainda é importante, mas já não é suficiente, porque a maior vulnerabilidade já não é apenas o sistema. São as pessoas.
Não porque as pessoas sejam descuidadas, mas porque:
Os seus dados são recolhidos à escala
O seu comportamento é constantemente monitorizado
A sua identidade digital está fragmentada em várias plataformas
As suas decisões são cada vez mais influenciadas ou limitadas por algoritmos
Neste contexto, a segurança torna-se uma questão de direitos humanos e de sociedade.
Da cibersegurança à responsabilidade digital
As organizações, especialmente as que criam, integram ou gerem sistemas digitais, têm uma opção.
Podem:
- utilizar cegamente a tecnologia porque é poderosa
- optimizar apenas a eficiência e o controlo
Ou podem:
- exigir transparência
- criar para a responsabilização
- volta a colocar os humanos no circuito
- considerar a privacidade e a segurança como fundamentais e não como opcionais
Isto aplica-se a:
Governos
Empresas
Fornecedores de tecnologia
Integradores de sistemas
Incluindo empresas como a Jolera.
O que significa realmente “segurança centrada nas pessoas”?
Colocar as pessoas no centro da segurança não é um slogan.
- saber de onde vêm os dados
- compreender como é utilizado
- ser claro sobre quem toma as decisões: humanos ou algoritmos
- assegurar que os sistemas possam ser auditados, contestados e corrigidos
- conceber arquitecturas que respeitem a privacidade por defeito
- reconhecendo que nem tudo o que pode ser automatizado deve ser
Significa também educar as organizações e os utilizadores, e não apenas implementar ferramentas.
A questão que já não podemos evitar
A verdadeira questão já não é saber se a IA vai moldar a sociedade. Já o faz.
A questão é: será que ainda podemos moldar a IA?
Ou será que vamos aceitar calmamente sistemas que nos pontuam, classificam, restringem e definem sem visibilidade, responsabilidade ou recurso?
Um apelo à transparência, à responsabilidade e à conceção centrada no ser humano
Este é o momento de fazeres perguntas mais difíceis.
Exige:
→ transparência nos sistemas baseados em IA
→ responsabilização quando os algoritmos causam danos
→ arquitecturas de segurança que protejam as pessoas e não apenas os dados
→ governação digital enraizada nos valores democráticos e nos direitos humanos
Porque quando estes sistemas estiverem totalmente normalizados, pode ser demasiado tarde para pedir consentimento.
Qual a sua opinião?
Acredita que este é o momento de exigir transparência, responsabilidade e direitos humanos no centro de todos os sistemas de governação digital?
Na Jolera, exploramos estes desafios através da nossa abordagem de Dados e IA, em que a segurança, a governação e a utilização responsável da tecnologia são fundamentais, e não uma reflexão posterior.
Descubra como ajudamos as organizações a conceber, gerir e dimensionar dados e sistemas de IA com as pessoas no centro.
Pronto para explorar a IA responsável e a governação de dados?
Saiba mais sobre a abordagem de dados e IA da Jolera e como colocamos as pessoas no centro da tecnologia.