|

*

  
Quando me envolvi na pesquisa de
novas tecnologias, a dimensão ética desse processo
passou a me preocupar. Mas foi somente a partir do
outono de 1998 que me tornei consciente do tamanho
dos perigos que estão à nossa frente no século 21.
Nessa época, em uma conferência, encontrei Ray Kurzweil,
inventor da primeira máquina de leitura para cegos
e de outras tantas maravilhas. Estava sentado conversando
com John Searle, um filósofo que fazia estudos sobre
a consciência, quando Ray se aproximou e iniciamos
um assunto que me assombra até hoje. Ray dizia que
os avanços da tecnologia estavam indo em um ritmo
muito acelerado e que ou nós nos tornaríamos robôs,
ou acabaríamos nos mesclando a robôs, ou qualquer
outra coisa nesse sentido. Contrapondo, John argumentava
que isso não poderia acontecer porque robôs não têm
consciência.
Pensava que robôs capazes de ter
sentimentos fossem ficção científica,
mas, agora, vindos de alguém que eu respeitava, ouvia
fortes argumentos de que eles faziam parte de um futuro
próximo. Tive de reformular minha posição, especialmente
por causa da habilidade de Ray em imaginar e criar
o futuro. Eu já sabia que estávamos ganhando o poder
de refazer o mundo por meio de novas tecnologias,
como engenharia genética e nanotecnologia – a tecnologia
de nível molecular que trabalha com elementos atômicos,
reordenando-os para formar montagens de tamanho inferior
ao mícron, como os “nanorrobôs”, capazes de penetrar
o corpo humano e combater agentes infecciosos ou reparar
artérias entupidas. Mas uma perspectiva realista e
iminente de robôs inteligentes me surpreendeu.
É fácil ficar entediado com tais
progressos. O noticiário cita quase todos os dias
algum tipo de avanço científico ou tecnológico, mas
aquilo de que falávamos não era propriamente habitual.
Ray me deu uma prévia do que seria o livro que estaria
lançando em breve, A Era das Máquinas Espirituais
(The Age of Spiritual Machines), ao delinear a utopia
que estava prevendo: humanos conseguiriam ser praticamente
imortais ao se unir à tecnologia robótica. Após lê-lo,
meu desconforto só aumentou; passei a ter certeza
de que ele devia estar minimizando os perigos, a possibilidade
de termos péssimos resultados ao longo desse caminho.
O que mais me inquietou foi uma
passagem que detalhava um cenário apocalíptico:
“O novo desafio reacionário
Primeiro, vamos aceitar o postulado de que os cientistas
tenham sucesso no desenvolvimento de máquinas inteligentes
que possam fazer tudo melhor que os seres humanos.
Nesse caso, presumidamente, todo o trabalho será feito
por um vasto e altamente organizado sistema de máquinas,
e nenhum esforço humano será necessário. Um dos dois
casos poderá ocorrer: as máquinas passarão a tomar
todas as suas decisões sem supervisão humana ou, ainda,
o controle humano sobre as máquinas será mantido.
Se se permitir às máquinas tomar
suas próprias decisões, não podemos fazer nenhuma
conjectura sobre quais seriam os resultados, uma vez
que é impossível adivinhar como tais máquinas poderão
se comportar. Nós apenas apontamos para o fato de
que o destino da raça humana estaria à mercê das máquinas.
Poderá ser argumentado que a raça humana nunca seria
tola o suficiente para entregar todo o poder na mão
das máquinas. Não estamos sugerindo nem que a raça
humana daria voluntariamente o poder às máquinas,
nem que as máquinas tomariam o poder deliberadamente.
O que sugerimos é que a raça humana poderia facilmente
se permitir ficar em uma posição tal de dependência
das máquinas que não haveria nenhuma escolha prática
além daquela de aceitar todas as decisões que elas
tomassem. Como a sociedade e os problemas que ela
enfrenta se tornam mais e mais complexos, e as máquinas
se tornam mais e mais inteligentes, as pessoas deixarão
as máquinas tomar mais decisões em seu lugar simplesmente
porque as decisões tomadas por máquinas trarão melhores
resultados que as tomadas por seres humanos.
Ao final, chegaremos a um estágio
em que as decisões necessárias para manter o sistema
funcionando serão tão complexas que os seres humanos
serão incapazes de tomá-las inteligentemente. Nesse
estágio, as máquinas terão o controle efetivo, e as
pessoas não serão mais capazes de simplesmente desligá-las.
Estarão tão dependentes delas que desligá-las teria
a dimensão de um suicídio.
Por outro lado, é possível
que o controle humano sobre as máquinas seja mantido.
Nesse caso, o homem comum terá controle sobre certas
máquinas próprias, como seu carro ou seu computador,
mas o controle sobre grandes sistemas de máquinas
estará nas mãos de uma pequena elite – exatamente
como é hoje, mas com duas diferenças. Devido ao desenvolvimento
tecnológico, essa elite terá grande controle sobre
as massas, e, porque o trabalho humano não se fará
mais necessário, as massas serão supérfluas, um fardo
inútil para o sistema. Se a elite for cruel, ela poderá
simplesmente decidir exterminar essa massa. Se
eles forem humanos, podem usar propaganda ou outra
técnica psicológica ou biológica para reduzir a taxa
de natalidade até que a massa se torne extinta, deixando
o mundo para a elite. Ou, se a elite se constituir
de liberais compadecidos, eles podem decidir fazer
o papel de bons pastores do resto da raça humana.
Eles garantirão que as necessidades de todos sejam
satisfeitas, que todas as crianças sejam criadas em
condições de higiene psicológica, que todos tenham
um passatempo saudável para se ocupar e que qualquer
um que se torne insatisfeito receba o “tratamento”
adequado para sarar de seu “problema”. Obviamente,
a vida ficará tão sem propósito que essas pessoas
deverão passar por uma reeengenharia genética e psicológica,
tanto para remover sua necessidade de poder quanto
para fazê-las sublimar sua tendência ao poder com
algum passatempo inofensivo. Esses seres humanos reformulados
podem ser felizes nesse tipo de sociedade, mas eles
certamente não serão livres. Estarão
reduzidos à condição de animais domésticos.”

|