Autoria: Júlia Coelho (LEFT) e Patrícia Marques (MECD)
O Prémio Nobel da Física 2024 foi atribuído a John J. Hopfield e Geoffrey E. Hinton pelo trabalho pioneiro em redes neuronais artificiais e aprendizagem automática. O Diferencial sentou-se com Vasco Guerra e Mário Figueiredo, investigadores e professores catedráticos do IST, para contextualizar a atribuição deste prémio.
A Academia Real das Ciências da Suécia atribuiu o Prémio Nobel da Física 2024 a John J. Hopfield (Universidade de Princeton, USA) e a Geoffrey E. Hinton (Universidade de Toronto, Canadá) por “descobertas e invenções fundamentais que permitem a aprendizagem automática com redes neuronais artificiais”, baseadas em conceitos e métodos matemáticos originários da física estatística. O veredicto foi anunciado no dia 8 de outubro. Os laureados deste ano utilizaram ferramentas da física para desenvolver métodos que são a base da aprendizagem automática atual.
“Não sei se houve alguém que não tenha ficado surpreendido”, comenta Vasco Guerra, professor catedrático do Departamento de Física do IST e Investigador do Instituto de Plasmas e Fusão Nuclear. Para melhor contextualizar a atribuição do prémio a um trabalho inesperado, falámos também com Mário Figueiredo, professor catedrático do Departamento de Engenharia Electrotécnica e de Computadores e investigador do Instituto de Telecomunicações.
Numa rede neural artificial, os neurónios são representados por nós que têm valores diferentes e que se influenciam mutuamente através de ligações, que podem ser comparadas a sinapses. “As redes neuronais não existem; existem no nosso cérebro e no dos animais, mas quando se fala de redes neuronais artificiais, estamos a falar é de software, são programas de computador que simulam de certa forma o comportamento de redes neuronais para resolver muitos problemas”, refere Mário Figueiredo.
O que é a física estatística? Vasco Guerra explica que envolve “perceber as propriedades macroscópicas de qualquer sistema [formado por um grande número de constituintes microscópicos], a partir das propriedades dos seus elementos” e interações. Acrescenta que é “fascinante” o facto de se aplicar a “praticamente qualquer sistema que nos passe pela cabeça: um sistema complicado, em que haja muitas partículas, pode ser descrito pela abordagem da física estatística”.
Conta-nos que a física estatística “nasce do estudo das propriedades dos gases (…) e depois vai-se expandindo: a certa altura é uma técnica para olhar para o mundo, qualquer que seja o problema”, ou seja, estes sistemas não são necessariamente físicos, podem ser também computacionais, nomeadamente as redes de neurónios artificiais. É aí que entra o trabalho pioneiro de Hopfield. Obtêm-se “propriedades de equilíbrio muitos gerais que são comuns a praticamente todos os sistemas, sendo por isso independentes dos detalhes de como os constituintes interagem a um nível microscópico.”
O americano John J. Hopfield, físico e biólogo, inventou uma rede que utiliza um método para guardar e recriar padrões: a rede de Hopfield. Estabeleceu uma analogia entre a física que descreve as características de um material devido ao seu spin atómico e uma rede com valores para as ligações entre os nós. Através da procura destes valores, a rede é treinada, de modo a que as imagens guardadas tenham baixa “energia”; isto é, há a procura de mínimos de uma função de energia, que depende dos parâmetros da rede. Quando a rede de Hopfield é alimentada com uma imagem distorcida, atualiza os seus valores iterativamente para que a energia da rede diminua, convergindo para encontrar a imagem armazenada mais próxima da imagem distorcida com que foi alimentada. Uma imagem computacionalmente é uma matriz de pixels, onde cada pixel é representado por valores numéricos que codificam informações visuais, como cor e intensidade de luz.
Num artigo de 1982 de Hopfield sobre memória associativa, é utilizada uma rede com 30 nós e, se estivessem todos ligados entre si, haveria 435 conexões. Os grandes modelos de linguagem de hoje (LLMs) são redes que podem conter mais de um milhão de milhões de parâmetros.
Relativamente a John J. Hopfield, que criou uma memória associativa para armazenar e reconstruir imagens e outros tipos de padrões nos dados, Mário Figueiredo afirma: “Verificou que as equações [que descrevem as características de um material devido ao seu spin atómico] usadas em determinadas áreas da física estatística podem ser interpretadas de uma forma diferente, como cada um daqueles elementos sendo um neurónio, que está ativo ou não ativo, que tem ligações com os vizinhos (…) e portanto era possível usar as mesmas ferramentas da física estatística para modelar e escrever coisas acerca de redes neuronais”.
O britânico-canadiano Geoffrey Hinton, psicólogo cognitivo e cientista da computação, utilizou a rede de Hopfield como base para uma nova rede com um método diferente: a máquina de Boltzmann, que aprende a reconhecer de forma autónoma propriedades nos dados e, assim, identificar elementos específicos em imagens. O nome da máquina é uma homenagem a um dos mais importantes físicos do século XIX e pioneiro da Física Estatística.
A máquina de Boltzmann é treinada através de exemplos que têm grande probabilidade de surgir quando a máquina está a funcionar. Na máquina de Boltzmann, os nós da rede têm um peso estocástico, que permite associar probabilidades a diferentes modelos. Esta pode, portanto, ser utilizada para classificar imagens ou criar exemplos novos do tipo de padrão para o qual foi treinada. Hinton anunciou em 2023 a sua resignação da Google para poder “falar livremente acerca dos riscos da IA”.
Em entrevista à TSF, Arlindo Oliveira, Professor Catedrático no Departamento de Engenharia Informática (DEI) e antigo presidente do IST, refere que vê o “prémio mais como uma distinção feita à investigação na área, que foi personificada nestas duas pessoas, do que propriamente pelas contribuições aqui premiadas, que foram importantes, mas não únicas”, reforça, acrescentando que “podia ter escolhido estes dois, mas também podia ter escolhido outros dois”. Mário Figueiredo subscreve esta opinião e acrescenta: “acho que se calhar nem foram muito bem escolhidos”. Explica que “há um muito anterior [que] fez estas coisas todas 10 anos antes. Escreveu de uma forma um pouco mais opaca, porque era um pouco mais teórico, um pouco mais matemático”. Refere-se ao investigador japonês Shun’ichi Amari, que, embora tenha ficado “um pouco menos conhecido, é hoje em dia muito conceituado e prestigiado”. Refere ainda Sejnowski, co-autor das máquinas de Boltzmann e nome de referência na área.
Vasco Guerra conta-nos também que outros temas gostaria de ver laureados: como o já referido por Frederico Fiuza, também professor e investigador do Departamento de Física do IST – “o National Ignition Facility, que consegue pela primeira vez atingir um ganho energético positivo na fusão” – e ainda os avanços na área dos metamateriais, “que está já na fronteira com a matéria condensada e outras áreas fotónicas.”
Acima de tudo, confessa: “Eu acho que aquilo não é bem física… É um Prémio Nobel da Física, atribuído a qualquer coisa que eu acho que nem com muito boa vontade nós podemos considerar física.” No entanto, o professor de física estatística comenta que “é interessante que tenham atribuído [o prémio]. Portanto, há uma série de outras questões e de reflexões sobre o porquê da atribuição”, e, especulando sobre e os critérios para esta atribuição: “É a qualidade de estar no tempo apropriado, (…) de ser o tempo certo para se colocar algum foco naquele trabalho: eu acho que esse também será um critério de peso, e a última nomeação está muito claramente associada a esse.”
Desenvolvendo esta ponderação sobre os possíveis critérios de peso que clarifiquem esta (e todas) as nomeações para o Nobel, acabámos por explorar com ambos os entrevistados a questão da interdisciplinaridade. Entrando na temática, Mário Figueiredo fala-nos da “aprendizagem automática como complemento das técnicas tradicionais que usamos para estudar e simular sistemas físicos. Ferramentas como redes neuronais são muito poderosas a analisar grandes conjuntos de dados de sistemas complexos e encontrar relações não-lineares entre estes que nos podem, por exemplo, informar de quais as leis que regem o comportamento desses sistemas. No entanto, nem todas estas relações são necessariamente úteis. (…) estou interessado em explorar como é que podemos garantir que estas técnicas de aprendizagem automática respeitam princípios físicos. A capacidade de garantir que estas ferramentas obedecem a certos princípios (ou simetrias) pode ter um impacto importante na nossa forma de interpretar e generalizar o seu uso noutras áreas fora da física, tal como aconteceu nos trabalhos associados ao Nobel da Física este ano.”
Vasco Guerra diz que “haver um Nobel que diz que estas técnicas todas [da aprendizagem automática] já estão e vão continuar a ser cada vez mais utilizadas em problemas físicos é entusiasmante mas deve também ser levado com alguma prudência.” Em contraposto, acrescenta que, no entanto, “pode haver também um argumento [para a nomeação] que vem num sentido quase completamente inverso a este, que é a contribuição que a física dá ao machine learning e a muitas outras ciências (…) a formação da física dá de facto uma maneira de pensar e de olhar para o mundo que tem tido contribuições em muitas outras áreas: a medicina, biologia, psicologia, economia…”. Quando interrogado sobre se o caminho da interdisciplinaridade será, então, algo a ser explorado na formação dos futuros cientistas e engenheiros, responde: “Eu confesso que sou muito conservador, acredito muito na formação que existe há séculos, forte, tradicional, para quem quer fazer ciência: as matemáticas todas e as físicas tradicionais como deve ser, mesmo sendo exigentes e muito puxadas”. No entanto, considera que “isso não invalida que depois não se possa, ou mesmo deva, começar a promover projetos interdisciplinares, promover o contacto com outras áreas e alargar um bocadinho os horizontes. Isso eu acho que é provavelmente o caminho, mas acho que aquela base tem que lá estar antes de começarmos a fazer outras coisas muito excitantes e muito divertidas.”
Remata comentando que “o facto de haver um prémio Nobel que chama a atenção a esta coisa que agora tem um grande hype, mas que na origem é feita por um físico, é uma mensagem muito importante de reforço para a sociedade sobre a importância que a física tem, que não sei se está a ser suficientemente capitalizada pelos departamentos de física do mundo inteiro.”
É destacada a importância de interpretar este prémio como elevando as vantagens de “pensar à físico” noutras áreas, como conclui Mário Figueiredo. De facto, Vasco Guerra remata que “os físicos são treinados para resolver problemas muito difíceis”, e que apesar de concordar que “há áreas da física tradicional que ficam de fora ao ser atribuído desta maneira [mais ligada ao machine learning]”, considera que foi bem conseguido “o tal reconhecimento da importância da física, de aplicar certas competências que são bastante particulares dos físicos”.
Para contextualização histórica e científica do Prémio Nobel da Física, o Comité Nobel da Física disponibiliza os seguintes documentos: They used physics to find patterns in information e “For foundational discoveries and inventions that enable machine learning with artificial neural networks” para informação avançada.
Um agradecimento especial aos professores Mário Figueiredo e Vasco Guerra pela disponibilidade e imensa abertura no processo de entrevista e subsequente.
