O que é Pathways Language Model (PaLM)?

O Pathways Language Model é o nome de uma família de grandes modelos de linguagem de IA desenvolvidos pelo Google. O esforço recebe o nome de uma iniciativa de pesquisa do Google para criar o que os pesquisadores apelidaram de caminhos, em uma abordagem projetada para construir um único modelo poderoso que poderia servir como base para vários casos de uso.

Existem várias versões do Pathways Language Model (PaLM). Entre as versões do PaLM 2 estão o Med-PaLM 2, que é ajustado para ciências da vida e informações médicas; e Sec-PaLM, voltado para uso em implantações de segurança cibernética para agilizar a análise de ameaças.

Em maio de 2023, o Google declarou publicamente que sua tecnologia de IA de conversação Bard é alimentada por PaLM 2. O modelo de linguagem grande (LLM) PaLM 2 também permite recursos de IA generativa no conjunto de aplicativos do Google Workspace - incluindo Gmail e Docs - também como Google Cloud com uma tecnologia conhecida como Duet AI.

O PaLM -- e mais especificamente o PaLM 2 -- pode fornecer muitas funções, incluindo as seguintes:

O PaLM usa um modelo baseado em rede neural de transformador comumente referido como um transformador. Em um nível básico, o PaLM é semelhante aos modelos rivais baseados em transformadores, incluindo os modelos GPT-3 e GPT-4 da OpenAI.

O PaLM usa o sistema de aprendizado de máquina Pathways, desenvolvido pelo Google, para treinar um modelo em vários pods de unidades de processamento de tensores. O modelo usa uma técnica conhecida como aprendizado de poucos tiros, que permite aprender a partir de um número limitado de exemplos rotulados - ou tiros - para ajudá-lo a se adaptar e generalizar rapidamente novas tarefas ou classes com o mínimo de rotulagem de dados.

Como uma rede transformadora, o PaLM entende e cria padrões em todo o conteúdo, incluindo texto e código. O modelo transformador passa por um processo de aprendizado abrangente, revelando padrões estatísticos e conexões existentes entre palavras e frases dentro do conteúdo. Esse conhecimento adquirido capacita o PaLM a gerar respostas coerentes e relevantes em vários contextos.

Embora o PaLM seja poderoso, ele tem as seguintes limitações de uso e recursos, bem como outros itens de preocupação.

“Sistemas de diálogo orientados construídos a partir do PaLM 2 continuam a produzir danos tóxicos à linguagem e a exibir padrões de viés em como esses danos variam de acordo com o idioma e as consultas relacionadas aos termos de identidade”, escreveram os pesquisadores do Google no “PaLM 2 Technical Report”.

Existem muitas semelhanças e diferenças entre PaLM e GPT-3 da OpenAI - e os mais recentes GPT-4 - LLMs. Ambos os conjuntos de tecnologias são geralmente chamados de IA generativa e ambos se beneficiam do uso de um modelo de transformador para aprendizado profundo. Ambas as tecnologias também podem criar, resumir e compreender texto.

Desenvolvedor

Google DeepMind

OpenAI

interface chatbot

Bardo

ChatGPT

Geração de código

Modelo totalmente integrado

Baseia-se em dados do Codex LLM da OpenAI

Recursos multilíngues

Atualmente, o PaLM 2 suporta mais de 40 idiomas

GPT-4 atualmente suporta 26 idiomas

O Google anunciou o PaLM em abril de 2022, com a versão inicial do modelo de linguagem fornecendo 540 bilhões de parâmetros.

Os pesquisadores do Google forneceram as primeiras métricas sobre o desempenho do PaLM em um trabalho de pesquisa intitulado "PaLM: Scaling Language Modeling with Pathways", incluindo detalhes completos explicando as inovações introduzidas pelo modelo. O modelo permaneceu privado até 17 de março de 2023, quando o Google forneceu um conjunto inicial de APIs públicas para permitir que os desenvolvedores experimentassem o modelo. Em 10 de maio de 2023, o PaLM 2 foi anunciado publicamente na conferência Google I/O.

Na época do lançamento do PaLM 2, o Google não divulgou publicamente o tamanho do modelo em termos de parâmetros, embora tenha feito muitas afirmações sobre o modelo ser maior, mais capaz e, em geral, fornecer melhor desempenho do que seu modelo inicial.

O Google divulgou que o PaLM 2 está sendo usado como a IA fundamental por trás de muitos de seus esforços generativos de IA, incluindo a Bard.

Olhando para o futuro, não está claro se haverá um modelo PaLM 3. No evento Google I/O 2023, executivos da empresa disseram que o LLM de última geração que está sendo desenvolvido pela organização se chama Gemini. Não está claro qual - se houver - relação que Gêmeos tem com a abordagem baseada em PaLM.