Inteligência Artificial

Meta lança sua Inteligência Artificial, o Llama 3.1

As chamadas inteligências artificiais generativas, ganharam em 23 de Julho de 2024, mais um concorrente de peso, o Llama 3.1, o grande modelo de linguagem da Meta, a empresa que controla Facebook, Instagram e WhatsApp.

Quer saber o que é o Llama 3.1 e quais as suas principais características em relação às outras IAs existentes?

Então vem participar dessa conversa conosco!

O que é o Llama 3.1?

O Llama 3.1 é o primeiro grande modelo de inteligência artificial generativa, desenvolvida pela Meta e disponibilizada – pelo menos inicialmente – de forma gratuita e sob código aberto (open source), que tem como objetivo ser mais uma opção aos principais modelos de IA, já disponíveis, como o ChatGPT (OpenAI), Copilot (Microsoft) e Gemini (Google).

A versão 3.1, é uma evolução do LLaMA (Large Language Model Meta AI), o qual é um grande modelo de linguagem (LLM) lançado pela Meta AI – a divisão de inteligência artificial da Meta – em fevereiro de 2023.

O código usado para treinar o modelo foi divulgado publicamente sob a licença GPL 3, de código aberto.

Tal como as principais alternativas, constitui um poderoso modelo de IA com oferta de recursos de última geração em conhecimento geral, capacidade de direção, questões matemáticas, uso de ferramentas e tradução multilíngue.

O Llama 3.1 é o fruto mais recente do projeto da Meta, que visa fornecer a sua solução e alternativa ao que apresentaram como OpenAI e Anthropic e ao movimento realizado pelas Big Techs Google, Amazon e Microsoft.

Quem buscar mais detalhes em uma das páginas da empresa que trata do lançamento, verá que há “versões” diferentes ou três modelos, para usar a mesma terminologia usada pela Meta:

Llama 3.1 405B;
Llama 3.1 70B;
Llama 3.1 8B.

Os números após a versão 3.1, indicam a quantidade de parâmetros, ou elementos ajustáveis. Assim, a primeira alternativa fez uso de 405 bilhões de parâmetros no processo de aprendizado de máquina (machine learning). Portanto, as versões 3.1 70B e 3.1 8B, constituem modelos menores baseados em 70 bilhões e 8 bilhões de parâmetros, respectivamente.

O que são os parâmetros da IA?

Se fizermos um paralelo entre um modelo de inteligência artificial e um cérebro humano, o qual se adapta e aprende a partir das novas informações as quais tem acesso, uma IA também precisa de mecanismos para "aprender", os quais estão em grande parte relacionados com esses parâmetros.

Resumidamente, os parâmetros são valores numéricos que a IA ajusta durante o processo de treinamento, para refinar o processo de aprendizagem. Ao alterar os valores dos parâmetros, a IA modifica a forma como ela processa as informações e, consequentemente, como ela realiza as tarefas para as quais foi treinada.

Imagine que uma inteligência artificial esteja sendo treinada para identificar textos em quaisquer fotos que sejam submetidas a ela. São os parâmetros que permitem analisar milhões de imagens contendo textos, bem como outros elementos (pessoas, objetos variados, animais, etc), ajustando os parâmetros para encontrar padrões visuais que distinguem as letras e palavras dos demais elementos, como por exemplo, fontes e diferentes formatos, suas cores, tamanhos, etc.

Ou seja, quanto mais parâmetros, maior precisão na realização de cada tarefa, mais aptidões para lidar com uma variedade de tarefas diferentes, como também maior o grau de complexidade das situações com as quais tem que lidar.

Quais as principais características do Llama 3.1?

Tal como os demais modelos de IA generativa, o Llama 3.1 também tem suas peculiaridades e características:

1. Número de parâmetros

Embora nem Google, nem OpenAI divulguem oficialmente os números de parâmetros usados em suas IAs, a informação que circula por aí, é que a versão mais poderosa do Gemini faz uso de 175 bilhões de parâmetros e o GPT-4, 1,76 trilhão de parâmetros.

Pelas informações da Meta e pelo que já informamos, o Llama 3.1 mais poderoso (405B) utiliza 405 bilhões de parâmetros.

2. Capacidade

Como vimos, o número de parâmetros tem influência direta na precisão dos resultados, na variedade de tarefas realizáveis e no nível de complexidade delas.

Sendo assim, teoricamente o Llama deveria se situar em algum ponto entre o Gemini e o GPT-4. No entanto, diferente desses modelos, o Llama não é multimodal, o que significa que não se destina a lidar com imagens, áudio e vídeo.

Em outras palavras, sua capacidade / poder é mais concentrado.

A Meta afirma que o modelo é significativamente melhor em usar outros softwares, como um navegador da web, algo que se acredita que pode tornar o Llama mais útil e versátil em uma série de situações práticas.

A versão 3.1 405B foi treinada com mais de 15 trilhões de tokens, que são a forma de representação das informações processadas pela IA.

3. Especificidade

Os benckmarks usando Processamento de Linguagem Natural (PLN), bem como em outras condições, como multilinguagem e processamento matemático, mostraram desempenho superior aos principais concorrentes nesse quesito, pois conforme informamos o Llama concentra sua capacidade de processar dados textuais.

Benchmark Llama 3.1

Ou seja, alguns dos seus principais concorrentes, ainda que façam uso de maior volume de parâmetros, como é o caso do GPT-4, têm que se desdobrar em uma maior variedade de tarefas.

Embora perca para o GPT-4 em alguns aspectos, ele apresenta melhores resultados na maior parte dos casos e em termos gerais, ela se apresenta como a IA mais inteligente entre todas.

Sendo assim, o Llama 3.1 é capaz de processar 128 mil caracteres de contexto (ou tokens), em 8 diferentes idiomas, ou se preferir o tamanho dos comandos de prompt fornecidos pelos usuários. Quanto maior esse número, mais refinado pode ser o comando e consequentemente, melhor também o resultado entregue pela IA.

4. Disponibilidade

Contrariando a forma como a maioria das alternativas mais conhecidas, o Llama está sendo oferecido em caráter gratuito, mesmo para a versão mais poderosa (405B).

Outro aspecto que o diferencia dos demais, é o fato de ser open source.

Segundo a Meta, diferentemente dos modelos baseados em código proprietário, o Llama está disponível para download, a fim de que a comunidade global de desenvolvedores possam “personalizar totalmente os modelos de acordo com suas necessidades e aplicações, treinar em novos conjuntos de dados e realizar ajustes adicionais”.

Esse é um conceito que normalmente está associado aos sistemas de código aberto, como é o caso do Linux e que entre outras coisas, permitiu o surgimento de distribuições com diferentes propósitos e conceitos, algo que foi comentado por Mark Zuckerberg, em uma carta aberta por ocasião do lançamento do Llama 3.1

Em um trecho, Zuckerberg diz que “hoje, o Linux é a base padrão da indústria tanto para a computação em nuvem quanto para os sistemas operacionais que executam a maioria dos dispositivos móveis – e todos nós nos beneficiamos de produtos superiores por causa disso. Acredito que a IA se desenvolverá de maneira semelhante. Hoje, diversas empresas de tecnologia estão desenvolvendo modelos fechados. Mas o código aberto está rapidamente fechando a lacuna”.

Na prática, significa que quem quiser e puder, pode efetuar um ajuste fino ou um treinamento personalizado, para que o produto resultante atenda a necessidades mais específicas. No caso dos demais modelos, só se tem o que os proprietários permitem.

Entre os benefícios já imaginados, há outros, como a possibilidade de produzir dados sintéticos e destilação de modelos, que é o termo que se usa para uma técnica de aprendizado de máquina (machine learning) na qual é feita uma transferência dos aprendizados de um grande modelo pré-treinado, para um modelo menor.

5. Cooperação

A Meta vem desenvolvendo o seu projeto de IA em cooperação em alguns pontos, com outras gigantes como Dell, Azure, Google Cloud, AWS e Nvidia, entre outros, para desenvolver e implantar o seu próprio modelo.

Essas parcerias foram essenciais. Mesmo sem divulgar valores, as estimativas de investimento são da ordem de bilhões de dólares. Os números envolvidos, sugerem a evidente grandeza do projeto, como por exemplo, as mais de 16.000 GPUs H100 da Nvidia, usadas pelo 405 bilhões de parâmetros para treinamento.

Llama 3.1 no Brasil

Apesar de ter sido disponibilizado no lançamento para diversos países da América do Sul, como Argentina, Chile, Colômbia, Equador, México e Peru, a Meta informou que por enquanto o Llama 3.1 não estará disponível no Brasil, “devido a incertezas regulatórias locais".

Ao acessar a página (https://www.meta.ai/) em que se pode testar o Llama, uma mensagem informando sobre a indisponibilidade, é exibida.

A Autoridade Nacional de Proteção de Dados do Brasil (ANPD), órgão que foi criado pela lei que institui a LGPD, entendeu que as alterações na política de privacidade da Meta, poderiam causar “dano grave e irreparável ou de difícil reparação aos direitos fundamentais” dos brasileiros.

Na União Europeia, por agora o Llama 3.1 também estará indisponível, por razão semelhante e devido aos “comportamento imprevisíveis” dos órgãos reguladores da comunidade europeia.