Na verdade, a evolução realmente grande é esperada para o GPT-4, que pode ser lançado em 2023. Digamos que o GPT-3.5 é parte do caminho até lá. Mas uma parte bem percorrida. A percepção inicial é a de que a nova versão gera textos mais coesos e longos em relação à versão anterior.
Antes, o que é GPT?
Sigla para Generative Pretrained Transformer, o GPT é um modelo de linguagem baseado em redes neurais, conceito intimamente ligado à inteligência artificial. Entenda como modelo de linguagem um mecanismo que prevê a possibilidade de uma sentença de texto ser coerente, ou seja, fazer sentido para a compreensão humana. Por exemplo, o “Tecnoblog é um site na internet” é uma frase com significado real. Já “Tecnoblog lava a louça pegando um avião” só faz sentido para quem está sob efeito de substâncias duvidosas. Principal nome por trás do projeto, a OpenAI apresentou a primeira versão do GPT em 2018, com a segunda versão aparecendo em 2019. Mas foi somente em 2020, com o surgimento do GPT-3, que os resultados chamaram a atenção pública. As diferenças entre a segunda e a terceira versão são gritantes. Enquanto o GPT-2 é baseado em 1,5 bilhão de parâmetros, o GPT-3 conta com 175 bilhões e foi treinado com uma base muito maior de textos. Isso explica a sua capacidade de gerar resultados mais convincentes.
O GPT-3.5 vai além
Os tais parâmetros podem ser entendidos como os componentes aprendidos pelo GPT a partir do treinamento. De acordo com o TechCrunch, existe a previsão de que o GPT-4 conte com mais de 100 trilhões de parâmetros. Aparentemente, o GPT-3.5 continua com os 175 bilhões do GPT-3. O que a nova versão traz de diferente é um conjunto de técnicas aprimoradas. É isso que a permite lidar com instruções mais complexas. Uma demonstração feita no meio da semana com o ChatGPT, um chatbot que incorpora o GPT-3.5, mostrou avanços significativos. A ferramenta conseguiu gerar respostas coerentes sobre vários tópicos, como programação. O que é chamado de GPT-3.5 consiste, basicamente, no pacote text-davinci-003, que pode gerar textos em questão de segundos. Em um teste feito pela Pepper Content, o resultado foi o seguinte para a pergunta “qual a filosofia por trás do WeWork?” (em tradução livre): O texto completo requer pequenos ajustes. Mesmo assim, a Pepper Content aponta que o resultado é mais detalhado e envolvente do que o texto gerado pelo texto-davinci-002 (baseado no GPT-3). Olha só esta rápida demonstração divulgada no Twitter:
No que o GPT-3.5 pode ser usado?
Como o exemplo do ChatGPT deixa claro, o GPT-3.5 pode ser empregado em chatbots capazes de gerar interações mais objetivas com humanos. Mas a ferramenta também pode ser útil para gerar textos para redes sociais ou blogs, por exemplo. Não é coincidência a Pepper Content ter testado a novidade. A empresa é focada em marketing de conteúdo. Independentemente da finalidade, a ideia é que o GPT-3.5 possa gerar textos de boa qualidade rapidamente usando apenas algumas instruções de entrada. Posteriormente, o resultado pode ser revisado por um humano para ajustes de escrita ou eliminação de inconsistências. Para chegar a esse nível, o GPT-3.5 foi treinado com uma gigantesca quantidade de textos disponíveis na web, incluindo artigos da Wikipedia, posts em redes sociais e conteúdo de veículos de notícias. Textos com cerca de 500 palavras, que são suficientes para vários serviços na web, podem ser construídos com relativa facilidade pela ferramenta. Os resultados não são perfeitos, razão pela qual a figura do revisor (ainda) é importante. Mas, de modo geral, são espantosamente coerentes para um conteúdo produzido por computador. Essas constatações nos fazem pensar se não estamos diante de mais uma tecnologia que vem para “roubar” o trabalho dos humanos. Mas essa discussão é tão complexa que precisa ser tratada à parte. Por ora, os pesquisadores que trabalham com esse tipo de projeto estão mais preocupados em contribuir para o avanço do processamento de linguagem natural (NLP, na sigla em inglês), uma das vertentes da inteligência artificial. De todo modo, eu espero que o Mobilon passe bem longe deste post.
