Recompor time e tecnologia é o desafio do Ceitec

A Inteligência Artificial Generativa (GenIA) foi a grande sensação de 2023, e deverá de tornar cada vez mais presente em 2024. Um dos grandes desafios dos LLMs (Large Language Models ou Grandes Modelos de Linguagem, na tradução livre para o português) será a fluência cultural, o que deverá tornar a IA generativa mais acessível aos usuários, aponta o VP e CTO da Amazon, Werner Vogels, que todo final de ano divulga suas previsões tecnológicas.

A perspectiva é que, treinada em dados culturalmente diversos, essa tecnologia ganhará um entendimento mais sutil sobre a experiência humana e os complexos desafios sociais. Ao mesmo tempo, essas diferenças podem trazer confusão e má interpretação.

No Japão, por exemplo, o ato de beber a sopa à medida que se come o macarrão é considerado sinal de satisfação, mas em outros países, isso é considerado uma falta de educação. Em um casamento tradicional na Índia, uma noiva pode usar um vestido colorido e de design diferente, enquanto no mundo ocidental ela tradicionalmente usa branco. E na Grécia é comum cuspir no vestido para trazer boa sorte.

"Como humanos, estamos acostumados a trabalhar com diferentes culturas e, com isso, somos capazes de contextualizar essas informações, sintetizá-las, ajustar o nosso entendimento e responder adequadamente. Então, por que esperaríamos menos do que isso das tecnologias que usamos e às quais confiamos as nossas vidas?", questiona Vogels.

Nos próximos anos, a cultura terá um papel crucial na forma como as tecnologias são desenvolvidas, implementadas e consumidas; e os seus efeitos serão ainda mais evidentes na IA generativa.

Para que os sistemas baseados em LLM tenham alcance mundial, eles precisam alcançar o tipo de fluência cultural que se desenvolve instintivamente nos humanos. Em um artigo publicado este ano, pesquisadores do Instituto de Tecnologia da Geórgia demonstraram que mesmo quando um LLM era utilizado com um promt em árabe, que mencionava explicitamente uma oração islâmica, as respostas geradas recomendavam curtir uma bebida alcoólica com amigos, o que é culturalmente inapropriado. Muito disso tem relação com os dados disponíveis para treinamento.

O Common Crawl, que foi utilizado para treinar muitos LLMs, é 46% em inglês. Uma porcentagem ainda maior do conteúdo disponível - independentemente do idioma - é culturalmente ocidental (em boa parte focado nos Estados Unidos).

Nos últimos meses, LLMs não ocidentais começaram a surgir: o Jais, treinado em dados em árabe e inglês, Yi-34B, um modelo bilíngue em chinês/inglês e o Japanese-large-lm, treinado em um extenso conjunto de dados em japonês. "Esses são sinais de que modelos culturais precisos não ocidentais abrirão a IA generativa para centenas de milhões de pessoas, com impactos de longo alcance, da educação aos cuidados médicos", aposta.

Uma questão importante levantada nas previsões do CTO é que idioma e cultura são coisas diferentes. Ser capaz de fazer traduções perfeitas não dá a um modelo conhecimento cultural. Assim como os humanos aprendem com discussões, debates e a troca de ideias, os LLMs precisam de oportunidades semelhantes para expandir suas perspectivas e entender a cultura", comenta.