Large language models em contabilidade : potenciais usos, desafios e limitações

Os LLMs atraíram um enorme número de usuários desde quando o ChatGPT foi lançado ao público, em novembro de 2022. Pesquisadores começaram a investigar sob diversos aspectos a IA Generativa em diferentes áreas do conhecimento. O crescimento de artigos que contém a palavra-chave “ChatGPT” é exponencial, no entanto poucos são na temática da contabilidade. Esta pesquisa propôs, portanto, preencher essa lacuna, abordando os potenciais usos da ferramenta, seus desafios e limitações percebidos e evidenciados na literatura contábil. Foi realizada uma síntese das atividades nas quais esse LLM pode ser utilizado no domínio contábil, como contabilidade financeira e gerencial, auditoria e contabilidade forense, tributação, consultoria e assistência virtual e automação de tarefas (rotinas). Como benefícios foram identificados na literatura aumento de eficiência, produtividade, ganho de qualidade, maior disponibilidade para alocação de tempo em atividades que requerem maiores especificidades, entre outros. Por outro lado, estudos apontam que existem desafios decorrentes de sua utilização como questões éticas, legais e sociais, assim como limites que a tecnologia enfrenta, como alucinação, precisão, consistência, temporalidade, conformidade e necessidade de recursos. Além disso, o ChatGPT foi explorado em dois cenários do domínio contabilístico para criar avisos aos acionistas e comunicados ao mercado. Com uma abordagem exploratória quanto aos objetivos, o problema foi abordado de maneira qualiquantitativa com a utilização de dados secundários disponíveis na CVM. Verificou-se a capacidade do modelo em gerar conteúdo específico não conversacional com poucos dados de treinamento adicionais, com definição de persona e uso de técnica de prompting zero-shot para obtenção de respostas mais acuradas ao contexto. Com os conteúdos gerados, análises qualitativa e quantitativa foram realizadas. Qualitativamente, informações e características dos documentos gerados foram analisados. O ChatGPT é capaz auxiliar no processo de criação de avisos aos acionistas sobre o pagamento de proventos de forma que parece plausível, porém pode levar a incoerências resultando em erros de grandes proporções. Na elaboração de comunicados ao mercado pode induzir um agente a cometer equívocos e deixar companhias à mercê de sanções de órgãos fiscalizadores pela possibilidade de cometer infração grave conforme a legislação vigente. Quantitativamente, os resultados foram submetidos a testes estatísticos de similaridade como o Índice de Jaccard e a Distância de Jaccard para verificar o quão semelhantes os conteúdos estavam aos elaborados por humanos. Os resultados revelaram que o conteúdo gerado pela ferramenta se assemelhou mais ao elaborado por humanos no cenário de pagamentos de proventos do que em esclarecimentos de questionamentos da CVM/B3 sobre oscilações atípicas de valores mobiliários. Adicionalmente, a Similaridade de Cossenos foi conduzida como um teste alternativo para verificar a consistência do conteúdo gerado dada a aplicação de protocolo de prompts em cada cenário. Verificou-se, em ambos os cenários, aumento na semelhança das respostas, inclusive entre as distintas instituições. Por fim, observa-se que o uso colaborativo das virtudes homemmáquina traz melhores resultados que seu uso exclusivo e indiscriminado, sendo o julgamento humano fator necessário para atingir os objetivos desejados.