A Tess AI oferece uma ampla gama de modelos de IA, que podem ser utilizados pelo AI Copilot ou nos templates. No entanto, mesmo os LLMs (Large Language Models) mais avançados possuem uma limitação inerente: a janela de contexto de treinamento. É aqui que entra o RAG (Retrieval-Augmented Generation), uma funcionalidade que permite expandir o conhecimento dos seus templates de chat para além do que os modelos suportam em volume de conteúdo, abrindo possibilidades para criar chats cada vez mais treinados, e o Deep Learning.
Os LLMs são treinados em conjuntos de dados massivos, o que lhes permite gerar texto, traduzir idiomas e responder perguntas de forma impressionante. No entanto, esse conhecimento é estático até certo ponto, ou seja, se o LLM possui uma janela de contexto de 200k tokens, os conteúdos que você utilizará para treiná-lo na Base de Conhecimento não poderão ser maiores que isso.
O RAG quebra essa barreira, permitindo que seus chats acessem e leiam informações extras, além dos anexos da Base de Conhecimento, complementando o contexto fornecido e trazendo respostas mais completas.
Quando você adiciona uma base de conhecimento, você tem a opção de RAG ou Deep Learning. O RAG permite a leitura de arquivos maiores, porque consegue "quebrar" o conteúdo que foi anexado.
Toda vez que você pede algo pelo prompt, ele irá quebrar seu arquivo em 10 partes, chamadas de chunks, e buscar dentre essas 10 as informações quebradas. Logo, se seu prompt for mais simples, ele pode "nao achar" nessas 10 partes.
Porém, com um prompt mais preciso, essa seleção de 10 partes será ainda mais precisa, podendo achar além do básico!
Por isso, recomendamos que sua interação com o prompt seja mais precisa, com uma pergunta mais a fundo e específica sobre o documento adicionado!
Em Deep Learning, é bem provável que o LLM consiga fazer a leitura, porém, note que para arquivos de grande tamanho, a chance de erro é alta. Isso ocorre porque em cada interação, será necessário consultar o documento por completo para obter a resposta, não haverá a quebra como explicado no RAG. Logo, o consumo também será maior e deve ser melhor preparado pelo usuário.
Vamos supor que você deseje adicionar uma base de conhecimento ao seu copilot.
Se você escolher o formato RAG, a cada interação você terá uma nova quebra do arquivo adicionado em 10 partes, permitindo que o prompt seja sempre atualizado e você não necessariamente consuma o arquivo por completo, mas aquilo que é mais relevante dele, de acordo com seu prompt.
Se você escolher o formato Deep Learning, a cada interação o modelo de IA irá buscar, dentro do arquivo todo, o contexto que você trouxe, seja ele mais preciso ou mais amplo. Esse formato irá consumir mais créditos e, claro, deve ser usado moderadamente também pela sua precisão.
Quando criando um agente e escolhendo uma base de conhecimento para adição, o modelo de anexação de arquivos para sua base sempre será no formato RAG!
RAG e Deep Learning funcionam perfeitamente bem em conjunto. Quando usar é uma decisão sua, mas agora você tem material para entender sobre cada um deles.
Até a próxima!
