Tess AI ofrece una amplia gama de modelos de IA, que pueden ser utilizados por el AI Copilot o en los templates. Sin embargo, incluso los LLMs (Large Language Models) más avanzados tienen una limitación inherente: la ventana de contexto de entrenamiento. Aquí es donde entra el RAG (Retrieval-Augmented Generation), una funcionalidad que permite expandir el conocimiento de tus templates de chat más allá de lo que los modelos soportan en volumen de contenido, abriendo posibilidades para crear chats cada vez más entrenados, y el Deep Learning.
Los LLMs están entrenados en conjuntos de datos masivos, lo que les permite generar texto, traducir idiomas y responder preguntas de forma impresionante. Sin embargo, ese conocimiento es estático hasta cierto punto, es decir, si el LLM tiene una ventana de contexto de 200k tokens, los contenidos que utilizarás para entrenarlo en la Base de Conocimiento no podrán ser mayores que eso.
El RAG rompe esta barrera, permitiendo que tus chats accedan y lean información extra, además de los anexos de la Base de Conocimiento, complementando el contexto proporcionado y dando respuestas más completas.
Cuando agregas una base de conocimiento, tienes la opción de RAG o Deep Learning. RAG permite la lectura de archivos más grandes porque puede "dividir" el contenido que se anexó.
Cada vez que pides algo por el prompt, dividirá tu archivo en 10 partes, llamadas chunks, y buscará entre esas 10 las partes divididas. Entonces, si tu prompt es más simple, puede que "no encuentre" dentro de esas 10 partes.
Sin embargo, con un prompt más preciso, esa selección de 10 partes será aún más precisa, pudiendo encontrar más allá de lo básico.
Por eso, recomendamos que tu interacción con el prompt sea más precisa, con una pregunta más profunda y específica sobre el documento añadido.
En Deep Learning, es muy probable que el LLM pueda hacer la lectura, pero ten en cuenta que para archivos de gran tamaño, la probabilidad de error es alta. Esto ocurre porque en cada interacción será necesario consultar el documento completo para obtener la respuesta, no habrá división como se explicó en RAG. Por lo tanto, el consumo también será mayor y deberá ser mejor preparado por el usuario.
Supongamos que deseas agregar una base de conocimiento a tu copiloto.
Si eliges el formato RAG, en cada interacción tendrás una nueva división del archivo añadido en 10 partes, permitiendo que el prompt siempre se actualice y no necesariamente consumas el archivo completo, sino aquello que es más relevante de él, de acuerdo con tu prompt.
Si eliges el formato Deep Learning, en cada interacción el modelo de IA buscará, dentro de todo el archivo, el contexto que aportaste, ya sea más preciso o más amplio. Este formato consumirá más créditos y, claro, debe ser usado moderadamente por su precisión.
Cuando creas un agente y eliges una base de conocimiento para agregar, ¡el modelo de anexión de archivos para tu base siempre será en formato RAG!
RAG y Deep Learning funcionan perfectamente bien juntos. Cuándo usarlos es una decisión tuya, pero ahora tienes material para entender cada uno de ellos.
¡Hasta la próxima!
