NVIDIA, el gigante de la tecnología, ha lanzado una nueva aplicación de demostración llamada ChatRTX. Esta aplicación permite a los usuarios personalizar un modelo de lenguaje de gran tamaño (LLM) GPT con su propio contenido, como documentos, notas, vídeos y otros datos.
La aplicación utiliza la generación aumentada por recuperación (RAG), TensorRT-LLM y la aceleración RTX para proporcionar respuestas contextualmente relevantes de manera rápida. Lo más impresionante es que todo se ejecuta localmente en la PC o estación de trabajo Windows RTX del usuario, garantizando resultados rápidos y seguros.
Para utilizar ChatRTX, los usuarios necesitarán una plataforma Windows, una tarjeta gráfica NVIDIA GeForce™ RTX serie 30 o 40, o una tarjeta gráfica NVIDIA RTX™ Ampere o Generación Ada con al menos 8 GB de VRAM. Además, se requiere un mínimo de 16 GB de RAM, el sistema operativo Windows 11 y la versión 535.11 o posterior del controlador. El tamaño del archivo de la aplicación es de 35 GB.
ChatRTX admite varios formatos de archivo, incluyendo texto, pdf, doc/docx y xml. Los usuarios pueden seleccionar la aplicación en la carpeta que contiene sus archivos y cargarlos en la biblioteca en cuestión de segundos. Esto permite a los usuarios chatear con sus propios archivos, creando un chatbot personalizado.
La demo técnica de ChatRTX se basa en el proyecto de referencia para desarrolladores RAG for TensorRT-LLM, que está disponible en GitHub. Los desarrolladores pueden utilizar esta referencia para crear sus propias aplicaciones basadas en RAG para RTX, aceleradas por TensorRT-LLM.
ChatRTX es una herramienta emocionante que permite a los usuarios personalizar y ejecutar un chatbot de IA localmente. Si tienes una GPU GeForce RTX o NVIDIA RTX, puedes empezar a chatear con tus propios datos ahora mismo. ¡Es una gran noticia para los entusiastas de la tecnología y los desarrolladores de todo el mundo!
Notas De Cristal Para Una Generación En Construcción
