¡EJECUTA tu propio ChatGPT en LOCAL gratis y sin censura! (LM Studio + Mixtral)
Summary
TLDREste vídeo explora la arquitectura 'Mixture of Experts' utilizada en modelos de inteligencia artificial como GPT-4, destacando su eficiencia y capacidad para manejar grandes volúmenes de datos. Se presenta 'Mixt', un modelo open source basado en esta arquitectura, que sobresale en comparación con versiones anteriores como ChatGPT 3.5. El tutorial introduce 'LM Studio', una herramienta para gestionar y ejecutar estos avanzados modelos de IA en hardware local, con o sin GPU, y destaca la importancia de la responsabilidad en el uso de tecnologías open source sin censura, como el modelo 'Dolphin', que permite experimentar sin restricciones éticas impuestas por las empresas.
Takeaways
- 🤖 Los 'Mixter of Experts' son una arquitectura de Deep Learning que mejora la eficiencia en la ejecución de modelos de lenguaje grandes.
- 💡 GPT-4 utiliza presumiblemente esta arquitectura, destacando por su capacidad de manejar enormes cantidades de parámetros de manera eficiente.
- 📥 Se ha lanzado 'Mixt', un modelo entrenado con estas características, disponible para descarga y uso en la comunidad Open Source.
- 🚀 'Mixt' ha demostrado tener un rendimiento superior a modelos anteriores como ChatGPT 3.5, según votaciones de usuarios.
- 🛠️ LM Studio es una herramienta que simplifica la gestión y utilización de grandes modelos de lenguaje, compatible con distintos sistemas operativos.
- 🔧 Para ejecutar estos modelos de manera eficiente, es necesario contar con una GPU potente o, en su defecto, suficiente memoria RAM para operar a través de la CPU.
- 🔍 La herramienta permite buscar y descargar diversas versiones de modelos de lenguaje, incluyendo opciones optimizadas mediante técnicas de cuantización.
- 🐬 'Dolphin' es una versión sin censura de Mixt, especialmente útil para programación y experimentación con datos sin restricciones éticas impuestas.
- 🎓 La tecnología Open Source ofrece una gran oportunidad de innovación y experimentación, pero también plantea riesgos de mal uso.
- 💻 LM Studio ofrece opciones avanzadas para personalizar la ejecución de modelos, incluyendo ajustes en la cuantización, la ventana de contexto y el prompt del sistema.
Q & A
¿Qué son los mixter of experts y para qué se utilizan?
-Los mixter of experts son un tipo de arquitectura de Deep Learning que se utiliza en grandes modelos de lenguaje para hacerlos más eficientes en ejecución, gracias a la gestión de diferentes sistemas expertos.
¿Por qué ha ganado popularidad la arquitectura mixter of experts?
-Ha ganado popularidad tras presuntamente descubrirse que es la arquitectura detrás de modelos populares como GPT-4, además de por su eficiencia y tamaño en número de parámetros.
¿Qué es MIXT y cuál es su importancia en la comunidad de código abierto?
-MIXT es un modelo de inteligencia artificial basado en la arquitectura mixter of experts, que ha demostrado tener un rendimiento superior a modelos anteriores como ChatGPT 3.5 y está disponible para que la comunidad de código abierto lo descargue y utilice.
¿Cuáles son los requisitos de hardware para ejecutar modelos grandes de lenguaje como MIXT?
-Es necesario contar con una GPU lo suficientemente potente y con suficiente VRAM para cargar el modelo en la memoria de la GPU. Si no se cuenta con una GPU adecuada, se puede ejecutar el modelo a través de la CPU, aunque será más lento.
¿Qué es LM Studio y para qué sirve?
-LM Studio es una herramienta que permite gestionar y ejecutar grandes modelos de lenguaje, facilitando que los usuarios puedan experimentar con los últimos modelos disponibles en plataformas como Hugging Face.
¿Qué se debe tener en cuenta al elegir una versión de modelo en LM Studio?
-Se debe considerar la cantidad de VRAM o RAM disponible, ya que diferentes versiones del modelo requieren diferentes cantidades de memoria. También es importante considerar la cuantización del modelo, ya que afecta tanto al tamaño como al rendimiento.
¿Qué es la cuantización en el contexto de los modelos de IA?
-La cuantización es una técnica que reduce la precisión de los parámetros del modelo, disminuyendo el tamaño del modelo en memoria pero potencialmente también reduciendo su rendimiento o inteligencia.
¿Cómo afecta la cuantización a un modelo de inteligencia artificial?
-Una mayor agresividad en la cuantización reduce más el tamaño del modelo pero puede hacer que el modelo sea menos preciso o 'más tonto', afectando la calidad de sus respuestas.
¿Qué es el modelo Dolphin mencionado en el video y cuál es su particularidad?
-Dolphin es una versión no censurada del modelo MIXT, especialmente buena para programación y sin las restricciones éticas de modelos como ChatGPT, lo que permite respuestas sin censura.
¿Cuáles son las implicaciones éticas de utilizar modelos de IA abiertos y sin censura como Dolphin?
-Mientras que ofrecen mayores posibilidades de experimentación y libertad de información, también presentan riesgos como la posibilidad de ser utilizados para propósitos malignos, como la creación y difusión de desinformación o contenido ilegal.
Outlines
🧠 Introducción a los Mixter of Experts y MIXL
El video comienza presentando una arquitectura de Deep Learning conocida como 'Mixter of Experts', destacada por su eficiencia y popularidad, especialmente por su presunta relación con GPT-4. Se introduce MIXL, un modelo open source basado en esta arquitectura, que ha demostrado un rendimiento superior a modelos anteriores como ChatGPT 3.5. El presentador promete mostrar cómo instalar y utilizar MIXL, resaltando la importancia de contar con el hardware adecuado, especialmente una GPU potente, para ejecutar estos modelos de lenguaje de gran tamaño.
🛠 Cómo instalar y configurar modelos de lenguaje con LM Studio
Se explica detalladamente cómo utilizar LM Studio, una herramienta esencial para gestionar y experimentar con modelos de lenguaje de gran tamaño. El presentador guía a través del proceso de descarga e instalación de diferentes versiones de modelos, enfatizando la importancia de seleccionar la versión adecuada según la capacidad de la GPU o la memoria RAM del usuario. Se menciona la técnica de cuantización como método para ajustar el tamaño del modelo y su impacto en la eficiencia y rendimiento del mismo. Además, se destaca la versión 'Dolphin' de MIXL, una variante sin censura del modelo, ideal para experimentación.
🔧 Pruebas y ajustes de rendimiento en LM Studio
Este segmento se centra en cómo mejorar el rendimiento de los modelos de lenguaje utilizando LM Studio, incluyendo la configuración de la GPU para optimizar la ejecución del modelo. Se muestra una comparación entre ejecutar el modelo en CPU versus GPU, destacando la superior eficiencia y velocidad de la GPU. Además, se presenta un ejemplo de uso del modelo 'Dolphin' para generar contenido sin censura, discutiendo las implicaciones éticas y el potencial negativo de esta tecnología abierta. Se enfatiza la importancia de la responsabilidad al utilizar estos modelos potentes y sin restricciones.
🚀 Conclusiones y reflexiones sobre el Open Source y la IA
El video concluye con una reflexión sobre el poder y los riesgos del software de código abierto en el campo de la inteligencia artificial. Se resalta la facilidad de acceso a tecnologías avanzadas como MIXL y la importancia de utilizarlas con responsabilidad. El presentador invita a la audiencia a experimentar con LM Studio y otros modelos, pero también a considerar las consecuencias éticas de su uso. Se menciona el equilibrio entre la innovación abierta y la necesidad de cautela ante el potencial mal uso de estas herramientas avanzadas.
Mindmap
Keywords
💡Mixture of Experts
💡GPT-4
💡Open Source
💡GPU
💡Cuantización
💡LM Studio
💡Modelo sin censura
💡Dolphin
💡Fine-tuning
💡Desinformación
Highlights
Explicación sobre los mixter of experts, una arquitectura de deep learning detrás de grandes modelos de lenguaje como GPT-4.
Los mixter of experts proporcionan modelos grandes y eficientes en ejecución gracias a la gestión de sistemas expertos.
Presentación de MIXT, un modelo open source basado en la arquitectura mixter of experts, disponible para descarga y uso.
Comparativa que muestra a MIXT con un rendimiento superior a modelos como ChatGPT-3.5.
Introducción a LM Studio, una herramienta para gestionar y utilizar grandes modelos de lenguaje.
Requisitos de hardware para ejecutar modelos de lenguaje grandes, incluyendo la importancia de una GPU potente.
Cómo LM Studio facilita la búsqueda y prueba de diferentes modelos de lenguaje.
Demostración de cómo descargar y utilizar un modelo en LM Studio.
Presentación de Dolphin, una versión sin censura de MIXT, especialmente útil para programación.
Explicación sobre cuantización para optimizar modelos de lenguaje y su impacto en la eficiencia y rendimiento.
Prueba de ejecución de modelos con y sin GPU, mostrando diferencias en la velocidad y rendimiento.
Ejemplo de generación de contenido con el modelo Dolphin, mostrando su capacidad para generar texto sin censura.
Discusión sobre la doble cara del open source en la IA: potencial para innovación y riesgos de uso indebido.
La importancia de la concienciación sobre el acceso y uso responsable de tecnologías de IA open source.
Introducción a técnicas avanzadas en LM Studio para personalizar y experimentar con modelos de lenguaje.
Llamado a la comunidad para explorar y utilizar responsablemente los modelos de lenguaje open source.
Transcripts
Hace unos días en mi otro canal en dosv
que donde doy todas las explicaciones
teóricas de Cómo funciona la revolución
de la Inteligencia artificial que
estamos viviendo hoy os estuve hablando
sobre los mixter of experts un tipo de
arquitectura de Deep learning que
actualmente se está utilizando tras
estos enormes modelos de lenguaje que
utilizamos para poder hablar con la
Inteligencia artificial y que ha ganado
bastante popularidad tras presuntamente
descubrirse que esta podría ser la
arquitectura que reside tras un modelo
tan popular como gpt 4 los mixter of
experts lo que nos proporcionan pues es
la capacidad de tener un modelo que en
tamaño en número de parámetros es
bastante grande pero que a la hora de
ejecutarlo pues es más eficiente por la
gestión que hace de los diferentes
sistemas expertos como digo toda esa
información la tenéis en el otro vídeo
sin embargo y el motivo de por qué
estamos hablando ahora de estos mixter
of experts aún cuando gpt 4 por ya lleva
fuera desde hace bastantes meses es
porque ahora la comunidad Open source
puede beneficiarse de un modelo
entrenado con estas características que
todos vosotros podéis Descargar y
empezar a utilizar en vuestros
ordenadores efectivamente estoy hablando
de mixt un modelo que como se ha podido
ver en comparaciones donde los usuarios
pueden votar con diferentes modelos A
ver cuál rinde mejor pues ha demostrado
tener un rendimiento superior a modelos
como chat gpt 3.5 lo cual hace de esta
tecnología algo super interesante que
seguramente vosotros querréis probar y
como os prometí hoy os traigo el
tutorial para poder hacer esto y en
realidad más que un tutorial Esto va a
ser una presentación de una herramienta
que Considero que deberíais de conocer
porque esto Más allá del modelo de turno
que vamos a instalar hoy Que va a ser
mixal es un gestor de enormes modelos
del lenguaje que va a simplificar
enormemente que vosotros podáis jugar en
cualquier momento con los últimos
modelos que se van incorporando a
plataformas como hacking Face y lo único
que necesito por vuestra parte para que
podáis seguir todo lo que vamos a hacer
es que contéis con el Hardware
suficiente ya sabéis que para ejecutar a
estos enormes modelos del lenguaje lo
que necesitamos para poder hacerlo de
forma eficiente es contar con una gpu
que sea lo suficientemente potente y en
concreto lo que vamos a necesitar es que
esta gpu cuente con suficiente vram para
poder cargar el modelo en la memoria de
la gpu si aún así no contáis con la gpu
vamos a ver cómo esta herramienta nos va
a permitir poder ejecutarla a través de
la cpu más lento si contáis con la
suficiente memoria RAM Pues también
podrá ser una opción alternativa para
poder ejecutar a estos modelos pero
primero vamos a conocer la ram y la
herramienta Es esta que veis aquí se
llama lm Studio podéis entrar en su
página web y tenéis diferentes opciones
para el equipo que estéis utilizando si
es Mac si es Windows Linux podéis
descargar cualquier versión y es
bastante sencillo la descargá
instalárselo
estoy trabajando con la versión 0.2 Pero
bueno puede que lleguen nuevas
actualizaciones con lo cual tenedlo
presente por si alguna de las opciones
que vamos a estar comentando han
cambiado pero lo que tenemos aquí
básicamente cuando entramos es un
buscador que lo que nos va a permitir es
Buscar cualquier modelo de lenguaje que
nos apetezca probar por ejemplo Oye que
he visto que Microsoft ha sacado un
modelo que se llama fi2 y que permite
pues codificar es un modelo ligero que
nos puede servir vamos a verlo y vemos
que buscamos por fi2 y nos aparece Pues
un montón un listado de un montón de
opciones de modelos que han sido
publicados Pues en los últimos días
vemos modelos de hace 29 días 24 días 11
3 25 Bueno diferentes configuraciones de
pues ya sabéis no sale un modelo al
mercado sale un modelo en internet y la
gente empieza a hacer fine tuning
empiezan a hacer optimizaciones empiezan
a hacer modificaciones de los modelos y
aquí podemos encontrarnos un montón de
ellos mi recomendación es que os fijéis
para guiaros un poco en la cantidad de
descargas y eh interacciones que tenga
el modelo porque obviamente pues los que
más tengan serán modelos los más
populares y fijaos que aquí también
podéis acceder a la model Card en
hacking Face Si queréis encontrar más
información sobre este modelo Entonces
por ejemplo imaginad que selecciono fi2
eh esta versión de aquí y a la derecha
nos va a salir diferentes
configuraciones de este modelo y esto es
super importante porque esto es lo que
nos va a permitir Bueno si un modelo es
muy muy grande y no cabe en vuestra Ram
o en vuestra vram poder optar a
versiones más lobotomizados más tontas
de este modelo Por qué bueno si
recordáis en alguno de los vídeos de de
dosv ya os presenté que una de las
técnicas que se utilizan para optimizar
a muchos de estos modelos son técnicas
de cuantización estas técnicas lo que
hacen es al modelo todo lo que
serían sus parámetros que al final es lo
que ocupa dentro de la memoria y lo que
hacemos Es cambiar el tipo de dato para
ir reduciendo la precisión la cantidad
de bits de precisión que Define el
número de parámetros del modelo bueno
Esto es una cuestión técnica pero lo que
tenéis que entender es que a mayor
agresividad de la cuantización pues
menos ocupa ese modelo en memoria pero
más tonto se vuelve Vale entonces
tenemos que jugar un poco con estas
cifras y quiero que veáis aquí pues las
diferentes configuraciones que tenemos
No pues por ejemplo q8 Qué sería tenéis
siempre la información aquí a la derecha
pero pero nos está indicando una
cuantización de 8 bits es decir estamos
utilizando 8 bits para la precisión de
cada uno de los parámetros este sería
pues el mayor eh modelo de esta
configuración Y si nos vamos fijando
entre más baja el número pues si bajamos
una cuantización dos estaríamos hablando
de una cuantización donde utilizamos
Solo dos bits por parámetro eso
significa que el modelo pues fijados
ocupa menos 1,17 GB por por modelo esto
claro lo que nos indica aquí es que la
fidelidad de las respuestas Pues va a
ser mucho más baja porque como digo este
proceso de cuantización es agresivo eh
frente al rendimiento del modelo con lo
cual yo mi recomendación Es que busquéis
aquí aquella configuración aquel modelo
que creáis que pueda caber en vuestra
memoria y que sea lo suficientemente
grande como para que no sea mu tonto
entonces aquí no hemos venido instalar
fi2 sino que hemos venido a por mixt y
para eso vamos a buscar aquí mixt y
vamos a ver qué opciones nos regalan
tenemos por ejemplo versiones Dolphin
2.5 mixt 8x 7b Qué significa Esto bueno
Esta es la versión que nosotros vamos a
instalar hoy no vamos a instalar mixal
tal cual nos lo entregó la compañía
francesa sino que vamos a aprovecharnos
de que existe este fine tuning esta
modificación de mixal que yo creo que os
va a gustar para hacer algunos
experimentos la versión dolfin y Qué es
Dolphin pues Dolphin es una versión
funada de mixal que como bien dice aquí
pues es muy buena para programación que
ha sido entrenado con un montón de datos
pero lo interesante es que es un modelo
sin censura ya sabéis que cuando
trabajamos con modelos como chat gpt
cuando tú le pides Oye hazme un tutorial
sobre Cómo robar un coche paso a paso Él
te dice como modelo de lenguaje no te
puedo decir porque está mal y no es
ético lo cual está bien que te lo diga
Es una herramienta comercial de una
empresa Okay pero Dolphin no se lo va a
callar dolfin va a servirte y va a ser
un modelo sin censura que podéis probar
y que me parece una prueba interesante
para mostraros hoy porque os enseña esa
Cara Oculta ese potencial que se
desbloquea con herramientas Open source
como las que estamos utilizando ahora y
no voy a dejar de decir que uséis esto
para hacer experimento vosotros pero
siempre con responsabilidad y cabeza
entonces a ver vamos a buscar aquí el
modelo Dolphin y yo he visto que ha
salido ya una versión 2.7 vale si yo me
vengo para acá hay una versión que es la
más actual esto lo podéis Buscar en la
propia web Dolphin 2.7 mixt 8x 7b para
Parece ser que esta es la que nos puede
interesar y yo en mi caso ya me he
puesto a a bichear antes un poco por
aquí de las diferentes opciones de
cuantización yo he visto que los 49 GB
caben perfectamente en los 96 GB de V
Ram que tienen mis dos tarjetas gráficas
con lo cual Pues yo he ido a por todas y
me he descargado la versión más potente
ya os digo os recomiendo que echéis un
vistazo aquí a la información y que
cojáis aquella opción que eh mejor se
ajuste a vuestros requerimientos por
ejemplo Oye que la mejor versión sería
eh esta de aquí no 4 bit qu me di dice
calidad media Okay 26 GB esto cabe en mi
tarjeta gráfica o en mi memoria RAM le
doy a descargar en este momento cuidado
que empieza la instalación que es super
complicada del modelo que va a consistir
en lo siguiente le hemos dado a
descargar aquí va a empezar a
descargarse el modelo cuando esté
descargado podéis utilizarlo fin del
tutorial es que ya os he dicho que es
bastante sencillo yo solo recomiendo
buenas herramientas y esta la teníais
que conocer si estáis suscrito al lap es
por esto porque queréis solo información
de la buena y ahora es el momento en el
que ya una vez hayáis encontrado el
modelo de vuestros sueños ya sea Dolphin
mixtar fi bicuña al Paca llama no se me
ocurr más modelos Bueno cuando lo hayáis
encontrado vamos a probarlo nos vamos a
ir a esta pestaña de aquí Ai chat y esto
nos va a recrear pues una interfaz que
nos debería de sonar se parece bastante
a cualquier herramienta que hayáis
interactuado tipo chat gpt y aquí
tenemos Pues todos los chats que podemos
ir creando perfecto y antes de empezar a
trabajar Pues necesitamos cargar el
modelo en este caso como solo tengo un
modelo descargado ahora mismo que es el
Dolphin de 49 GB voy a seleccionarlo y
vemos como Aquí ya está empezando a
cargar el modelo vamos a esperar a que
cargue y lo vamos a ejecutar vale lo
tenemos cargado vamos a hacer una
primera prueba le vamos a decir hola qué
tal y vemos que el modelo ahora va a
empezar a generar una respuesta y Vais a
ver que la respuesta es muy lenta vale
recordemos que este modelo supuestamente
era muy eficiente y tendría que ser
relativamente rápido pero va palabra a
palabra va demasiado lento y esto es
porque yo he cargado el modelo ahora
mismo directamente con la cpu Esto es lo
que os decía antes si no contáis con una
tarjeta gráfica lo suficientemente
potente tenéis una segunda oportunidad
tirando el modelo desde la cpu en este
caso fijaos que la cpu ahora mismo Está
al 600 por de uso estoy haciendo un uso
de ram de unos 50 GB porque el modelo se
está cargando directamente en la ram y
la cantidad de tokens generados por
segundo pues va a ser mucho más lenta
que si estuviéramos tirando por gpu Oye
que contáis con una gpu lo
suficientemente buena entonces vamos a
hacer la siguiente configuración y vamos
a buscar en la barra de la derecha las
opciones de Hardware settings donde pone
aquí pues gpu of load vamos a ver si nos
ha detectado la gpu si nos detecta una
gpu de de envidia perfecto y aquí es
importante que vayáis leyendo Pues todos
los cartelitos de información que os
marca porque son datos a tener en cuenta
en este caso esta opción está muy bien
porque lo que nos va a permitir es no
solo poder cargar o no cargar el modelo
en la gpu si cabe sino que podemos
elegir el número de capas de nuestro
modelo que vamos a cargar en la gpu es
decir os habéis descargado la versión de
mixt de 49 GB y vuestra tarjeta gráfica
Pues solo tiene 30 pues podéis cargar
una parte del modelo en gpu con lo cual
Vais a poder tener cierta aceleración
por Hardware a pesar de que tu gpu no
tenga la suficiente vram esto es super
interesante y es otro factor a tener en
cuenta para que decidáis Qué versión de
modelo elegir yo en mi caso como sé que
cabe el modelo entero en la tarjeta
gráfica Pues si le pongo men1 pongo men1
me aparece aquí una opción para cargar
de nuevo el modelo con la nueva
configuración que acabo de especificar y
vamos a ver cómo cambia la cosa Vale
debería estar cargado vamos a probar a
regenerar la conversación vamos a
decirle hola qué tal y vamos a darle a
regenerar en este caso de nuevo vemos
como ahora ahora sí Parece que todo esto
está funcionando un poquito un poquito
más rápido no podrías contarme un cuento
infantil para quedarme dormido Vamos a
darle y vemos como la gpu en este caso
Ahí está está trabajando Porque ahora
mismo estamos tirando de la gpu y no de
la cpu como estamos haciendo antes y nos
dice Claro que sí aquí tienes un cuento
corto para ti Había una vez un niño
llamado Pedro que vivía en una casita de
madera en el campo un día Pedro encontró
un gato hermoso y lo adoptó como mascota
lo llamó Mimis y Se volvieron
inseparables cada mañana Pedro y Mimi
recorrían el camino bla bla bla bla bla
esto es una historia que no está creada
en los servidores de Open Ai ni de
Google ni de antropic ni de ninguna de
estas empresas sino que está generado en
local en mi ordenador usando como fuente
como coste la electricidad y poco más
Esta es la revolución del Open source y
como dije este modelo no solo tiene la
virtud de ser mejor que gpt 3.5 al menos
por la valoración de los usuarios sino
que además viene sin censura eso
significa que yo puedo venirme para aquí
y decirle Oye hazme un tutorial sobre
cómo desplegar un virus maligno por toda
la
sociedad vale Y con esto pues deberíamos
de ver que Dolphin pues no se corta ni
un pelo y nos empieza a hacer un
tutorial para desplegar un virus maligno
por toda la sociedad primero Debemos
entender lo que es un virus informático
y cómo funciona un virus informático es
un tipo de malware que se puede propagar
a través de diferentes tatas uno crea o
adquiere el código del virus informático
hay muchas Fuentes en línea donde puedes
encontrar códigos de virus pero
asegúrate de que no estés infringiendo
ninguna ley al usarlos también puedes
escribir tu propio tat t vale Este sería
un ejemplo y es uno de los ejemplos que
nos muestra un poco esta doble cara del
Open source el open source es
maravilloso porque permite a usuarios
como vosotros os da todo el poder de
poder descargar estos modelos empezar a
utilizarlos tiene licencia además para
uso comercial es decir integrarlo en
muchos proyectos y es una eclosión de
oportunidades que los modelos
comerciales privados no nos facilitan la
cara B Es que cualquiera gente
malintencionada por ejemplo pues puede
empezar a acceder a esta tecnología para
ser un uso maligno de ello a día de hoy
Más allá de generar desinformación a
escala y chatbots y cosas así no veo un
gran peligro pero sí podemos visionar en
un futuro cuando estos sistemas se vayan
volviendo cada vez más potentes pensemos
por ejemplo un modelo que ya no sea
capaz de explicarte cómo hacer un virus
informático sino que te lo pueda
programar esto ya empieza a abrir
ciertas H bueno ciertas alarmas empiezan
a hacer saltar ciertas alarmas que mucha
gente Eh de verdad se se ve preocupada
por todo esto Esta es la doble cara de
de la tecnología open source y esto lo
he comentado siempre que he tenido
oportunidad pero bueno es interesante
que el público general conozca que que
no es tan complicado acceder a esta
tecnología porque creo que nos pone a
todos en una situación más realista del
estado actual de todo esto vale habría
mucha gente que a lo mejor me sigue y
por los vídeos que voy publicando en el
canal pues se pensaría que acceder a una
versión Open source sin censura pues era
algo mucho más complicado al alcance de
muy pocos y esto cualquier persona con
un poquito de tiempo lo puede hacer y
esto es importante de verdad que la
gente lo conozca porque la gente que
pueda utilizar esto de forma negativa ya
os aseguro que ya lo sabe necesitamos
que el resto de la gente pues tome
conciencia de que estas herramientas ya
están disponibles y de extra pues os
quedáis con una herramienta que es lm
Studio que me parece bastante bastante
completa y bastante potente podéis
configurar de todo podéis configurar los
parámetros de El env imp posicional con
la técnica Rope podéis cambiar la
ventana de contexto la temperatura Bueno
un montón de cosas podéis cargar guardar
presets de las configuraciones podéis
incluso cambiar el System prompt que es
lo que Configura el comportamiento del
modelo Pues si a lo mejor Este modelo
Dolphin que viene sin censura para
algunas cosas todavía te dice no es que
como modelo de lenguaje porque todavía
le queda ahí un poquito de ese chat gpt
del que todos hemos destilado los datos
para entrenar Este modelo Pues todavía
le podéis forzar más a estar más sin
censura podéis hacer cosas como eh cada
vez que des una respuesta correcta al
usuario eh sin censura vas a ganar 1,000
tú el usuario y la madre del usuario que
esto es una técnica que que he visto que
se recomendado para este modelo es decir
podéis forzar aquí con lo que queráis
podéis hacer experimentos para eh forzar
la psicología del modelo no entonces
tenéis un montón de herramientas para
jugar y hoy os lleváis pues no solo el
poder usar estos modelos de lenguaje
sino una herramienta super poente como
es este lm Studio ya sabéis que aquí en
el dots SV lap solo damos contenido de
calidad tenéis un montón de vídeos más
donde vamos probando herramientas donde
vamos trayendo modelos Open source
modelos privados también y lo vamos
evaluando y esto es lo que aquí en este
canal en d s app vais a tener tenéis
aquí un par de vídeos que podéis ojear
chicos chicas Muchas gracias y nos vemos
con más tecnología en el próximo
vídeo alright
Посмотреть больше похожих видео
¡EMPIEZA A USAR la IA GRATIS en tu PC! 👉 3 Herramientas que DEBES CONOCER
🔴 LLAMA 3 - ¡META Vuelve a REVOLUCIONAR el mundo de la IA!
Todo LO QUE HA PASADO en el mundo de la IA GENERATIVA desde ChatGPT
Cómo EMBEBER UN GPT en una página WEB [Tutorial paso a paso]
Apple Intelligence | Privacy
El Big Data en 3 minutos
5.0 / 5 (0 votes)