Me quedé dormido así que al final no pude prender al bot, quizá la próxima semana o mañana en la noche lo prenda.
>>30317
>Hi, how are you? [end_of_turn] I'm good, what about you? [end_of_turn] Not so good, lots of long nights at work. [end_of_turn] Darn, that sucks :( [end_of_conversation]
Oh, ya veo, el GPT-2 tiene tokens especiales para delimitar donde comienza y acaban los diálogos. Con la API de Kobold tienes que poner
>nombre_del_bot:
Al comienzo del prompt para diferenciar los diálogos y si quieres generar diálogos del bot tienes que escribir su nombre seguido de dos puntos en el prompt. Ni idea de si el GPT-2-spanish tendrá esos tokens, traté de generar texto con la guía que colgaste sin éxito; responde como escribiendo una novela en lugar de una conversación, también traté de usar los tokens de la guía que adjuntaste y eso rompió completamente la generación.
Por lo pronto me voy a quedar con los modelos de Pygmalion; el proyecto ha madurado un montón. He estado usando el Aphrodite:
https://colab.research.google.com/github/AlpinDale/misc-scripts/blob/main/Aphrodite.ipynb
Que es un ambiente para desplegar solamente la API (por lo que carga más rápido que el colab de Kobold al no tener UI) y permite configurar parámetros como el uso de GPU, contexto y precisión en la generación de los textos bastante fácil (así puedo correr modelos más pesados en ambientes más limitados). He estado ocupando el Mythalion y el Pygmalion 2-13B con resultados excelentes; como mencioné, el proyecto ha madurado un montón en todo este rato que he estado ausente e inclusive tomando en cuenta el sesgo por la capa de traducción brinda respuestas increíblemente orgánicas.
>Aun así sigue siendo mejor que nada.
Lo sé, pero es frustrante ponerte a indagar y darte cuenta que todas las herramientas viables están hechas en inglés; mientras que en el lado hispanohablante de internet solo hay puros proyectos abandonados y hechos a medias.