Опробовал проект Jan — desktop-интерфейс, позволяющий локально запускать ИИ-модель llama (впрочем, он также умеет подключаться и к облачным: OpenAI, NVidia NIM, Groq и ещё нескольким). Тестировал на модели 3B без GPU, попросил написать простой JavaScript код и контент-план для блога об избавлении от информационного шума.

С первой задачей llama вроде справилась нормально (только в пояснениях иногда почему-то вместо части русского слова появлялись иероглифы — непонятно, то ли это глюк модели, то ли где-то с UTF-8 работа некорректно ведётся), а вот со второй — не очень. Сразу чувствуется, что написанный текст — плохонький машинный перевод с корявыми фразами, а кое-где и вовсе английские слова попадаются, причём даже там, где трудностей с переводом возникнуть вроде бы не должно. Например, «Обсуждение причин информационного шума и как он может образоваться в нашем повседневном life».

В общем, заменить ею ChatGPT для повседневных нужд на данном этапе вряд ли получится. Равно как и поставить на обычный VDS, скажем, для интеллектуальной модерации комментариев (для работы нужно несколько гигабайт оперативки как минимум). Разве что сделать какую-то хитрую систему, когда мой домашний компьютер будет подключаться к VDS, и проверять с помощью ИИ всё, что там стоит в очереди на модерации. #ai #chatgpt #llama

@4X_Pro лично для себя юзаю lm-studio, иероглифы в текст лезут из за некорректной температуры или из за кривости модели обычно