| >> |
№153697
https://2ch.hk/ai/res/393749.html
Гайд для ретардов без излишней ебли под Windows. Грузит всё в процессор, поэтому ёба карта не нужна, запаситесь оперативкой и подкачкой:
1. Скачиваем koboldcpp.exe https://github.com/LostRuins/koboldcpp/releases/ последней версии.
2. Скачиваем модель в ggml формате.
Можно просто вбить в huggingace в поиске "ggml" и скачать любую. Главное, скачай файл с расширением .bin, а не какой-нибудь .pt
3. Запускаем koboldcpp.exe и выбираем скачанную модель.
4. Заходим в браузере на http://localhost:5001/
5. Все, общаемся с ИИ
видимокарты - в huggingace гуглит GPTQ формат моделей
https://github.com/oobabooga/text-generation-webui
есть возможность в интерфейсе прямо качать модель автоматом, вставлять ссылку формата (например) TheBloke/gpt4-alpaca-lora-13B-GPTQ-4bit-128g
может понадобится node.js и обязательно библиотеки с++ вплоть до 22 года
https://github.com/TavernAI/TavernAI (более удобный интерфейс поверх угабуги с заапущеной моделью)
|