PrivateLLM on .NET + Нейросети Песочница

Локальная LLM. Глава 1

Mon, 23 Mar 2026 23:53:44 +0100

Всем привет! 🖖

Краткий обзор

Инструмент: llama.cpp
ОС: Windows

1. [Hugging Face Models](https://huggingface.co/models)
2. App: llama.cpp
3. Model: SmolVLM-500M-Instruct-GGUF
4. Win + R -> winget install llama.cpp
5. CMD -> llama-cli -hf ggml-org/SmolVLM-500M-Instruct-GGUF:Q8_0
/// Удаление
1. winget list llama.cpp
2. winget uninstall --id ggml.llamacpp

Развертывание в деталях

Быстрый способ запустить llama.cpp на Windows

Переходим на Hugging Face Models

App: llama.cpp
Model: SmolVLM-500M-Instruct-GGUF

Нажимаем “Use this model” -> “llama.cpp”

В открывшемся окне появятся инструкции по установке llama.cpp и команда для запуска выбранной модели.

Используем WinGet для установки и запуска:

# Нажимаем Win + R и вводим powershell (или используем Терминал)
# 1. Устанавливаем llama.cpp через менеджер пакетов Windows
winget install llama.cpp
# 2. Скачиваем и запускаем модель прямо из Hugging Face в консоли
llama-cli -hf ggml-org/SmolVLM-500M-Instruct-GGUF:Q8_0