ollama не находит GPU

Ответить
adm1007s
Сообщения: 18
Зарегистрирован: 29 сен 2024, 15:23
Operating system: ROSA Fresh Desktop 2021.1 KDE

ollama не находит GPU

Сообщение adm1007s »

Бьюсь уже несколько дней, не получается запустить модель с использованием GPU Nvidia, не находит видеокарту просто.
Поиски в интернет подводят к тому, что сборка ollama сделана с жёсткой привязкой значения параметра OLLAMA_LIBRARY_PATH=[/usr/bin], когда нужно вроде OLLAMA_LIBRARY_PATH=/usr/lib64/ollama.
По тем же рекомендациям выставлял параметры сервису и при непосредственном старте в окружение загонял пути, не помогает.
[Service]
Environment="OLLAMA_LIBRARY_PATH=/usr/lib64/ollama"
Environment="LD_LIBRARY_PATH=/usr/lib64/ollama:/usr/lib64:/usr/lib64/nvidia580/"
Environment="OLLAMA_DEBUG=1"
В принципе до запуска модели я добарлся через LM Studio, но хочется из дистриба пакет заставить работать.
Может кто победил уже?

Весь лог запуска прилагаю.
авг 09 00:05:41 rosa systemd[1]: Started Ollama Service.
авг 09 00:05:41 rosa ollama[9716]: time=2026-08-09T00:05:41.093+03:00 level=INFO source=routes.go:1631 msg="server config" env="map[CUDA_VISIBLE_DEVICES: GGML_VK_VISIBLE_DEVICES: GPU_DEVICE_ORDINAL: HIP_VISIBLE_DEVICES: HSA_OVERRIDE_GFX_VERSION: HTTPS_PROXY: HTTP_PROXY: NO_PROXY: OLLAMA_CONTEXT_LENGTH:4096 OLLAMA_DEBUG:DEBUG OLLAMA_FLASH_ATTENTION:false OLLAMA_GPU_OVERHEAD:0 OLLAMA_HOST:http://127.0.0.1:11434 OLLAMA_KEEP_ALIVE:5m0s OLLAMA_KV_CACHE_TYPE: OLLAMA_LLM_LIBRARY: OLLAMA_LOAD_TIMEOUT:5m0s OLLAMA_MAX_LOADED_MODELS:0 OLLAMA_MAX_QUEUE:512 OLLAMA_MODELS:/var/lib/ollama/.ollama/models OLLAMA_MULTIUSER_CACHE:false OLLAMA_NEW_ENGINE:false OLLAMA_NOHISTORY:false OLLAMA_NOPRUNE:false OLLAMA_NUM_PARALLEL:1 OLLAMA_ORIGINS:[http://localhost https://localhost http://localhost:* https://localhost:* http://127.0.0.1 https://127.0.0.1 http://127.0.0.1:* https://127.0.0.1:* http://0.0.0.0 https://0.0.0.0 http://0.0.0.0:* https://0.0.0.0:* app://* file://* tauri://* vscode-webview://* vscode-file://*] OLLAMA_REMOTES:[ollama.com] OLLAMA_SCHED_SPREAD:false OLLAMA_VULKAN:false ROCR_VISIBLE_DEVICES: http_proxy: https_proxy: no_proxy:]"
авг 09 00:05:41 rosa ollama[9716]: time=2026-08-09T00:05:41.093+03:00 level=INFO source=images.go:473 msg="total blobs: 7"
авг 09 00:05:41 rosa ollama[9716]: time=2026-08-09T00:05:41.093+03:00 level=INFO source=images.go:480 msg="total unused blobs removed: 0"
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] [WARNING] Creating an Engine instance with the Logger and Recovery middleware already attached.
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] [WARNING] Running in "debug" mode. Switch to "release" mode in production.
авг 09 00:05:41 rosa ollama[9716]: - using env: export GIN_MODE=release
авг 09 00:05:41 rosa ollama[9716]: - using code: gin.SetMode(gin.ReleaseMode)
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] HEAD / --> github.com/ollama/ollama/server.(*Server).GenerateRoutes.func1 (5 handlers)
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] GET / --> github.com/ollama/ollama/server.(*Server).GenerateRoutes.func2 (5 handlers)
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] HEAD /api/version --> github.com/ollama/ollama/server.(*Server).GenerateRoutes.func3 (5 handlers)
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] GET /api/version --> github.com/ollama/ollama/server.(*Server).GenerateRoutes.func4 (5 handlers)
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] POST /api/pull --> github.com/ollama/ollama/server.(*Server).PullHandler-fm (5 handlers)
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] POST /api/push --> github.com/ollama/ollama/server.(*Server).PushHandler-fm (5 handlers)
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] HEAD /api/tags --> github.com/ollama/ollama/server.(*Server).ListHandler-fm (5 handlers)
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] GET /api/tags --> github.com/ollama/ollama/server.(*Server).ListHandler-fm (5 handlers)
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] POST /api/show --> github.com/ollama/ollama/server.(*Server).ShowHandler-fm (5 handlers)
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] DELETE /api/delete --> github.com/ollama/ollama/server.(*Server).DeleteHandler-fm (5 handlers)
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] POST /api/me --> github.com/ollama/ollama/server.(*Server).WhoamiHandler-fm (5 handlers)
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] POST /api/signout --> github.com/ollama/ollama/server.(*Server).SignoutHandler-fm (5 handlers)
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] DELETE /api/user/keys/:encodedKey --> github.com/ollama/ollama/server.(*Server).SignoutHandler-fm (5 handlers)
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] POST /api/create --> github.com/ollama/ollama/server.(*Server).CreateHandler-fm (5 handlers)
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] POST /api/blobs/:digest --> github.com/ollama/ollama/server.(*Server).CreateBlobHandler-fm (5 handlers)
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] HEAD /api/blobs/:digest --> github.com/ollama/ollama/server.(*Server).HeadBlobHandler-fm (5 handlers)
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] POST /api/copy --> github.com/ollama/ollama/server.(*Server).CopyHandler-fm (5 handlers)
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] GET /api/ps --> github.com/ollama/ollama/server.(*Server).PsHandler-fm (5 handlers)
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] POST /api/generate --> github.com/ollama/ollama/server.(*Server).GenerateHandler-fm (5 handlers)
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] POST /api/chat --> github.com/ollama/ollama/server.(*Server).ChatHandler-fm (5 handlers)
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] POST /api/embed --> github.com/ollama/ollama/server.(*Server).EmbedHandler-fm (5 handlers)
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] POST /api/embeddings --> github.com/ollama/ollama/server.(*Server).EmbeddingsHandler-fm (5 handlers)
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] POST /v1/chat/completions --> github.com/ollama/ollama/server.(*Server).ChatHandler-fm (6 handlers)
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] POST /v1/completions --> github.com/ollama/ollama/server.(*Server).GenerateHandler-fm (6 handlers)
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] POST /v1/embeddings --> github.com/ollama/ollama/server.(*Server).EmbedHandler-fm (6 handlers)
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] GET /v1/models --> github.com/ollama/ollama/server.(*Server).ListHandler-fm (6 handlers)
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] GET /v1/models/:model --> github.com/ollama/ollama/server.(*Server).ShowHandler-fm (6 handlers)
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] POST /v1/responses --> github.com/ollama/ollama/server.(*Server).ChatHandler-fm (6 handlers)
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] POST /v1/images/generations --> github.com/ollama/ollama/server.(*Server).GenerateHandler-fm (6 handlers)
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] POST /v1/images/edits --> github.com/ollama/ollama/server.(*Server).GenerateHandler-fm (6 handlers)
авг 09 00:05:41 rosa ollama[9716]: [GIN-debug] POST /v1/messages --> github.com/ollama/ollama/server.(*Server).ChatHandler-fm (6 handlers)
авг 09 00:05:41 rosa ollama[9716]: time=2026-08-09T00:05:41.093+03:00 level=INFO source=routes.go:1684 msg="Listening on 127.0.0.1:11434 (version 0.0.0)"
авг 09 00:05:41 rosa ollama[9716]: time=2026-08-09T00:05:41.093+03:00 level=DEBUG source=sched.go:121 msg="starting llm scheduler"
авг 09 00:05:41 rosa ollama[9716]: time=2026-08-09T00:05:41.097+03:00 level=INFO source=runner.go:67 msg="discovering available GPUs..."
авг 09 00:05:41 rosa ollama[9716]: time=2026-08-09T00:05:41.097+03:00 level=INFO source=server.go:429 msg="starting runner" cmd="/usr/bin/ollama runner --ollama-engine --port 35281"
авг 09 00:05:41 rosa ollama[9716]: time=2026-08-09T00:05:41.097+03:00 level=DEBUG source=server.go:430 msg=subprocess PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin OLLAMA_CUDA_VERSION=12.9 OLLAMA_LIBRARY_PATH=/usr/bin LD_LIBRARY_PATH=/usr/bin:/usr/lib64/ollama:/usr/lib64:/usr/lib64/nvidia580/ OLLAMA_DEBUG=1
авг 09 00:05:41 rosa ollama[9716]: time=2026-08-09T00:05:41.123+03:00 level=DEBUG source=runner.go:437 msg="bootstrap discovery took" duration=26.373459ms OLLAMA_LIBRARY_PATH=[/usr/bin] extra_envs=map[]
авг 09 00:05:41 rosa ollama[9716]: time=2026-08-09T00:05:41.123+03:00 level=DEBUG source=runner.go:124 msg="evaluating which, if any, devices to filter out" initial_count=0
авг 09 00:05:41 rosa ollama[9716]: time=2026-08-09T00:05:41.123+03:00 level=DEBUG source=runner.go:40 msg="GPU bootstrap discovery took" duration=30.02131ms
авг 09 00:05:41 rosa ollama[9716]: time=2026-08-09T00:05:41.123+03:00 level=INFO source=types.go:60 msg="inference compute" id=cpu library=cpu compute="" name=cpu description=cpu libdirs=ollama driver="" pci_id="" type="" total="62.4 GiB" available="57.8 GiB"
авг 09 00:05:41 rosa ollama[9716]: time=2026-08-09T00:05:41.123+03:00 level=INFO source=routes.go:1725 msg="entering low vram mode" "total vram"="0 B" threshold="20.0 GiB"
авг 09 00:05:48 rosa systemd[1]: Stopping Ollama Service...
авг 09 00:05:48 rosa systemd[1]: ollama.service: Deactivated successfully.
авг 09 00:05:48 rosa systemd[1]: Stopped Ollama Service.
Вернуться к началу
irton
Сообщения: 1304
Зарегистрирован: 30 окт 2021, 04:17
Operating system: Rosa Fresh Xfce

Re: ollama не находит GPU

Сообщение irton »

из репов ollama ставили? или с качали откуда-то?
Вернуться к началу
tihij
Сообщения: 71
Зарегистрирован: 14 ноя 2021, 00:28
Operating system: ROSA Linux 2021.1

Re: ollama не находит GPU

Сообщение tihij »

Попробуйте такой запуск в systemd, но это для дистрибутива с github и AMD видеокарты.
Начните с добавления Environment="OLLAMA_VULKAN=1".

Код: Выделить всё

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
Environment="OLLAMA_VULKAN=1"
Environment="HIP_VISIBLE_DEVICES=0"
Environment="ROCR_VISIBLE_DEVICES=0"
Environment="CUDA_VISIBLE_DEVICES=0"
Environment="GGML_VK_VISIBLE_DEVICES=0"
#Environment="OLLAMA_NO_CLOUD=1"
ExecStart=ПУТЬ_ДО_OLLAMA/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=multi-user.target
Вернуться к началу
turik02
Сообщения: 779
Зарегистрирован: 01 июн 2022, 13:47
Operating system: РОСА «ФРЕШ» 13.2 GNOME 64-bit

Re: ollama не находит GPU

Сообщение turik02 »

Как быстро проверить, заработает ли GPU
Запусти Ollama вручную в терминале с теми же переменными, что планируешь в systemd:

Код: Выделить всё

export LD_LIBRARY_PATH=/usr/lib64:/usr/lib64/nvidia580
export OLLAMA_DEBUG=1
ollama serve
В логах должно быть что‑то вроде:
inference compute с типом cuda
total vram в гигабайтах
ID устройства и PCI‑адрес карты
Если в ручном режиме GPU виден, а в systemd — нет, значит проблема именно в передаче переменных или перезаписи OLLAMA_LIBRARY_PATH
(Лучше не трогать OLLAMA_LIBRARY_PATH, если библиотеки лежат в стандартных путях.).

Проверь переменные внутри процесса
Иногда systemd передаёт переменные правильно, но Ollama их переопределяет. Чтобы точно увидеть, какие переменные видит процесс:

Код: Выделить всё

sudo cat /proc/$(pgrep -f "ollama serve" | head -n1)/environ | tr '\0' '\n' | grep -E "CUDA|OLLAMA|LD_LIBRARY"
Это покажет, что реально видит процесс.

Если ничего не помогает
Скачай официальный бинарник Ollama:

Код: Выделить всё

curl -fsSL https://ollama.com/install.sh | sh
Поставится в /usr/local/bin.
Создай простой systemd‑юнит без лишних переменных, только ExecStart=/usr/local/bin/ollama serve.
Убедись, что libcuda.so находится в путях, известных системе.
(По крайней мере на AMD сразу сработало).
Вернуться к началу
adm1007s
Сообщения: 18
Зарегистрирован: 29 сен 2024, 15:23
Operating system: ROSA Fresh Desktop 2021.1 KDE

Re: ollama не находит GPU

Сообщение adm1007s »

irton писал(а): 09 авг 2026, 05:25 из репов ollama ставили? или с качали откуда-то?
из репов ставил, потому и написал сюда чтоб починить именно версию из репозиториев в итоге, не хочу локально потом поддерживать
Вернуться к началу
adm1007s
Сообщения: 18
Зарегистрирован: 29 сен 2024, 15:23
Operating system: ROSA Fresh Desktop 2021.1 KDE

Re: ollama не находит GPU

Сообщение adm1007s »

tihij писал(а): 09 авг 2026, 11:14 Попробуйте такой запуск в systemd, но это для дистрибутива с github и AMD видеокарты.
Начните с добавления Environment="OLLAMA_VULKAN=1".

Код: Выделить всё

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
Environment="OLLAMA_VULKAN=1"
Environment="HIP_VISIBLE_DEVICES=0"
Environment="ROCR_VISIBLE_DEVICES=0"
Environment="CUDA_VISIBLE_DEVICES=0"
Environment="GGML_VK_VISIBLE_DEVICES=0"
#Environment="OLLAMA_NO_CLOUD=1"
ExecStart=ПУТЬ_ДО_OLLAMA/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=multi-user.target
Пробовал параметр с вулканом, ИИшка посоветовала, к сожалению поведение не поменялось.
Но речь опять же про версию из репозиториев Росы
Вернуться к началу
adm1007s
Сообщения: 18
Зарегистрирован: 29 сен 2024, 15:23
Operating system: ROSA Fresh Desktop 2021.1 KDE

Re: ollama не находит GPU

Сообщение adm1007s »

turik02 писал(а): 09 авг 2026, 13:19 Проверь переменные внутри процесса
Иногда systemd передаёт переменные правильно, но Ollama их переопределяет. Чтобы точно увидеть, какие переменные видит процесс:

Код: Выделить всё

sudo cat /proc/$(pgrep -f "ollama serve" | head -n1)/environ | tr '\0' '\n' | grep -E "CUDA|OLLAMA|LD_LIBRARY"
Это покажет, что реально видит процесс.
Процесс видит то что надо, но в логах всё равно ерунда.
Вывод переменных из окружения процесса:

Код: Выделить всё

danila@rosa ~ $ sudo cat /proc/$(pgrep -f "ollama serve" | head -n1)/environ | tr '\0' '\n' | grep -E "CUDA|OLLAMA|LD_LIBRARY"
OLLAMA_LIBRARY_PATH=/usr/lib64/ollama
CUDA_PATH=/opt/cuda
OLLAMA_DEBUG=1
LD_LIBRARY_PATH=/usr/lib64:/usr/lib64/nvidia580:
А в логах ручного запуска собственно OLLAMA_LIBRARY_PATH=[/usr/bin]
ollama serve
time=2026-08-09T20:04:46.897+03:00 level=INFO source=routes.go:1631 msg="server config" env="map[CUDA_VISIBLE_DEVICES: GGML_VK_VISIBLE_DEVICES: GPU_DEVICE_ORDINAL: HIP_VISIBLE_DEVICES: HSA_OVERRIDE_GFX_VERSION: HTTPS_PROXY: HTTP_PROXY: NO_PROXY: OLLAMA_CONTEXT_LENGTH:4096 OLLAMA_DEBUG:DEBUG OLLAMA_FLASH_ATTENTION:false OLLAMA_GPU_OVERHEAD:0 OLLAMA_HOST:http://127.0.0.1:11434 OLLAMA_KEEP_ALIVE:5m0s OLLAMA_KV_CACHE_TYPE: OLLAMA_LLM_LIBRARY: OLLAMA_LOAD_TIMEOUT:5m0s OLLAMA_MAX_LOADED_MODELS:0 OLLAMA_MAX_QUEUE:512 OLLAMA_MODELS:/home/danila/.ollama/models OLLAMA_MULTIUSER_CACHE:false OLLAMA_NEW_ENGINE:false OLLAMA_NOHISTORY:false OLLAMA_NOPRUNE:false OLLAMA_NUM_PARALLEL:1 OLLAMA_ORIGINS:[http://localhost https://localhost http://localhost:* https://localhost:* http://127.0.0.1 https://127.0.0.1 http://127.0.0.1:* https://127.0.0.1:* http://0.0.0.0 https://0.0.0.0 http://0.0.0.0:* https://0.0.0.0:* app://* file://* tauri://* vscode-webview://* vscode-file://*] OLLAMA_REMOTES:[ollama.com] OLLAMA_SCHED_SPREAD:false OLLAMA_VULKAN:false ROCR_VISIBLE_DEVICES: http_proxy: https_proxy: no_proxy:]"
time=2026-08-09T20:04:46.897+03:00 level=INFO source=images.go:473 msg="total blobs: 1"
time=2026-08-09T20:04:46.897+03:00 level=INFO source=images.go:480 msg="total unused blobs removed: 0"
[GIN-debug] [WARNING] Creating an Engine instance with the Logger and Recovery middleware already attached.

[GIN-debug] [WARNING] Running in "debug" mode. Switch to "release" mode in production.
- using env: export GIN_MODE=release
- using code: gin.SetMode(gin.ReleaseMode)

[GIN-debug] HEAD / --> github.com/ollama/ollama/server.(*Server).GenerateRoutes.func1 (5 handlers)
[GIN-debug] GET / --> github.com/ollama/ollama/server.(*Server).GenerateRoutes.func2 (5 handlers)
[GIN-debug] HEAD /api/version --> github.com/ollama/ollama/server.(*Server).GenerateRoutes.func3 (5 handlers)
[GIN-debug] GET /api/version --> github.com/ollama/ollama/server.(*Server).GenerateRoutes.func4 (5 handlers)
[GIN-debug] POST /api/pull --> github.com/ollama/ollama/server.(*Server).PullHandler-fm (5 handlers)
[GIN-debug] POST /api/push --> github.com/ollama/ollama/server.(*Server).PushHandler-fm (5 handlers)
[GIN-debug] HEAD /api/tags --> github.com/ollama/ollama/server.(*Server).ListHandler-fm (5 handlers)
[GIN-debug] GET /api/tags --> github.com/ollama/ollama/server.(*Server).ListHandler-fm (5 handlers)
[GIN-debug] POST /api/show --> github.com/ollama/ollama/server.(*Server).ShowHandler-fm (5 handlers)
[GIN-debug] DELETE /api/delete --> github.com/ollama/ollama/server.(*Server).DeleteHandler-fm (5 handlers)
[GIN-debug] POST /api/me --> github.com/ollama/ollama/server.(*Server).WhoamiHandler-fm (5 handlers)
[GIN-debug] POST /api/signout --> github.com/ollama/ollama/server.(*Server).SignoutHandler-fm (5 handlers)
[GIN-debug] DELETE /api/user/keys/:encodedKey --> github.com/ollama/ollama/server.(*Server).SignoutHandler-fm (5 handlers)
[GIN-debug] POST /api/create --> github.com/ollama/ollama/server.(*Server).CreateHandler-fm (5 handlers)
[GIN-debug] POST /api/blobs/:digest --> github.com/ollama/ollama/server.(*Server).CreateBlobHandler-fm (5 handlers)
[GIN-debug] HEAD /api/blobs/:digest --> github.com/ollama/ollama/server.(*Server).HeadBlobHandler-fm (5 handlers)
[GIN-debug] POST /api/copy --> github.com/ollama/ollama/server.(*Server).CopyHandler-fm (5 handlers)
[GIN-debug] GET /api/ps --> github.com/ollama/ollama/server.(*Server).PsHandler-fm (5 handlers)
[GIN-debug] POST /api/generate --> github.com/ollama/ollama/server.(*Server).GenerateHandler-fm (5 handlers)
[GIN-debug] POST /api/chat --> github.com/ollama/ollama/server.(*Server).ChatHandler-fm (5 handlers)
[GIN-debug] POST /api/embed --> github.com/ollama/ollama/server.(*Server).EmbedHandler-fm (5 handlers)
[GIN-debug] POST /api/embeddings --> github.com/ollama/ollama/server.(*Server).EmbeddingsHandler-fm (5 handlers)
[GIN-debug] POST /v1/chat/completions --> github.com/ollama/ollama/server.(*Server).ChatHandler-fm (6 handlers)
[GIN-debug] POST /v1/completions --> github.com/ollama/ollama/server.(*Server).GenerateHandler-fm (6 handlers)
[GIN-debug] POST /v1/embeddings --> github.com/ollama/ollama/server.(*Server).EmbedHandler-fm (6 handlers)
[GIN-debug] GET /v1/models --> github.com/ollama/ollama/server.(*Server).ListHandler-fm (6 handlers)
[GIN-debug] GET /v1/models/:model --> github.com/ollama/ollama/server.(*Server).ShowHandler-fm (6 handlers)
[GIN-debug] POST /v1/responses --> github.com/ollama/ollama/server.(*Server).ChatHandler-fm (6 handlers)
[GIN-debug] POST /v1/images/generations --> github.com/ollama/ollama/server.(*Server).GenerateHandler-fm (6 handlers)
[GIN-debug] POST /v1/images/edits --> github.com/ollama/ollama/server.(*Server).GenerateHandler-fm (6 handlers)
[GIN-debug] POST /v1/messages --> github.com/ollama/ollama/server.(*Server).ChatHandler-fm (6 handlers)
time=2026-08-09T20:04:46.898+03:00 level=INFO source=routes.go:1684 msg="Listening on 127.0.0.1:11434 (version 0.0.0)"
time=2026-08-09T20:04:46.898+03:00 level=DEBUG source=sched.go:121 msg="starting llm scheduler"
time=2026-08-09T20:04:46.901+03:00 level=INFO source=runner.go:67 msg="discovering available GPUs..."
time=2026-08-09T20:04:46.902+03:00 level=INFO source=server.go:429 msg="starting runner" cmd="/usr/bin/ollama runner --ollama-engine --port 38271"
time=2026-08-09T20:04:46.902+03:00 level=DEBUG source=server.go:430 msg=subprocess OLLAMA_LIBRARY_PATH=/usr/bin CUDA_PATH=/opt/cuda OLLAMA_DEBUG=1 LD_LIBRARY_PATH=/usr/bin:/usr/lib64:/usr/lib64/nvidia580: PATH=/opt/cuda/bin:/usr/local/bin:/usr/bin:/bin:/usr/X11R6/bin:/usr/games:/usr/local/games:/home/danila/.lmstudio/bin:/home/danila/.local/bin:/home/danila/bin:/home/danila/.lmstudio/bin:/home/danila/.lmstudio/bin
time=2026-08-09T20:04:46.930+03:00 level=DEBUG source=runner.go:437 msg="bootstrap discovery took" duration=28.895331ms OLLAMA_LIBRARY_PATH=[/usr/bin] extra_envs=map[]
time=2026-08-09T20:04:46.930+03:00 level=DEBUG source=runner.go:124 msg="evaluating which, if any, devices to filter out" initial_count=0
time=2026-08-09T20:04:46.930+03:00 level=DEBUG source=runner.go:40 msg="GPU bootstrap discovery took" duration=32.725258ms
time=2026-08-09T20:04:46.931+03:00 level=INFO source=types.go:60 msg="inference compute" id=cpu library=cpu compute="" name=cpu description=cpu libdirs=ollama driver="" pci_id="" type="" total="62.4 GiB" available="57.8 GiB"
time=2026-08-09T20:04:46.931+03:00 level=INFO source=routes.go:1725 msg="entering low vram mode" "total vram"="0 B" threshold="20.0 GiB"
Видимо таки придётся ставить локально оламу, мимо реп.
Но тогда и cuda может тоже нужна будет тоже отдельно...
Вернуться к началу
turik02
Сообщения: 779
Зарегистрирован: 01 июн 2022, 13:47
Operating system: РОСА «ФРЕШ» 13.2 GNOME 64-bit

Re: ollama не находит GPU

Сообщение turik02 »

Попробуй удалить строку Environment="OLLAMA_LIBRARY_PATH=/usr/lib64/ollama" и после выполнить:

Код: Выделить всё

sudo systemctl daemon-reload
sudo systemctl restart ollama
Проверь опять переменные внутри процесса и посмотри свежие логи именно после очистки переменных:

Код: Выделить всё

journalctl -u ollama -n 150 --no-pager | grep -i "gpu\|cuda\|vram\|inference"
Ищи строки про inference compute и total vram. Если там по‑прежнему total vram="0 B" и только CPU — значит, карта не подхватывается.
Вернуться к началу
Аватара пользователя
VictorR2007
Сообщения: 8346
Зарегистрирован: 12 сен 2011, 13:00
Operating system: ROSA 2023.1

Re: ollama не находит GPU

Сообщение VictorR2007 »

Вообще, указывать nvidia так

Код: Выделить всё

LD_LIBRARY_PATH=/usr/lib64:/usr/lib64/nvidia580
не верно.
Если nvidia обновится до версии nvidia595 или nvidia610, то потеряется доступ к nvidia.
Нужно использовать стандартный каталог nvidia, чтобы не зависеть от версии nvidia.
Используйте

Код: Выделить всё

/usr/lib64/nvidia
Вернуться к началу
adm1007s
Сообщения: 18
Зарегистрирован: 29 сен 2024, 15:23
Operating system: ROSA Fresh Desktop 2021.1 KDE

Re: ollama не находит GPU

Сообщение adm1007s »

VictorR2007 писал(а): 09 авг 2026, 21:56 Вообще, указывать nvidia так

Код: Выделить всё

LD_LIBRARY_PATH=/usr/lib64:/usr/lib64/nvidia580
не верно.
Если nvidia обновится до версии nvidia595 или nvidia610, то потеряется доступ к nvidia.
Нужно использовать стандартный каталог nvidia, чтобы не зависеть от версии nvidia.
Используйте

Код: Выделить всё

/usr/lib64/nvidia
Спасибо, исправлю.
turik02 писал(а): 09 авг 2026, 21:27 Попробуй удалить строку Environment="OLLAMA_LIBRARY_PATH=/usr/lib64/ollama" и после выполнить:
Изначально этой строки и не было - я её добавил. Там по умолчанимю только /usr/bin болтался и находил только cpu естественно, как и сейчас.
Вернуться к началу
Ответить

Вернуться в «Обсуждение РОСА Фреш 13 (платформа РОСА 13)»