Skip to content

Ollama for rx580显卡部署

ollama-for-amd-rx580显卡linux-docker环境下部署教程

博主配置

cpu: Intel(R) Xeon(R) CPU E3-1246 v3 @ 3.50GHz

显卡：Rx580 魔改16G （AMD Radeon RX 580 2048SP ）

内存：16G

硬盘： Fanxiang S500 256GB

系统：ubuntu-22.04.5-live-server-amd64

准备环境:

  • 第一条项：rx580显卡的linux主机
  • 第二条项：安装docker、docker-compose

1.检查

查看显卡是否被加载，执行

root@ubuntu:/home# lspci | grep -i vga
01:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Polaris 20 XL [Radeon RX 580 2048SP] (rev ef)

2.安装amd-gpu驱动

下载网站：https://www.amd.com/zh-cn/support/download/drivers.html， 根据显卡型号下载deb包并执行 执行安装命令： sudo apt install amdgpu-install_6.4.60404-1_all.deb

3.安装Rocm(5.7.1) 库

在运行之前，请确保您的docker主机已安装Rocm(5.7.1) 库
请参见-https://rocm.docs.amd.com/en/docs-5.7.0/deploy/linux/os-native/install.html 按照提示一步步安装，

注意：rx580使用的rocm必须是5.7.1版本的，其中在添加ROCm存储库并安装的版本是
sudo apt install rocm-hip-sdk5.7.1

验证：输入rocminfo有返回内容，大概内容是输出cpu、gpu的一些端点信息，如下：


root@ubuntu:~# rocminfo
ROCk module is loaded
=====================    
HSA System Attributes    
=====================    
Runtime Version:         1.1
System Timestamp Freq.:  1000.000000MHz
Sig. Max Wait Duration:  18446744073709551615 (0xFFFFFFFFFFFFFFFF) (timestamp count)
Machine Model:           LARGE                              
System Endianness:       LITTLE                             
Mwaitx:                  DISABLED
DMAbuf Support:          YES
...

4.docker部署ollama

docker-compose for ollama服务配置：

version: '3'
services:
  ollama-gpu-rx580:
    image: mnccouk/ollama-gpu-rx580:latest
    container_name: ollama-gpu-rx580
    privileged: true
    restart: unless-stopped
    environment:
      - HIP_PATH=/opt/rocm/lib/
      - LD_LIBRARY_PATH=/opt/rocm/lib
    devices:
      - "/dev/kfd:/dev/kfd"
      - "/dev/dri:/dev/dri"
    volumes:
      - /mnt/data2/ollama:/root/.ollama
    ports:
      - "11434:11434"

注意：ollama服务使用的镜像必须是 https://hub.docker.com/r/mnccouk/ollama-gpu-rx580

docker-compose for open-webui服务配置：

version: '3'
services:
  open-webui:
    image: registry.cn-hangzhou.aliyuncs.com/gpg_dev/open-webui:main
    container_name: open-webui
    ports:
      - "58080:8080"
    volumes:
      - /mnt/data2/open-webui:/app/backend/data
    restart: always

注意：ope-webui版本随意， 提供可视化面包功能是web调用入口 http://ip:58080 ，部署好后需要在 管理员面板>设置>外部连接>Ollama API 中配置ollama服务地址 ，例如：http://hongkong.gpg123.vip:11434

使用模型

下载模型、删除模型、调用模型均在open-webui中使用（使用方法请查阅相关资料）

Alt text

调用日志

参数日志输出

Alt text

其他

安装amd监控工具radeontop，监测gpu使用情况

Alt text