Tutorial: Instalação e Configuração da IA Llama 3.1 8B no Linux Mint
Para aqueles que possuam um sistema composto por uma CPU relativamente moderna, 8GB ou mais de memória RAM e GPU dedicada com 6GB ou mais de VRAM, segue um tutorial detalhado ensinando como baixar, instalar e rodar gratuitamente a bela IA Llama 3.1 8B localmente (direto na sua máquina, mantendo seus dados seguros) no Linux Mint 22.3:
👇🏼👇🏼👇🏼
Tutorial: Instalação e Configuração do Llama 3.1 8B
Passo 1: Preparação do Sistema e Docker
1. Atualize o sistema e instale o Docker:
sudo apt update && sudo apt install docker.io -y
2. Permissão de Usuário: Para gerenciar a IA sem precisar de sudo em cada comando (após o reboot):
sudo usermod -aG docker $USER
Nota: Reinicie o PC após este passo.
Passo 2: Instalação do Ollama (O Motor)
1. Instalação Automática:
curl -fsSL https://ollama.com/install.sh | sh
2. Configuração de Hardware e Rede (Crucial): O sistema precisa liberar o acesso ao container e reconhecer sua placa de vídeo RDNA 3.
sudo systemctl edit ollama.service
3. No editor que abrir, cole este bloco exatamente no topo:
[Service]
Environment="OLLAMA_ORIGIN=*"
Environment="OLLAMA_HOST=0.0.0.0"
Environment="HSA_OVERRIDE_GFX_VERSION=11.0.0"
4. Aplique as mudanças: Salve (Ctrl+O, Enter) e saia (Ctrl+X). Depois rode:
sudo systemctl daemon-reload
sudo systemctl restart ollama
Passo 3: Liberação do Firewall
Como você usa o Linux Mint, o firewall pode bloquear a ponte entre o Docker e o sistema:
sudo ufw allow 11434/tcp
Passo 4: Instalação da Interface Web (Open WebUI)
1. Crie o container (este comando configura a ponte de rede automaticamente):
sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway --name open-webui ghcr.io/open-webui/open-webui:main
Passo 5: Download do Modelo e Uso
1. Baixe o Llama 3.1 (8B):
ollama pull llama3.1
2. Acesso: Abra o navegador em http://localhost:3000.
3. Configuração de Admin: Vá em Configurações do Admin > Conexões e certifique-se de que a URL da API Ollama seja http://host.docker.internal:11434. Clique no ícone de atualizar e em Salvar.
🛠 Gestão Manual (a ser executado antes de utilizar a IA, aguardando cerca de 30s após o primeiro comando abaixo antes de abrir o navegador e digitar o endereço "http://localhost:3000"):
Para não deixar a IA consumindo recursos no boot, use estes comandos sempre que precisar alternar entre "Modo Gamer/Trabalho" e "Modo IA".
1. Para LIGAR a IA:
Use este comando para ativar o motor e a interface:
sudo systemctl start ollama && sudo docker start open-webui
2. Para DESLIGAR a IA:
Use este comando para ejetar o modelo da VRAM da sua RX 7600 e liberar a memória RAM para o sistema:
sudo docker stop open-webui && sudo systemctl stop ollama
Dica Final: Lembre-se que o comando radeontop no terminal é o seu melhor amigo para confirmar se a placa de vídeo está "limpa" após o desligamento ou trabalhando pesado durante o uso do Llama 3.1.
👇🏼👇🏼👇🏼
Tutorial: Instalação e Configuração do Llama 3.1 8B
Passo 1: Preparação do Sistema e Docker
1. Atualize o sistema e instale o Docker:
sudo apt update && sudo apt install docker.io -y
2. Permissão de Usuário: Para gerenciar a IA sem precisar de sudo em cada comando (após o reboot):
sudo usermod -aG docker $USER
Nota: Reinicie o PC após este passo.
Passo 2: Instalação do Ollama (O Motor)
1. Instalação Automática:
curl -fsSL https://ollama.com/install.sh | sh
2. Configuração de Hardware e Rede (Crucial): O sistema precisa liberar o acesso ao container e reconhecer sua placa de vídeo RDNA 3.
sudo systemctl edit ollama.service
3. No editor que abrir, cole este bloco exatamente no topo:
[Service]
Environment="OLLAMA_ORIGIN=*"
Environment="OLLAMA_HOST=0.0.0.0"
Environment="HSA_OVERRIDE_GFX_VERSION=11.0.0"
4. Aplique as mudanças: Salve (Ctrl+O, Enter) e saia (Ctrl+X). Depois rode:
sudo systemctl daemon-reload
sudo systemctl restart ollama
Passo 3: Liberação do Firewall
Como você usa o Linux Mint, o firewall pode bloquear a ponte entre o Docker e o sistema:
sudo ufw allow 11434/tcp
Passo 4: Instalação da Interface Web (Open WebUI)
1. Crie o container (este comando configura a ponte de rede automaticamente):
sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway --name open-webui ghcr.io/open-webui/open-webui:main
Passo 5: Download do Modelo e Uso
1. Baixe o Llama 3.1 (8B):
ollama pull llama3.1
2. Acesso: Abra o navegador em http://localhost:3000.
3. Configuração de Admin: Vá em Configurações do Admin > Conexões e certifique-se de que a URL da API Ollama seja http://host.docker.internal:11434. Clique no ícone de atualizar e em Salvar.
🛠 Gestão Manual (a ser executado antes de utilizar a IA, aguardando cerca de 30s após o primeiro comando abaixo antes de abrir o navegador e digitar o endereço "http://localhost:3000"):
Para não deixar a IA consumindo recursos no boot, use estes comandos sempre que precisar alternar entre "Modo Gamer/Trabalho" e "Modo IA".
1. Para LIGAR a IA:
Use este comando para ativar o motor e a interface:
sudo systemctl start ollama && sudo docker start open-webui
2. Para DESLIGAR a IA:
Use este comando para ejetar o modelo da VRAM da sua RX 7600 e liberar a memória RAM para o sistema:
sudo docker stop open-webui && sudo systemctl stop ollama
Dica Final: Lembre-se que o comando radeontop no terminal é o seu melhor amigo para confirmar se a placa de vídeo está "limpa" após o desligamento ou trabalhando pesado durante o uso do Llama 3.1.
Entre ou Registre-se para fazer um comentário.