로딩...

ollama

로컬에서 LLM 실행

brew install ollama

model 생성

예제

에러

llama-3-Korean-Bllossom-8B-gguf-Q4_K_M

# blah blah blah 
{||imStart|}질문{ |imEnd| }
# blah blah blah 

wsl

  • wsl 에서 포트 접속 안되는 문제
ss -tuln | grep [PORT]
  • 127.0.0.1 으로 되어있는 경우 0.0.0.0 으로 설정 필요
  • sudo systemd edit ollama
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
  • sudo systemd restart ollama