로딩...
ollama
로컬에서 LLM 실행
brew install ollama
model 생성
예제
에러
llama-3-Korean-Bllossom-8B-gguf-Q4_K_M
- [diary] diary:2024-05-23
- 토큰이 세는 듯한 이상동작
# blah blah blah
{||imStart|}질문{ |imEnd| }
# blah blah blah
wsl
- wsl 에서 포트 접속 안되는 문제
ss -tuln | grep [PORT]
127.0.0.1
으로 되어있는 경우0.0.0.0
으로 설정 필요sudo systemd edit ollama
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
sudo systemd restart ollama