ollama2 🤔 정보유출 걱정 끝! Ollama로 우리 회사만의 안전한 LLM 사용 + Open WebUI ⚡ 시작하기 전에: 양자화(Quantization) 이해하기🤔 양자화란? 쉽게 말하면 "AI 모델 다이어트"양자화는 AI 모델을 더 작고 빠르게 만드는 압축 기술입니다. 마치 4K 영상을 1080p로 변환하는 것처럼, 품질은 조금 희생하지만 용량과 속도를 크게 개선할 수 있습니다.📊 양자화 레벨별 비교 (실제 테스트 결과)양자화 레벨원본 대비 크기품질속도추천 용도원본 (FP16)100%⭐⭐⭐⭐⭐보통최고 품질 필요시Q8~60%⭐⭐⭐⭐⭐빠름품질+속도 균형Q6_K~50%⭐⭐⭐⭐빠름가장 실용적Q4_K_M~35%⭐⭐⭐매우 빠름일반 사용Q2_K~25%⭐⭐초고속실험용🎯 내가 테스트해본 양자화 모델들# 내 모델 리스트에서 양자화 모델 찾기gemma3:27b-it-qat # QAT = Quantizatio.. 2025. 6. 3. 🤖 그냥해보세요! Qwen2.5VL 멀티모달 모델로 이미지 분석하기 https://github.com/onesound71/ollama_qwen25vl GitHub - onesound71/ollama_qwen25vlContribute to onesound71/ollama_qwen25vl development by creating an account on GitHub.github.com 왜 이제서야 시작했을까? 😅솔직히 말하면, 멀티모달 LLM이나 Agent 같은 용어들이 계속 들려와서 궁금하긴 했는데... 막상 시작하려니 뭔가 어려워 보였어요. "내 컴퓨터 사양으로 되겠어?", "설치가 복잡하지 않을까?" 이런 생각들 때문에 계속 미뤄왔죠.그런데 지난 주말에 드디어 용기를 내서 Qwen2.5VL을 설치해봤는데... 생각보다 너무 쉬웠어요! 정말 30분도 안 걸렸습니다... 2025. 5. 28. 이전 1 다음
