0. 교육 정보
교육일자
2026.07.18
교육시간
9시 - 6시 (8시간)
•
폐쇄형 LLM ⇒ 현재는 기술적 문제 보다는 비용 문제가 큼
•
파인튜닝 ⇒ 더 많은 비용을 필요로 함, 비추천. 최근에는 거의 RAG화 하는 형태로 감
모델 검색 사이트 : huggingface.co
Llama 4 : 전체적으로 성능이 떨어짐
Qwen3.5 : 다국어 범용 주력 모델
DeepSeek : 중국에서 개발한 적은 GPU 성능으로 효율성을 극대화한 LLM. 현재도 많은 사용량.
Gemma : 구글에서 개발. 코딩보다는 일상생활 질문에 최적화.
GLM : 떠오르는 신흥 강자. Sonet 같은 성능의 20% 적은 비용으로 제공 목적. 코딩에 특화된 모델.
ver 4.7 ⇒ Sonet / 5.2 ⇒ Opus 정도의 성능
•
여러 모델 찾기, LLM 랭킹 확인, 언어에 특화된 모델 확인 등 여러 모델 비교하기 용이한 사이트
•
단점: 무조건 api 호출
•
Opus 급 성능의 LLM 사용은 500B
•
Sonet 급 성능의 LLM 사용은 300B
•
Hiku 급 성능의 LLM 사용은 100B 정도가 필요함
GGUF, MLX, AWQ 추천
양자화를 함으로써 메모리 절약, 성능 향상
