aigeek編集部LLM量子化『Q4_K_M』を図で読み解く ── 28GBが9GBに圧縮されても動く仕組み
Hugging FaceやOllamaでよく見る『Q4_K_M』とは何か。LLMを28GBから9GBへ圧縮する『量子化』の仕組みを、aigeek.biz編集長との対話と図解で解き明かす。なぜ丸めても動くのか、K-quantsの賢さ、どれを選べばいいのか、3枚の図で整理する。
「9GBに何が入っているのか」—— ローカルLLMを動かして気づいた、AIの正体
NousCoder-14Bを自分のPCにインストールして気づいた、LLMの本当の姿。9GBのファイルにデータは保存されていなかった——料理人のたとえで腑に落ちた「蒸留」という仕組みと、そこから見える著作権を巡る論争の核心を、実体験ベースで書き残す。
