なぜ私たちはローカル LLM を導入したのか（中小企業 × AI 経営シリーズ #01）
ChatGPT・Claude を API で便利に使っていた社員 5 人の会社が、2026 年 3 月、自社の中に LLM を持つことに決めた。シリーズ第 1 話、「使う側」から「持つ側」へ移った理由。
はじめに — このシリーズについて
Koinobori 代表取締役の杉﨑です。 社員 5 人の会社を経営しながら、業務基盤の AI 化と DX を、自分の手で組み立ててきました。「中小企業 × AI 経営シリーズ」と題して、経営者として下してきた判断と試行錯誤を、少しずつ書き残していきたいと思います。
第 1 話は、シリーズの起点でもある「なぜ私たちは、自社にローカル LLM を導入したのか」から。
1. 最初は、ChatGPT を使うだけでした
2023 年の本格営業を開始した時点から、生成 AI には早く触れていた方だと思います。
ChatGPT が話題になり始めた頃から試し、その後は Gemini も併用するようになりました。文章整形、議事録要約、コード補完、メール下書き。便利でしたし、社員 5 人の会社にとってはレバレッジの大きいツールでした。
最初の数ヶ月は「これで十分」と思っていました。
2. ある日、ふと気持ち悪くなりました
ただ、使い込むうちに、心の片隅に違和感が残るようになりました。
「社内会議の議事録を整形させる」「顧客への返信メールを下書きさせる」── そういう場面で、ふと手が止まったことがありました。会議で出た発言、案件の文脈、取引先の名前。そういう情報を毎日のように、外部のサーバーに送って整形させている。便利と引き換えに、毎月の利用料も静かに積み上がっていました。
SaaS の契約と同じ構図だな、と思いました。創業当初は CRM もタスク管理も営業管理も、片っ端から SaaS を契約していました。でもいつしか「月額の積み上げが、割に合わない」と感じるようになり、ひとつずつ Mac mini の中に巻き取ってきた経緯があります。
LLM だけは「クラウド前提」だと思い込んでいました。
3. 2026 年 3 月、OpenClaw が流行り始めました
転機は 2026 年 3 月でした。
OpenClaw が一気に注目を集めるようになり、「OSS で AI を自社の中に持つ」という選択肢が、急に現実味を帯びてきました。Apple Silicon と量子化技術の成熟も、同じタイミングで実用ラインを越えていました。
「うちもやれるんじゃないか」と素直に思いました。
社員 5 人の会社で、社内に Mac mini が 1 台あります。それで動くなら、自社で構築する価値は十分にあります。データを外に出さなくていい、月額の天井もない、試したいことを誰の許可も得ずに試せる ──「やってみる」以外の選択肢は、ありませんでした。
3 月のうちに環境を組み始め、4 月には実運用の一部を切り替え始めていました。
4. 最初に選んだもの
最初に試して、いまも主役として動いているのは、このモデルです。
- Ollama Qwen3.5:27b — 重めの整形・要約担当
これを Mac mini に載せて、bot や自動化スクリプトから呼べる形にしました。「ChatGPT に投げていた処理」を、ひとつずつ自社の中に巻き取っていく作業が、ここから始まりました。
5. ただし、始まったのは「毎日の格闘」でした
正直に書きます。3 月にローカル LLM を導入してから、毎日が試行錯誤の連続です。
プロンプトを書いては書き直し、JSON 出力が崩れる事故と向き合い、日本語固有名詞の認識ミスを地道に潰し、温度パラメータや context window を調整する ── そんな日々がいまも続いています。「導入したら一気に楽になった」という綺麗な物語ではありません。
それでも、ひとつだけ変わらない実感があります。「動いているのが自社の中だ」という安心感は、どんな苦戦よりも価値があります。データを社外に送らずに済む、その一点だけで、毎日の格闘を続ける意味がありました。
6. シリーズの始まり
このシリーズでは、この導入を起点にして、社員 5 人の会社が AI と DX をどう組み立ててきたかを、1 話ずつ書いていきたいと思います。
次回以降は、ローカル LLM が実際にどんな現場で動いているか（営業の案件登録、タスク管理、教材レビューなど）、そして毎日ぶつかっている格闘の中身についても、ひとつずつ綴っていく予定です。
読者への問い: あなたの会社で AI に投げている処理、もし自社の中で活用できたら、何が変わりそうですか？
この記事を読んだ方へ
同じように「自社で AI を持ちたい」「ローカル LLM を業務に組み込みたい」を、設計から伴走支援しています。
👉 AI 導入サポートサービス — 中小企業向け、設計から構築・運用まで
👉 お問い合わせフォーム — 個別のご相談・お見積もり
中小企業 × AI 経営シリーズ #01 / 次回 #02 に続く
執筆：Koinobori 株式会社 代表取締役 杉﨑