ローカル AI の使い分け
小さなモデルも形式・字数の検査は通る
でも中身が崩れていた
約4分の1に置き場を整理
用途ごとに選び、計算は AI にさせない
やったこと複数のモデルに同じ業務の問題を解かせて比べる
動き方:AI が判断
小さなモデルも形式・字数の検査は通る
でも中身が崩れていた
約4分の1に置き場を整理
用途ごとに選び、計算は AI にさせない
やったこと複数のモデルに同じ業務の問題を解かせて比べる
動き方:AI が判断
ローカルLLMを社内に入れたい会社へ
当社で毎日動かしている構成をもとに、御社に合う進め方を30分の無料相談でお話しします。
ローカルAI導入サービスを見る株式会社Koinobori が自社で運用している、ローカル AI(ローカル LLM)の使い分けの事例です。社内のパソコンで、社内の仕組みや定期的な処理に使う AI を動かし、社外の AI には送りません。機械の検査は全部通るのに、中身が崩れるモデルがあると実測で分かったため、用途ごとにモデルを決めています。数字の計算は AI にさせず、プログラムに任せています。
なぜこうしているか
理由 01
営業のデータなど社内のデータを、社外の AI サービスに送らずに済ませるため、社内の中で AI を動かしています。
理由 02
大きな設備を用意しなくても、社内のパソコンでどこまで実務をこなせるかを、実際に動かして確かめています。
理由 03
評判や大きさで選ばず、自社の実際の業務の問題を同じ条件で解かせて、結果を見て決めています。
構成
社内の仕組みや定期的な処理から頼まれた仕事は、ローカル AI の実行環境が受け、用途に合うモデルに振り分けます。結果は社内のチャットなどに返ります。
入口
社内の処理から頼まれた仕事
社内の環境
社外の AI に、社内のデータを送りません
出口
結果を社内の仕組みへ
社内の処理
社内のパソコンの中
結果
社外の AI には送らない:営業データなど社内のデータは、社内の中だけで扱います。
| モデル | 用途 |
|---|---|
| 大きめのモデル | 品質が要る文章・分類 |
| 中くらいのモデル | 軽い下処理(だめなら大きめのモデルでやり直す) |
| 小さなモデル | 短い応答の既定 |
| 検索用のモデル | 検索用の埋め込み |
実測 1
社内のチャットに毎日流す短い紹介文を、同じ指示・同じ4題で4つのモデルに書かせました。機械の検査は、決められた形式(JSON)で書けたか、字数に収まったかの2つです。
| モデル | 形式(JSON) | 字数 | 中身 | 平均の生成時間 |
|---|---|---|---|---|
| 小さなモデル | 4/4 | 4/4 | 崩れていた(材料に無い話を作る・意味を逆に書く・口調が違う) | 約4秒 |
| 中くらいのモデル | 3/4 | 3/4 | ― | ― |
| 日本語特化のモデル | ― | 3/4(字数を破った) | 文の質は最良 | ― |
| 大きめのモデル(採用) | 全項目を満たした | 全項目を満たした | 問題なし | 約16秒 |
形式と字数の検査は通るので、機械だけでは中身の崩れが分かりません。人が中身を読んで比べる必要があります。1日1回の処理なので、速さより質で選びました。
実測 2
小さなモデルは、税込からの逆算や率の計算を間違えました。速さは最も速い一方で、数字の問題には向きません。
決めたこと
小さなモデルは、税込からの逆算や率の計算を間違えました。勤務時間などの計算はプログラムが行い、AI には一言の文面だけを書かせます。
字数は指示しても守られません。上限はプログラム側で切ります。
1日1回の処理なので、少し時間がかかっても質の良いモデルを選びました。すぐ返したい用途には、小さいモデルを使います。
性能が最良だった特に大きなモデルは、強みが活きる処理が無く、常駐すると他と同居できないため削除しました。使っていないモデルも消し、置き場は約4分の1に減りました。
ローカルLLMを社内に入れたい会社へ
当社で毎日動かしている構成をもとに、御社に合う進め方を30分の無料相談でお話しします。
ローカルAI導入サービスを見る問い合わせの売り込みを、社内のローカル AI で仕分け、相談だけを届けている事例です。
問い合わせの仕分けを見る 生成AI・ローカルLLM構築支援当社自身が運用している、ローカル LLM と業務自動化の実例を掲載しています。
事例の一覧へ 経営者コラム自社で AI や自動化を運用する中での、工夫や失敗を記録しています。
経営者コラムを読む※ 本ページは、当社が自社の業務のために作った仕組みの事例紹介です。
研修のご相談、教材制作、生成AIの導入支援など、まずはお気軽にお問い合わせください。