お問い合わせ
  1. トップ
  2. サービス
  3. 生成AI支援
  4. 事例
  5. ローカルAIの使い分け

小さな AI は、
形は守って中身を崩した。

事例 09 | ローカル AI の使い分け 社内のデータを社外に出さないために、社内のパソコンでローカル AI を動かしています。複数のモデルを実際の業務の問題で比べ、用途ごとに使い分けています。

事例 09

ローカル AI の使い分け

これまで

小さなモデルも形式・字数の検査は通る

でも中身が崩れていた

いま

約4分の1に置き場を整理

用途ごとに選び、計算は AI にさせない

やったこと複数のモデルに同じ業務の問題を解かせて比べる

動き方:AI が判断

ローカルLLMを社内に入れたい会社へ

機材選びから、データを外に出さない使い方まで、ご相談ください

当社で毎日動かしている構成をもとに、御社に合う進め方を30分の無料相談でお話しします。

ローカルAI導入サービスを見る

要点

株式会社Koinobori が自社で運用している、ローカル AI(ローカル LLM)の使い分けの事例です。社内のパソコンで、社内の仕組みや定期的な処理に使う AI を動かし、社外の AI には送りません。機械の検査は全部通るのに、中身が崩れるモデルがあると実測で分かったため、用途ごとにモデルを決めています。数字の計算は AI にさせず、プログラムに任せています。

機材
社内のパソコン社内の環境
常備モデル
用途ごとに複数置き場は約4分の1に整理
比べ方
実際の業務の問題で同じ指示・同じ題
社外送信
しない社内の中だけ

作り方:生成AIで作成動き方:AI が判断

なぜこうしているか

データを外に出さず、選ぶ理由を数字で持つ。

理由 01

社内のデータを、外に出さない

営業のデータなど社内のデータを、社外の AI サービスに送らずに済ませるため、社内の中で AI を動かしています。

理由 02

小さな設備で足りるか、確かめたい

大きな設備を用意しなくても、社内のパソコンでどこまで実務をこなせるかを、実際に動かして確かめています。

理由 03

モデル選びを、勘にしない

評判や大きさで選ばず、自社の実際の業務の問題を同じ条件で解かせて、結果を見て決めています。

構成

社内の中で、用途ごとに振り分ける。

社内の仕組みや定期的な処理から頼まれた仕事は、ローカル AI の実行環境が受け、用途に合うモデルに振り分けます。結果は社内のチャットなどに返ります。

入口

社内の処理から頼まれた仕事

  • 社内の自動応答
  • 定期的な処理

社内の環境

  1. 用途に合わせて AI モデルを選ぶ 小さめ/大きめ
  2. 数字の計算はプログラムで AI にはさせない

社外の AI に、社内のデータを送りません

出口

結果を社内の仕組みへ

構成をくわしく見る

社内の処理

  • 社内の自動応答
  • 定期的な処理

社内のパソコンの中

ローカル AI の実行環境が、用途で振り分ける

  • 普段の短い応答→ 小さなモデル:速さを優先
  • 品質が要る文章・分類→ 大きめのモデル:質を優先
  • 軽い下処理→ 中くらいのモデル:うまくいかなければ大きめのモデルでやり直す
  • 検索→ 検索用のモデル(埋め込み):文章を数値に直して探す

結果

  • 社内のチャットなどへ:文面や分類の結果が返る

社外の AI には送らない:営業データなど社内のデータは、社内の中だけで扱います。

使っている技術

社内のパソコンローカル AI の実行環境自社で書いたプログラム社内のチャット

常備しているモデル

モデル用途
大きめのモデル品質が要る文章・分類
中くらいのモデル軽い下処理(だめなら大きめのモデルでやり直す)
小さなモデル短い応答の既定
検索用のモデル検索用の埋め込み

実測 1

検査は全部通った。中身は崩れていた。

社内のチャットに毎日流す短い紹介文を、同じ指示・同じ4題で4つのモデルに書かせました。機械の検査は、決められた形式(JSON)で書けたか、字数に収まったかの2つです。

モデル形式(JSON)字数中身平均の生成時間
小さなモデル4/44/4崩れていた(材料に無い話を作る・意味を逆に書く・口調が違う)約4秒
中くらいのモデル3/43/4――
日本語特化のモデル―3/4(字数を破った)文の質は最良―
大きめのモデル(採用)全項目を満たした全項目を満たした問題なし約16秒

機械の検査では、崩れに気づけない

形式と字数の検査は通るので、機械だけでは中身の崩れが分かりません。人が中身を読んで比べる必要があります。1日1回の処理なので、速さより質で選びました。

実測 2

8題の比較では、小さなモデルが計算を間違えた。

大きめのモデル
7/8所要時間:時間はかかる
中くらいのモデル
6/8所要時間:速い
小さなモデル
3/8所要時間:最も速い

小さなモデルは、税込からの逆算や率の計算を間違えました。速さは最も速い一方で、数字の問題には向きません。

決めたこと

数字は計算させない。実測から決めた4つの決まり。

  1. 数字は、AI に計算させない

    小さなモデルは、税込からの逆算や率の計算を間違えました。勤務時間などの計算はプログラムが行い、AI には一言の文面だけを書かせます。

  2. 字数は、プログラムで切る

    字数は指示しても守られません。上限はプログラム側で切ります。

  3. 速さより質。ただし用途しだい

    1日1回の処理なので、少し時間がかかっても質の良いモデルを選びました。すぐ返したい用途には、小さいモデルを使います。

  4. 使わないモデルは、消す

    性能が最良だった特に大きなモデルは、強みが活きる処理が無く、常駐すると他と同居できないため削除しました。使っていないモデルも消し、置き場は約4分の1に減りました。

ローカルLLMを社内に入れたい会社へ

機材選びから、データを外に出さない使い方まで、ご相談ください

当社で毎日動かしている構成をもとに、御社に合う進め方を30分の無料相談でお話しします。

ローカルAI導入サービスを見る

研修のご相談、教材制作、生成AIの導入支援など、まずはお気軽にお問い合わせください。