社内の機密情報をAIに学習させたくない。
オフラインで動くAIの使い方ガイド
インターネットに一切つながないAIが、無料で・自分のPCの中だけで動かせます。Ollamaなら今日から始められます。
「ChatGPTに会社の情報を入力するのが怖い。でもAIの便利さは使いたい」——この板挟みを解消する方法があります。Ollama（無料）をPCにインストールすると、インターネットに一切つながないAIが自分のPC内だけで動きます。入力した情報は外部に一切送られません。今日、その仕組みと最初の1時間で動かせるセットアップ方法を整理します。
- ローカルLLM（オフラインAI）の仕組みと「外に出ない」理由
- OllamaとOpen WebUIで「ChatGPTと同じ感覚のオフラインAI」を作る手順
- 日本語対応のおすすめモデル（Qwen3・Gemma）の選び方
- 「全部ローカル化」ではなく「機密だけローカル・それ以外はクラウド」という最強の分担法
「情報が外に出るのが不安」ネットに溢れる声
「会社の契約書や顧客データをAIで整理したいが、ChatGPTやClaudeに入力したら情報が外部に送られるのが怖い。完全にオフラインで動くAIはないのか調べている」
「社内でAIを使いたいが、情報セキュリティ部門から「クラウドAIへの情報送信は禁止」と言われました。インターネット接続なしで使えるAIの導入方法を教えてください」
「OllamaとOpen WebUIを使ったらPC単体でAIが動いた。ChatGPTと同じブラウザUIで、しかも社内情報を入れても外部に送られない。これでうちのセキュリティ部門も納得してくれた」
「セキュリティ部門も納得してくれた」——ローカルLLM（オフラインAI）は、2026年現在では技術者でなくても動かせるところまで来ています。Ollamaは公式サイトからインストーラーをダウンロードして実行するだけで動き始めます。むずかしいコマンド操作も最小限です。「機密情報を扱う業務にAIを使いたい」という人への現実的な答えがここにあります。
クラウドAI vs ローカルAI——何が違うか
| 比較項目 | ☁️ クラウドAI（ChatGPT・Claude等） | 🖥️ ローカルAI（Ollama等） |
|---|---|---|
| 情報の 送信先 |
OpenAI・Anthropic等のサーバーに送信される（法人プランでは学習不使用） | 自分のPC内だけで完結。インターネットに一切送信されない——機密情報を安心して入力できる |
| 性能・ 品質 |
GPT-5.4・Claude 4など最高性能モデルが使える。複雑な思考・高品質生成で上回る | PCの性能に依存。クラウドより品質は下がるが、定型処理・要約・分類など多くの業務で十分な精度 |
| 費用 | 月額3,000〜数万円（用途・人数による）。APIは使った分だけ課金 | モデルは無料。Ollama本体も無料。必要なのはPCのスペック（RAM 8GB〜推奨16GB以上） |
| 向いている 用途 |
複雑な分析・高品質な文章生成・最新情報が必要な調査・外部公開コンテンツ | 議事録の匿名化・問い合わせ分類・契約書の見出し抽出・社内FAQの下書き・定型業務の前処理 |
「全部ローカルに切り替える」必要はありません。2026年現在の専門家の共通見解は「機密情報の前処理はローカル・広い設計や生成はクラウド・最終確認は人間」という分担が最も強いというものです。ローカルとクラウドを目的別に使い分けることが、セキュリティと利便性を両立する現実的な答えです。
オフラインAIを「今日動かす」手順とプロンプト3つ
① Ollamaのインストール（ollama.ai）
公式サイト（ollama.ai）からWindows・Mac・Linux向けインストーラーをダウンロードして実行するだけ。
② モデルのダウンロード（コマンド1行）
ターミナル（Mac：Terminal / Windows：コマンドプロンプト）を開いて：
ollama run qwen3 または ollama run gemma3
と入力してEnter。モデルが自動でダウンロードされ、そのまま対話できます。
③ Open WebUIの導入（任意・ブラウザUIが使えるようになる）
Docker（docker.com）をインストール後、
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway ghcr.io/open-webui/open-webui:main
を実行→ブラウザで localhost:3000 を開くとChatGPTと同じ感覚のUIが使えます。
⚠️ PCスペックの目安：RAM 8GB以上（日本語で実用的に使うなら16GB推奨）
【ローカルAI（Ollama）に「最初に試すべき業務」を選ぶためのプロンプト】
（まずChatGPT・Claudeに送って、自社でローカルAIを使うべき業務を特定する）
私のチームでローカルAI（Ollama等）の導入を検討しています。
以下の観点で「ローカルAIが最も向いている業務」を選んでください。
【私のチームの情報】
・業種・仕事内容：（例：人事部門・採用・従業員情報の管理）
・AIに使いたい場面：（例：履歴書の要約・問い合わせ分類・契約書チェック）
・扱う情報の機密レベル：（例：個人情報・給与情報・役員の人事情報）
ローカルAIに向いている業務の選定基準：
① 外に出せない情報を扱う
② 量が多くて繰り返しが多い
③ 定型化できる（毎回同じ形式で出力できる）
④ 精度の評価がしやすい（正解・不正解が判断できる）
⑤ 部分的な誤りが許容できる（最終確認を人間が行う）
→ この5つを全部満たす業務を1つ選んで
ローカルAIでの最初のユースケースとして試すことを推奨します
【ローカルAI（Ollama）への「議事録匿名化」プロンプト——最初の実践例】
（OllamaまたはOpen WebUIの入力欄に送る。インターネット接続ゼロで動作する）
以下の議事録から、個人を特定できる情報を匿名化してください。
【匿名化のルール】
・人名 → 「Aさん」「Bさん」（登場順）
・会社名 → 「〇〇社」（登場順）
・具体的な金額 → 「〇〇万円」（桁は維持）
・部署名 → そのまま残す
・日付 → そのまま残す
【議事録本文】
（ここに議事録の全文を貼り付ける）
出力形式：
匿名化した議事録をそのまま出力してください。
変更した箇所は（）で変換前の種別を示す必要はありません。
→ この処理はローカルで完結するため
個人情報が外部に一切送信されません
匿名化後の議事録は社外共有・AIへの追加入力も安全です
【「ローカルで前処理→クラウドで仕上げ」の分担フロー設計プロンプト】
（チームのAI活用分担ルールを設計するためにChatGPTに送る）
私たちのチームで「ローカルAI（Ollama）」と「クラウドAI（ChatGPT・Claude）」を
組み合わせた最適な業務フローを設計してください。
【チームで扱う主な業務と情報レベル】
（例）
・社内会議の議事録作成（個人名・社内固有情報含む）→機密レベル：高
・顧客向けメールの文章作成（氏名・商品名含む）→機密レベル：中
・業界トレンドの調査・レポート作成（公開情報）→機密レベル：低
設計してほしいもの：
① 各業務の「ローカルAI担当フェーズ」と「クラウドAI担当フェーズ」の分担表
② フェーズの境界（「ここでローカルからクラウドに引き渡す」タイミング）
③ 「最終確認は人間が行う」チェックポイントの設計
④ チームメンバーに説明する「1枚のルールシート」のアウトライン
→ この分担を図にまとめると
IT部門・法務部門への説明資料としても使えます
3つめの「ローカル・クラウド分担フロー設計プロンプト」が、チーム導入の設計図になります。「機密情報の前処理はローカル→匿名化後の整理・生成はクラウド→最終確認は人間」という分担を図式化したルールシートは、IT部門・法務部門への説明資料としてそのまま使えます。
ローカルAI（Ollama）についてよくある疑問
| Ollamaは本当にインターネットに送信されない？ | モデルのダウンロード時（初回のみ）はインターネットが必要ですが、一度ダウンロードが完了すれば以降の対話はすべてPC内で完結します。入力したテキスト・出力された回答はOllamaのサーバーにも外部にも一切送信されません。ネットワーク監視ツールで通信を確認することもできます。情報セキュリティ担当者への説明時は「初回のモデルダウンロード時のみ通信が発生する」という点を伝えておくと安心です |
| 日本語はちゃんと使えますか？ | Qwen3（Alibaba製・無料）とGemma3（Google製・無料）はどちらも日本語に対応しており、議事録の要約・分類・翻訳などの実用的な業務で使えます。ただしChatGPT・Claudeと比較すると日本語の自然さ・複雑な文章の品質は劣ります。「定型的な処理（分類・抽出・匿名化）」ではほぼ差がなく、「高品質な文章生成」ではクラウドに譲るという理解が適切です |
| どのくらいのPCスペックが必要ですか？ | 最低ラインはRAM 8GB。日本語で実用的に使うならRAM 16GB以上を推奨します。GPUがある場合はより速く動きます。CPUのみでも動きますが回答の生成速度が落ちます。Qwen3・Gemma3のコンパクトモデル（3B〜7B）はRAM 8GBで動作しますが、回答速度に数十秒かかる場合があります。まずQwen3:4bかGemma3:4bで試してみてください |
| 会社のPCにインストールしても問題ない？ | 会社支給のPCへのソフトウェアインストールについては、IT部門・情報セキュリティ担当に確認が必要です。「外部へのデータ送信がない」という点をOllamaの仕組みとともに説明すると、通常のクラウドAIより承認を得やすい場合があります。個人のPCで動作確認をしてから社内導入を提案するという順番が安全です |
| 法人向けのクラウドAI（ChatGPT Team等）と比べてどちらが安全？ | セキュリティの観点では「ローカルAI（Ollama）＞法人向けクラウドAI（ChatGPT Team）＞無料クラウドAI（ChatGPT無料版）」という序列です。ChatGPT Teamはデータが学習に使われませんが、サーバーに送信されることは変わりません。ローカルAIはサーバーへの送信自体がゼロです。法律・医療・個人情報・未公開情報などの最高機密レベルの情報にはローカルAIが最も安全です |
ローカルAIを「今日動かす」3ステップ
1つめのプロンプトで「最初に試すべき業務」を1つ決め、ollamaをインストールしてその業務で動作確認する
まず1つめのプロンプトをChatGPTに送って「自分の業務でローカルAIが最も向いている作業」を1つ特定しましょう。次にollama.aiからOllamaをインストールし、ollama run qwen3でモデルを起動。特定した業務のデータを入力して「インターネット接続なしで動く」体験を作りましょう。
2つめのプロンプトで「議事録匿名化」を試し、ローカル処理の実用性を確認する
Ollamaが動いたら、2つめのプロンプトを使って議事録の匿名化を試してみましょう。社内の実際の議事録を貼り付けて送信し、個人名・会社名が適切に置換されるかを確認します。「外部に一切送信されない状態でこの処理ができた」という体験が、チームや上司への説明で最も説得力のある実績になります。
3つめのプロンプトで「ローカル・クラウド分担フロー」を設計し、IT部門・法務部門へ説明資料を作る
個人での動作確認が取れたら、3つめのプロンプトを使ってチームの業務フローを設計しましょう。「機密情報はローカル・外部公開前提の業務はクラウド・最終確認は人間」というルールシートをChatGPTで作ってもらい、IT部門・情報セキュリティ担当への説明資料として活用してください。
ローカルAIが動き始めると、こんな変化があります
「機密情報をAIに入力できない」から「安全に・ローカルでAIを使いこなせる」へ
議事録・契約書・個人情報を含む書類をAIで処理できるようになり、「機密情報を扱う業務」にもAIの効率化が届くようになる
インターネット遮断環境でもAIが動くようになり、セキュリティポリシーが厳しい職場・機密性の高い案件でもAIを活用できる
「ローカルで前処理→クラウドで仕上げ→人間が最終確認」の分担が定着し、セキュリティと生産性を両立した業務フローが生まれる
IT部門・法務部門が承認しやすいAI導入の形が整い、「セキュリティを担保したAI活用」として組織全体の信頼を得られる
ここまでのまとめ
📌 この記事の要点
- Ollama（無料）をPCにインストールすると、インターネットに一切送信しないオフラインAIが動く
- 日本語対応のQwen3・Gemma3（どちらも無料）が議事録匿名化・問い合わせ分類・見出し抽出などで実用的
- 「最初のユースケース」は「外に出せない・量が多い・定型化できる・精度評価しやすい業務」から1つ選ぶ
- 「全部ローカル化」より「機密前処理はローカル・生成はクラウド・最終確認は人間」の分担が最も強い
- IT部門・法務部門への説明には「初回のモデルダウンロード時のみ通信・以降は完全ローカル」という一言が最も有効
「機密情報をAIに入力できなかった」という制約は今日解消できます。ollama.aiを開いてインストーラーをダウンロードし、ollama run qwen3の1行を実行してみましょう。外部に一切送信されないAIが、自分のPC内で動き始めます。
今日やること：1つめのプロンプトで「最初に試すべき業務」を特定してから、ollama.aiでOllamaをインストールしollama run qwen3を実行する。
ブラウザやターミナルで会話できる状態になったら、その業務のサンプルデータで動作確認してみましょう。
コメント