Digital MATSUMOTO

**日本語** | **[English](README.en.md)**

# Digital MATSUMOTO

<details>
<summary><strong>📑 目次（クリックで展開）</strong></summary>

- [はじめに](#はじめに)
- [本プログラム開発においてこだわっていること](#本プログラム開発においてこだわっていること)
- [参考ドキュメント](#参考ドキュメント)
- [アーキテクチャ概要](#アーキテクチャ概要)
- [主要モジュール](#主要モジュール)
- [ディレクトリ構造](#ディレクトリ構造)
- [環境構築・インストレーション](#環境構築・インストレーション)
  - [前提条件](#前提条件)
  - [1. リポジトリの取得](#1-リポジトリの取得)
  - [2. Dockerイメージのビルド](#2-dockerイメージのビルド)
  - [3. コンテナの起動](#3-コンテナの起動)
  - [4. 環境変数の設定](#4-環境変数の設定)
  - [5. アプリケーションの起動（コンテナ内で実行）](#5-アプリケーションの起動コンテナ内で実行)
  - [6. 動作確認](#6-動作確認)
  - [7. Nginx リバースプロキシの設定（本番環境向け）](#7-nginx-リバースプロキシの設定本番環境向け)
  - [8. 閉域ネットワーク（Azure）への構築](#8-閉域ネットワークazureへの構築)
- [セットアップガイド](#セットアップガイド)
  - [マスターデータの設定](#マスターデータの設定)
  - [RAGデータの設定](#ragデータの設定)
  - [エージェントの設定](#エージェントの設定)
  - [プラクティスの設定](#プラクティスの設定)
  - [Web検索の設定](#web検索の設定)
  - [ツールプラグインシステム（SKILL / Tool / Slash Command）](#ツールプラグインシステムskill--tool--slash-command)
  - [引用付与（Citation Injection）](#引用付与citation-injection)
  - [URL自動取得（添付ファイル化）](#url自動取得添付ファイル化)
  - [ユーザーメモリ（階層的ユーザー理解）](#ユーザーメモリ階層的ユーザー理解)
  - [バックグラウンドジョブの管理](#バックグラウンドジョブの管理)
  - [起動方法](#起動方法)
- [Knowledge Explorer](#knowledge-explorer)
  - [データソースの選択](#データソースの選択)
  - [1. Overall](#1-overall)
  - [2. Trend（旧 時系列分析）](#2-trend旧-時系列分析)
  - [3. Topic（旧 感度分析）](#3-topic旧-感度分析)
  - [4. Ask Agent](#4-ask-agent)
  - [PageIndex](#pageindex)
  - [エクスポート・レポート](#エクスポート・レポート)
  - [セッション管理](#セッション管理)
- [User Memory Explorer](#user-memory-explorer)
- [Agent Performance Explorer (APE)](#agent-performance-explorer-ape)
  - [データソース (PG → ライブ → アーカイブの優先順)](#データソース-pg--ライブ--アーカイブの優先順)
  - [Tab 1: Overview](#tab-1-overview)
  - [Tab 2: Knowledge / Book Utilization](#tab-2-knowledge--book-utilization)
  - [Chat の Analytics Results との連携](#chat-の-analytics-results-との連携)
- [Chat タブのその他の機能](#chat-タブのその他の機能)
  - [Detail Information タブ構成](#detail-information-タブ構成)
  - [セッションサマリー（ユーザー定義のセッション状態文書）](#セッションサマリーユーザー定義のセッション状態文書)
  - [Compare Agent — Knowledge/Book 除外によるリグレッションテスト](#compare-agent--knowledgebook-除外によるリグレッションテスト)
  - [下書きモード (chat_input)](#下書きモード-chat_input)
- [Batch Test（一括 Q&A 評価）](#batch-test一括-qa-評価)
  - [入力 Excel フォーマット](#入力-excel-フォーマット)
  - [出力 Excel フォーマット](#出力-excel-フォーマット)
  - [主要機能](#主要機能)
  - [Result Analysis（即表示）](#result-analysis即表示)
  - [LLM 評価（オンデマンド）](#llm-評価オンデマンド)
  - [内部実装メモ](#内部実装メモ)
- [Evaluation](#evaluation)
  - [プラグインアーキテクチャ](#プラグインアーキテクチャ)
  - [UI フロー](#ui-フロー)
  - [PersonalEvaluation プラグイン](#personalevaluation-プラグイン)
  - [新評価の追加](#新評価の追加)
- [API リファレンス](#api-リファレンス)
  - [エンドポイント一覧](#エンドポイント一覧)
  - [POST /run — メッセージ送信](#post-run--メッセージ送信)
  - [添付ファイル（`attachments` / `attachment_urls` / `/run_multipart`）](#添付ファイルattachments--attachment_urls--run_multipart)
  - [セッションサマリー API（`/sessions/{id}/summary` / `/session_summary_presets`）](#セッションサマリー-apisessionsidsummary--session_summary_presets)
  - [実行例](#実行例)
  - [LINE 連携での利用例](#line-連携での利用例)

</details>

## はじめに

本PGはApache2.0Licenceで公開しており、商用利用を認めています。
ただし、本PGを用いたユーザー側での活動に対して、開発者は一切の責任を負いませんので、あくまで御自身の責任においてPGを利用してください。

本PGはビジネスのシーンで活用されたことがありますが、
あくまで研究もしくはPoCを目的として開発を行っており、開発者の任意のタイミングでプログラムの更新が行われます。
実際のビジネスで用いる場合、Apache2.0のライセンスを遵守いただきながら、御自身の判断と責任において最適なシステム環境で構築・運用いただくことを推奨します。

Digital MATSUMOTO lab合同会社

## 本プログラム開発においてこだわっていること

- 作業効率化ではなく、人間の知識をAIが再現できるかが主目的
- 知識の貢献などを観察できるようにする
- 自律化は目的としない。AIを使いながらヒト自身も成長できるかが命題
- 特定のLLMに依存しない
- コンテキストデザインをこだわって作る
- LangChainやllama indexのようなライブラリを使わない（LLMのAPIを裸の状態で叩く）
- 個人の環境でも動くような構成

## 参考ドキュメント

- [概要とアーキテクチャの説明](docs/Overview_of_DigitalMATSUMOTO.pdf)
- [機能一覧（概念レベル）](docs/FEATURE_LIST.md)

## アーキテクチャ概要

```
[Streamlit UI / FastAPI / Jupyter Notebook]
          |
   DigiM_Execute.py        # 実行オーケストレーション
          |
   DigiM_Agent.py          # エージェント呼出
   DigiM_Context.py        # コンテキスト生成・RAGクエリ
   DigiM_Session.py        # セッション・履歴管理
          |
   DigiM_FoundationModel.py  # LLM抽象化レイヤー
   DigiM_Tool.py             # ツール(定義された関数)
          |
[GPT / Gemini / Claude / Grok]
```

エージェントの設定（人格・使用LLM・知識）は `user/common/agent/*.json` で管理し、
コンテキストはプロンプトテンプレート（`user/common/mst/prompt_templates.json`）と
RAG（ChromaDB）を組み合わせて動的に生成します。

## 主要モジュール

| モジュール | 役割 |
|-----------|------|
| `DigiM_Execute.py` | メイン実行エンジン |
| `DigiM_Session.py` | セッション・チャット履歴管理 |
| `DigiM_Context.py` | コンテキスト生成・RAG処理 |
| `DigiM_FoundationModel.py` | LLM抽象化（マルチLLM対応） |
| `DigiM_Agent.py` | エージェント設定管理（テンプレート + persona上書き対応） |
| `DigiM_AgentPersona.py` | エージェントペルソナのマスタ（Excel/RDB） |
| `DigiM_Auth.py` | ログインユーザーマスタ（JSON / RDB バックエンド切替） |
| `DigiM_Tool.py` | ツール群（分析・履歴操作・ペルソナ統合等） |
| `DigiM_Util.py` | 共通関数 |
| `DigiM_Notion.py` | Notion API連携 |
| `WebDigiMatsuAgent.py` | WebUI画面 |
| `DigiM_API.py` | FastAPI エンドポイント |
| `DigiM_DB_Export.py` | PostgreSQLエクスポート・ベクトル化 |
| `DigiM_VAnalytics.py` | 知識活用分析 |
| `DigiM_Guardrail.py` | Web検索APIへの送信直前で秘匿情報（APIキー/PII等）をマスク・遮断するガードレール |
| `DigiM_Graph.py` | GraphRAG（純構造の知識グラフ: 取込・エンティティ解決・経路+近傍検索・利用分析） |
| `DigiM_GraphBuilder.py` | 知識グラフの取込バッチCLI（mapping.json / dictionary.json から graph.json を生成） |
| `DigiM

... (truncated)