FirstData 🌐

# FirstData 🌐

**[English](README.en.md)** | 中文 | **[日本語](README.ja.md)**

---

**全球最全面、最权威、最结构化的开源数据源知识库 — Agent First**

**The World's Most Comprehensive, Authoritative, and Structured Open Data Source Repository**

> **Agent First**：FirstData 以 AI Agent 为第一优先用户设计。Agent 可通过标准化 Skill 自动完成注册、激活和 MCP 配置，零人工介入即可接入权威数据源知识库。

[![License: MIT](https://img.shields.io/badge/License-MIT-yellow.svg)](https://opensource.org/licenses/MIT)
[![Data Sources](https://img.shields.io/endpoint?url=https://raw.githubusercontent.com/MLT-OSS/FirstData/refs/heads/main/assets/badges/sources-count.json)](firstdata/indexes/statistics.json)
[![Progress](https://img.shields.io/endpoint?url=https://raw.githubusercontent.com/MLT-OSS/FirstData/refs/heads/main/assets/badges/progress.json)](firstdata/indexes/statistics.json)
[![MCP Server](https://img.shields.io/badge/MCP-AI%20Smart%20Search-purple.svg)](https://firstdata.deepminer.com.cn/)
[![Skill](https://img.shields.io/badge/Skill-Agent%20First-blue.svg)](skills/firstdata/SKILL.md)
[![ClawHub](https://img.shields.io/badge/ClawHub-firstdata-orange.svg)](https://clawhub.ai/ningzimu/firstdata)

---

## 🎯 为什么选择 FirstData?

### AI时代的事实防线：从"信息过载"到"真实稀缺"

在生成式 AI 重新塑造互联网的今天，**"信息"变得空前充沛，而"真实"正在变得稀缺**。

当噪音、拼贴与幻觉成为默认背景，**可信的一手证据（Primary Sources）不再只是参考资料，而是整个智能体系的地基**。

### 我们的目标：构建AI时代的可信底座

本项目旨在构建一个**面向全球的、权威的、结构化的 Primary Sources 知识库**。

我们系统性发掘并聚合跨领域高可信信源——覆盖科研学术、政务公开、法律法规、公司披露与财报、标准规范与行业权威资料等——**将分散、非标、难复用的原始内容，转化为可追溯、可验证、可引用的"核心事实（Core Facts）"**，并保留完整证据链与版本历史，确保每一条结论都能"回到原文"。

### 这是一道面向大模型时代的"事实防线"

✅ **为模型提供抗幻觉、抗投毒的可信底座**

- 计划覆盖1000+权威数据源（来源均为中外政府部门、国际组织、学术机构、行业权威协会）
- 100%的URL验证，确保链接可用

✅ **为 Deep Research 提供可计算、可复查的证据链闭环**

- 结构化元数据体系，包含完整访问路径
- 支持编程访问，实现自动化证据追溯

✅ **让 AI 从"模糊概括二手信息"升级为"基于原文证据的严谨推理与引用"**

- MCP智能Agent理解复杂查询，精准推荐权威数据源
- 提供直达原始数据的完整路径（URL、API、下载方式）
- 附带使用案例和引用示例，确保正确使用

> **In the GenAI era, Clean Data > Big Model.**
>
> **让每一次深度思考，都建立在可以被验证的事实之上。**

---

## 🚀 核心优势

| 特性                             | 我们的独特之处                                                                 | AI时代的价值                                               |
| -------------------------------- | ------------------------------------------------------------------------------ | ---------------------------------------------------------- |
| 🇨🇳**深度覆盖中国数据源** | **全球独家**：规划收录500+中国政府数据源，涵盖多个核心领域               | 填补全球数据源目录中的中国空白，为跨国研究提供可信中国数据 |
| 📊**结构化元数据体系**     | 完整元数据标准（访问URL、API接口、权威等级、更新频率、数据内容等），不只是链接 | 机器可读、可编程访问，支持自动化证据链构建                 |
| ⭐**权威等级分类**         | 政府、国际组织、研究机构、市场、商业等六类权威等级                             | 科学评估数据源可信度，为AI提供质量过滤依据                 |
| 🤖**AI智能搜索**           | 基于LLM驱动的数据源查询Agent，理解复杂多维度查询                               | 自然语言即可获取权威数据源，无需人工筛选                   |
| 🔌**MCP协议集成**          | 提供标准MCP Server，可集成到Claude Desktop、Cline等AI应用                      | 让任何AI应用都能访问权威数据源知识库                       |
| 🤖**Agent Skill 分发**     | 标准化 Skill 定义，Agent 可自动注册 token、自动配置 MCP，零人工介入             | Agent First — 让 Agent 像调用内置能力一样接入权威数据      |
| 🌍**中英双语支持**         | 所有元数据提供中英文版本                                                       | 连接全球数据生态，打破语言壁垒                             |
| 🔍**100%验证**             | 每个URL经过测试，每个数据源有完整文档，每个权威等级有依据                      | 确保数据源真实可用，避免断链和幻觉引用                     |

---

## 📊 数据源概览

### 覆盖范围

优先收录政府级与国际组织级权威数据源，同步覆盖顶级学术机构与行业权威来源：

| 类别              | 典型来源                                  |
| ----------------- | ----------------------------------------- |
| 🌍 **国际组织**   | 世界银行、IMF、OECD、WHO、FAO...          |
| 🇨🇳 **中国政府** | 人民银行、国家统计局、海关总署、证监会... |
| 🌎 **各国官方**   | 美国、加拿大、日本、英国、澳大利亚...     |
| 🎓 **学术机构**   | NBER、Penn World Table、PubMed...         |
| 🏭 **行业领域**   | 能源、金融、健康、气候...                 |

### 数据源列表

📄 浏览已收录的所有数据源：[firstdata/sources/README.md](firstdata/sources/README.md)

### 质量标准

每个收录的数据源均满足以下标准：

- ✅ **100% URL验证** — 每个链接都经过测试且可用
- ✅ **权威性优先** — 主要收录政府和国际组织数据源
- ✅ **元数据验证** — 所有JSON文件通过schema验证
- ✅ **双语文档** — 所有数据源提供中英文说明
- ✅ **证据链完整** — 提供从查询到原始数据的完整路径

## 📐 元数据结构

每个数据源包含 **结构化元数据**，支持机器可读和自动化证据链构建：

### 核心信息

- **唯一ID**：小写、连字符分隔的标识符
- **名称**：英文、中文和本地语言名称
- **组织**：名称、类型、国家、官方网站
- **描述**：详细的双语描述

### 访问与发现

- **主要URL**：主数据门户
- **API信息**：可用性、文档、认证要求
- **下载选项**：批量下载、支持格式（CSV、Excel、JSON等）
- **访问级别**：开放、需注册、学术、商业、受限

### 覆盖详情

- **地理范围**：全球、区域、国家、次国家级
- **国家/地区**：具体覆盖区域
- **时间范围**：起始年份、结束年份、更新频率
- **领域**：经济、健康、气候、能源等
- **数据内容**：具体数据类别和内容描述

### 权威性标识 - AI时代的可信度保障

**authority_level字段**：权威等级分类

- `government` - 政府机构
- `international` - 国际组织
- `research` - 研究机构
- `market` - 市场机构
- `commercial` - 商业机构
- `other` - 其他

**完整Schema**: 查看 [schemas/datasource-schema.json](schemas/datasource-schema.json)

## 🎯FirstData MCP

**连接自然语言与一手权威数据的"最后一公里"**

---

我们构建了权威数据源的结构化知识库，每个数据源都有完整的元数据、访问路径和权威性标识。但对于大多数用户来说，真正的挑战在于：如何在海量数据源中快速找到最合适的那一个？找到了数据源网站，如何在复杂的官方平台中准确定位目标数据？如何将这一切无缝集成到日常的 AI 工作流中？

**FirstData MCP** 正是为此而生——将静态的数据源知识库转化为动态的智能导航系统，让每个人都能轻松访问权威数据。

---

### 📖 为什么需要FirstData MCP？

在 LLM 时代，我们习惯了直接询问答案，但往往面临两个核心痛点：

❌ **痛点 1：数据来源不可

... (truncated)