# 赛题02：多模态融合的知识组织与决策生成

## 赛题详细信息

在复杂事件分析研判场景中，原始信息通常并不是同一种格式：有的是开源文本和摘要，有的是按字段记录的表格。前者用自然语言描述事件，后者记录时间、位置、任务、数量和属性等参数。
分析人员需要在连续多日材料中找出活动主体、地点区域和事件链条，判断不同来源是否在描述同一事件，并把零散事实整理为可核验、可追踪的结构化日报。
本赛题要解决的核心问题是：如何让智能系统同时理解多类输入，把分散信息组织成统一、可靠的事件知识，并在识别冲突和噪声的基础上生成规范报告。

## 技术路线分析

三、赛题02：多模态融合的知识组织与决策生成

这个题其实不只是“多模态”。

它的真正核心是：

多源事件知识融合。

### 1. 最合理的系统架构

建议直接拆成 6 层。

原始文本 + 表格
       ↓
① 信息解析
       ↓
② Entity / Event Extraction
       ↓
③ Entity Linking / Event Coreference
       ↓
④ Event Knowledge Graph
       ↓
⑤ Conflict / Evidence Verification
       ↓
⑥ Report Generation
### 2. 第一层：文档解析

文本直接输入 LLM/IE 模型。

表格：

时间
地点
主体
任务
数量
属性

转成统一 Schema：

JSON
{
  "subject": "...",
  "event": "...",
  "time": "...",
  "location": "...",
  "quantity": "...",
  "source": "..."
}

这样后面所有数据都统一成 event。

### 3. 第二层：事件抽取

例如：

A 部门于 7 月 3 日在 X 地完成某任务。

转换为：

Event=(actor,action,time,location,object)

LLM 负责抽取。

小模型可以负责：

NER

Relation Extraction

Event Extraction

### 4. 第三层：跨来源事件融合

这是整个赛题最关键的地方。

比如：

材料 A：

7 月 3 日 A 在 X 地开展活动。

材料 B：

当日上午，A 单位进入 X 地区。

需要判断：

Event
A

≡Event
B

?

这就是：

Cross-Document Event Coreference

2025 年仍是活跃研究问题，ACL 的研究继续针对跨文档事件/实体共指中的上下文不足问题提出新的增强方案。

### 5. 第四层：构建 Event Knowledge Graph

例如：

主体 A
 │
 ├─参加→ Event1
 │        ├─time→ 07/03
 │        ├─location→ X
 │        └─related→ Event2
 │
 └─参加→ Event3

同时保存：

Event
Evidence
Source
Confidence

非常重要：

任何最终报告内容都必须能回溯到 Evidence。

### 6. 第五层：冲突检测

例如：

材料 1：

数量为 3

材料 2：

数量为 5

不能直接让 LLM“平均一下”。

应该：

事实候选
 ↓
冲突检测
 ↓
来源可靠度
 ↓
时间一致性
 ↓
Evidence Support
 ↓
最终事实/保留冲突

可以使用：

NLI

contradiction detection

confidence scoring

multi-agent verification

### 7. 第六层：受约束报告生成

不要直接：

所有材料 → LLM → 日报

这是非常危险的 baseline。

更好的方案：

Documents
 ↓
Event KG
 ↓
Evidence Retrieval
 ↓
Report Planner
 ↓
LLM
 ↓
Structured Report

也就是：

Graph-RAG / Event-RAG

2025 ACL 的 EventRAG 就是非常值得参考的一条路线：先从多源文档构造事件知识图谱，再利用事件间的时间和逻辑关系进行迭代检索与推理，明显改善多跳推理和生成一致性。

到 2026 年，已经有多模态知识图谱系统把文本、表格、图像等不同文档模态统一抽取到 KG 中，再作为可验证的 RAG 证据层。

### 8. 这个题真正能创新的地方

我会优先做：

Event-centric RAG

普通：

ChunkRAG

升级成：

EventRAG
Evidence-aware Generation

每句话：

Sentence→Evidence

做到“可追溯报告”。

Conflict-aware Knowledge Graph

边上增加：

support
contradict
uncertain
时间图谱
Event
1

→Event
2

→Event
3


而不是普通静态知识图谱。

评价

非常适合：

大模型 + NLP + 知识图谱团队。

答辩效果也非常好，因为可以展示：

原始材料 → 事件图谱 → 冲突 → 证据 → 日报。

推荐度

8.7/10

## 相关论文与开源项目

- [EventRAG: Enhancing LLM Generation with Event Knowledge Graphs](https://aclanthology.org/2025.acl-long.830/)（ACL 2025）：面向多文档事件抽取、事件图构建、跨文档融合与迭代检索；[作者代码](https://github.com/Ryaang/EventRAG)。
- [Microsoft GraphRAG](https://github.com/microsoft/graphrag)：从非结构化文本抽取实体与关系、构建图并进行图增强检索的参考工程。仓库当前声明为研究项目并处于维护模式，适合作为原型基础，不应视为生产级官方支持组件。

建议起点：`GraphRAG → Event Graph RAG → 证据可追溯的报告生成`。