修复 P0:根因判定、退服率口径、影响评估与告警关联量化

- 根因判定改为三级(衍生关系/时间窗/疑似)并带置信度;小区退服告警 ±2 分钟匹配;
  衍生告警按父告警归类;优先选随业务恢复清除的告警;时间窗按历史流水 95% 分位数标定
- 退服率按日历统计周期计算;站点数分母支持站名关键字;重复退服率除以全部站点;
  月均按统计周期自然月数;导出与看板同一口径
- 影响评估新增受影响用户·小时与 500 米邻站覆盖补偿
- 新增告警—退服关联量化(支持度/置信度/提升度)及 /api/association,根因页展示
- 新增 tests/(扰动数据集留出检验、指标口径检验)与 bench.py;旧库启动时自动迁移

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
treeandClaude Opus 5.5 committed 2026-11-18 14:43:34 +08:00
1 parent f8d1ccc526
commit e9616af34d
10 files changed
+869 -119

No files matched your search

+28 -12
View File
@@ -25,10 +25,11 @@ Python + Flask + SQLite 后端,React 19 + [Liquid Glass UI](https://tsdsj.gith
```
Local-sever/
├── app.py Flask 路由:认证与权限、增删改查、导入、统计、导出、日志、用户;托管前端页面
├── core.py 核心算法:建库入库、两级根因关联、时长与考核指标
├── core.py 核心算法:建库入库、时间窗标定、三级根因关联、告警关联量化、时长与考核指标
├── importer.py 数据导入:读取 Excel/CSV、自动识别文件类型、逐行校验(见下方“支持导入的文件”)
├── data_gen.py 第 18 题数据生成器(Data-Generated-Core-Py/data.py 的改进版,字段口径一致)
├── publish_online.py 同步到 ../Online-sever(1Panel 线上版)
├── bench.py 性能与时长准确率测试(对应开题报告预期目标)
├── tests/ 根因准确率扰动测试、考核指标口径测试(见下方“测试”)
├── data/ sites.csv / data_outage.csv / data_alarm.csv 种子数据,outage.db 自动生成
├── static/ 前端(全部可直接阅读和修改)
│ ├── index.html 页面入口,importmap 把 'vendor' / 'echarts' 指向 vendor/ 下的文件
@@ -42,8 +43,6 @@ Local-sever/
│ │ ├── components/ ui(卡片/指标/标签/下拉)、DataTable(表格+分页)、FormDialog、EChart、icons
│ │ └── pages/ index.js 页面注册表 + 10 个业务页面,一页一个文件
│ └── vendor/ 第三方库(React、液态玻璃组件库、htm、ECharts),压缩文件,不要手改
├── tools/vendor-build/ 只在升级第三方库时使用,见下文
└── _legacy_frontend/ 最早的原生 JS 前端,仅供对照,可删除
```
## 修改前端
@@ -68,7 +67,7 @@ html`<${Section} title="标题" span=${6}><${EChart} option=${opt}/></${Section}
### 升级第三方库(很少需要)
`static/vendor/` 由 `tools/vendor-build/` 一次性生成。只有升级 React、组件库或 ECharts,或需要新的 React API / 新的图表类型时才需要 Node.js 20.19+:
`static/vendor/` 由 `tools/vendor-build/`(不在本仓库中)一次性生成。只有升级 React、组件库或 ECharts,或需要新的 React API / 新的图表类型时才需要 Node.js 20.19+:
```bash
cd tools/vendor-build
@@ -112,12 +111,29 @@ npm run build # 重新生成 ../../static/vendor/
## 核心算法(core.py)
- **退服时长**:一律按“恢复时间 − 开始时间”重算;上报时长保存为 `reported_min`,两者相差超过 1 分钟即标记为“时长差错”。
- **退服率** = 总退服时长 ÷(站点数 × 统计时长);**网络可用率** = 1 − 退服率。
- **超长退服站点**:月均超长退服 ≥ 1 次(单次时长 ≥ 场景阈值)。**高频重复站点**:月均退服次数 ≥ 场景次数阈值。两个阈值都可在页面上配置。
- **根因判定分两级**:
1. 衍生关系:“小区退服”告警带有 `parent_alarm_id` 时,直接取父告警的类别。
2. 时间窗:回溯退服前未清除的同站告警,按优先级判定:割接施工(30 分钟)→ 电源故障(300 分钟)→ 机房环境(180 分钟)→ 传输中断(15 分钟)→ 天馈故障(30 分钟)→ 设备硬件(15 分钟)。
- **统计周期**:顶栏筛选了月份 / 日期范围时取筛选范围(同时有则取交集),否则取全部流水首日 0 点到末日 24 点。
- **退服率** = 总退服时长 ÷(站点数 × 统计周期);**网络可用率** = 1 − 退服率。站点数按场景、片区、站型、厂家、站名关键字筛选。看板、对标与导出用同一口径。
- **超长退服站点**:月均超长退服 ≥ 1 次(单次时长 ≥ 场景阈值)。**高频重复站点**:月均退服次数 ≥ 场景次数阈值。“月均”按统计周期的自然月数计算。**重复退服率** = 高频重复站点数 ÷ 站点数。
- **根因判定分三级**(每条结果带置信度 高 / 中 / 低):
0. 衍生告警归并:带 `parent_alarm_id` 的告警按父告警类别计(停电引起的传输告警归为电源故障)。
1. 衍生关系(高):与退服开始相差 ≤ 2 分钟的“小区退服”告警带父告警时,取父告警类别。
2. 时间窗(中):同站在退服时仍未清除、提前量在该类时间窗内的告警。
3. 疑似(低):时间窗放宽到 3 倍才命中,提示人工复核。
准确率按“上报原因大类 × 判定根因”交叉矩阵计算,样例数据约 98%。
多条命中时依次比较:级别 → 是否随业务恢复清除(±15 分钟)→ 规则优先级(割接施工 → 电源故障 → 机房环境 → 传输中断 → 天馈故障 → 设备硬件)→ 时间早;都没有命中判为“其他”。
- **时间窗标定**:每次全量分析前,用已闭环流水中同站同类告警的提前量 95% 分位数标定各类时间窗(不小于默认值 30/300/180/15/30/15 分钟,不大于 720 分钟;样本少于 30 条时沿用默认值)。
- **告警—退服关联量化**:对每类告警计算支持度(退服前 W 分钟内有该类告警的退服占比)、置信度(该类告警其后 W 分钟内发生退服的比例)、提升度(置信度 ÷ 随机窗口遇到退服的概率)。
- **断站分级**:重要 / 主要 / 次要,对应不同的处置响应时限。
- **影响评估**:受影响用户 = 小区数 × 单小区在线用户 × 忙闲时系数;业务损失 = 小区话务 × 退服时长。
- **影响评估**:受影响用户 = 小区数 × 单小区在线用户 × 忙闲时系数 × 覆盖补偿系数;受影响用户·小时 = 受影响用户 × 退服时长;业务损失 = 小区话务 × 忙闲时系数 × 覆盖补偿系数 × 退服时长。覆盖补偿:500 米内每有一个邻站下降 10%(室分 5%),最低 40%。
## 测试
测试都在 `tests/_work/` 下建临时数据库,不影响 `data/outage.db`。
```bash
python tests/test_rootcause.py # 根因判定准确率:基线 + 6 组扰动数据(去父告警、时钟偏移、告警缺失、干扰告警、提前量变宽、综合)
python tests/test_kpi.py # 统计周期、稀疏筛选、月均口径、看板与导出一致、影响评估、关联量化
python bench.py # 单批 1 万条导入耗时、全量分析耗时、时长计算准确率
```
根因测试的时间窗只用 1~6 月流水标定,在 7~9 月流水上计分(留出检验)。数据为合成数据,准确率反映的是算法在设定扰动下的表现,论文中应同时说明扰动设置。