# 概述

## 报告内容

- 本次模型报告由于代码处于开发阶段, 所以内容并不完整.
- 主要包括模型分的PSI, 以及AUC随时间的变化, 以及客群与整体的差别.
- 尽管模型监控代码加入了自动筛选异常客群的功能, 但要更加深入分析仍需要时间, 此版报告为简略版.

## 监控的模型

- 已监控模型:

  - 同盾V1
  - V6
  - 百融V1
  - 首贷融合模型
  - 融360首贷融合模型
  - 新颜V2
  - 新颜V3
  - 魔蝎
  - 复贷新融合模型(无运营商)
  - 复贷新融合模型(有运营商)
  - 短信模型
  - 探知
  - 同盾V2
  - 电话邦V2
  - 百融V2
  - 复贷V4
  - 首贷新融合模型(无运营商)
  - 首贷新融合模型(有运营商)

- 暂未监控模型:

  - 不明原因(待与模型负责人交流):

    - APP模型
    - 量信分V2

  - 还有一些模型待加入.

## 时间跨度

- 考虑到整体模型的时间跨度, 本次模型监控报告的取数时间范围为2019.03.01 - 2019.07. 26.

# PSI

## 与整体差别较大的客群

### 概述

- 由模型监控代码在已监控模型中, 产生的有效客群数量为465个.
- 设定PSI阈值(0.5)后, 筛选出的与整体差别较大的异常客群有15个.
- 设定PSI阈值(0.1)后, 筛选出的变化较大的异常客群有25个.

### 有哪些客群

- 客群列举:

  客群名称 | 月份 | PSI
  --- | --- | ---
  同盾V1-复贷-百融榕树 | 6 | 0.57
  V6-首申-国美api | 6 | 2.47
  V6-首申-壹账通H5 | 3 | 1.75
  V6-首申-平安一贷通安卓 | 5 | 2.07
  V6-复贷-51公积金API | 3 | 0.53
  新颜V2-复申-挖财api | 4 | 0.57
  首贷融合模型-复贷-全渠道 | 5 | 1.09
  首贷融合模型-首申-壹账通H5 | 3 | 1.89
  首贷融合模型-首申-平安一贷通安卓 | 5 | 2.13
  首贷融合模型-复申-挖财api | 4 | 0.51
  融360首贷融合模型-复贷-全渠道 | 5 | 1.01
  融360首贷融合模型-首申-壹账通H5 | 3 | 1.82
  融360首贷融合模型-首申-平安一贷通安卓 | 5 | 2.13
  融360首贷融合模型-复申-挖财api | 4 | 0.67

### 资质相对好的客群

- 暂时鉴别方式为在异常的基础上去看图, 准备后续加入趋势判断, 自动识别是变好还是变差.

- 经过查看, 均为资质相对较好的客群.

- 例如:

### 资质相对差的客群

- 无.

## 随时间分布变化较大的客群

### 有哪些客群

- 部分客群列举:

  客群名称 | 月份 | PSI
  --- | --- | ---
  同盾分v1-首申-百融榕树 | 5 | 0.29
  V6-全样本 | 7 | 0.10
  新颜V2-复贷-全渠道 | 5 | 0.66
  新颜v3-全样本 | 6 | 0.10
  魔蝎-全样本 | 6 | 0.34
  短信分-全样本 | 7 | 0.13
  融360首贷融合模型-首申-融360 | 4 | 0.12
  电话邦V2-首申-全渠道 | 6 | 0.13

### 资质变好的客群

- 暂时鉴别方式为在异常的基础上去看图, 准备后续加入自动识别.

- 部分资质变好客群列举:

  客群名称
  V6-全样本
  新颜V2-复贷-全渠道

### 资质变差的客群

- 部分资质变差客群列举:

  客群名称
  同盾分v1-首申-百融榕树
  短信分-全样本

# AUC

## 概述

- 由代码产生的客群为113个, 因为本身放款数量相对申请数量少, 且需要响应时间.
- 设定AUCR阈值为0.85, 得到的异常客群数量为23个.

## 相比整体模型效果较差的客群

- 客群列举:

  客群名称 | 月份 | AUCR
  --- | --- | ---
  新颜V2-首申-挖财api | 4 | 0.80
  新颜V2-首申-爱奇艺H5 | 3 | 0.80
  新颜v3-首申-360金融API | 4 | 0.85

## 模型效果随时间变差的客群

- 部分客群列举:

  客群名称 | 月份 | AUCR
  --- | --- | ---
  同盾分v1-首申-爱奇艺H5 | 4 | 0.76
  同盾分v1-首申-挖财api | 6 | 0.77
  V6-复申-全渠道 | 6 | 0.70
  首贷融合模型-首申-融360 | 5 | 0.75