[TOC]

# 概述

## 报告内容

- 本次模型报告由于代码处于开发阶段, 所以内容并不完整.
- 主要包括模型分的PSI, 以及AUC随时间的变化, 以及客群与整体的差别.
- 尽管模型监控代码加入了自动筛选异常客群的功能, 但要更加深入分析仍需要时间, 此版报告为简略版.

## 监控的模型

- 已监控模型:
  - 同盾V1
  - V6
  - 百融V1
  - 首贷融合模型
  - 融360首贷融合模型
  - 新颜V2
  - 新颜V3
  - 魔蝎
  - 复贷新融合模型(无运营商)
  - 复贷新融合模型(有运营商)
  - 短信模型
  - 探知
  - 同盾V2
  - 电话邦V2
  - 百融V2
  - 复贷V4
  - 首贷新融合模型(无运营商)
  - 首贷新融合模型(有运营商)
- 暂未监控模型:
  - 不明原因(待与模型负责人交流):
    - APP模型
    - 量信分V2
  - 还有一些模型待加入.

## 时间跨度

- 考虑到整体模型的时间跨度, 本次模型监控报告的取数时间范围为2019.03.01 - 2019.07. 26.

# PSI

## 与整体差别较大的客群

### 概述

- 由模型监控代码在已监控模型中, 产生的有效客群数量为465个.
- 设定PSI阈值(0.5)后, 筛选出的与整体差别较大的异常客群有15个.
- 设定PSI阈值(0.1)后, 筛选出的变化较大的异常客群有25个.

### 有哪些客群

- 客群列举:

  |               客群名称                | 月份 | PSI  |
  | :-----------------------------------: | :--: | :--: |
  |         同盾V1-复贷-百融榕树          |  6   | 0.57 |
  |            V6-首申-国美api            |  6   | 2.47 |
  |           V6-首申-壹账通H5            |  3   | 1.75 |
  |        V6-首申-平安一贷通安卓         |  5   | 2.07 |
  |          V6-复贷-51公积金API          |  3   | 0.53 |
  |          新颜V2-复申-挖财api          |  4   | 0.57 |
  |       首贷融合模型-复贷-全渠道        |  5   | 1.09 |
  |      首贷融合模型-首申-壹账通H5       |  3   | 1.89 |
  |   首贷融合模型-首申-平安一贷通安卓    |  5   | 2.13 |
  |       首贷融合模型-复申-挖财api       |  4   | 0.51 |
  |     融360首贷融合模型-复贷-全渠道     |  5   | 1.01 |
  |    融360首贷融合模型-首申-壹账通H5    |  3   | 1.82 |
  | 融360首贷融合模型-首申-平安一贷通安卓 |  5   | 2.13 |
  |    融360首贷融合模型-复申-挖财api     |  4   | 0.67 |

  

### 资质相对好的客群

- 暂时鉴别方式为在异常的基础上去看图, 准备后续加入趋势判断, 自动识别是变好还是变差.

- 经过查看, 均为资质相对较好的客群.

- 例如:

  ![融360首贷融合模型-复申-挖财api](../doc/image/融360首贷融合模型-复申-挖财api.png)

### 资质相对差的客群

- 无.



## 随时间分布变化较大的客群

### 有哪些客群

- 部分客群列举:

  |           客群名称           | 月份 | PSI  |
  | :--------------------------: | :--: | :--: |
  |    同盾分v1-首申-百融榕树    |  5   | 0.29 |
  |          V6-全样本           |  7   | 0.10 |
  |      新颜V2-复贷-全渠道      |  5   | 0.66 |
  |        新颜v3-全样本         |  6   | 0.10 |
  |         魔蝎-全样本          |  6   | 0.34 |
  |        短信分-全样本         |  7   | 0.13 |
  | 融360首贷融合模型-首申-融360 |  4   | 0.12 |
  |     电话邦V2-首申-全渠道     |  6   | 0.13 |

### 资质变好的客群

- 暂时鉴别方式为在异常的基础上去看图, 准备后续加入自动识别.

- 部分资质变好客群列举:

  |      客群名称      |
  | :----------------: |
  |     V6-全样本      |
  | 新颜V2-复贷-全渠道 |

  ![V6-全样本](../doc/image/V6-全样本.png)

### 资质变差的客群

- 部分资质变差客群列举:

  |        客群名称        |
  | :--------------------: |
  | 同盾分v1-首申-百融榕树 |
  |     短信分-全样本      |

  ![同盾分v1-首申-百融榕树](../doc/image/同盾分v1-首申-百融榕树.png)

# AUC

## 概述

- 由代码产生的客群为113个, 因为本身放款数量相对申请数量少, 且需要响应时间.
- 设定AUCR阈值为0.85, 得到的异常客群数量为23个.

## 相比整体模型效果较差的客群

- 客群列举:

  |        客群名称        | 月份 | AUCR |
  | :--------------------: | :--: | :--: |
  |  新颜V2-首申-挖财api   |  4   | 0.80 |
  |  新颜V2-首申-爱奇艺H5  |  3   | 0.80 |
  | 新颜v3-首申-360金融API |  4   | 0.85 |

  ![新颜V2-首申-爱奇艺H5](../doc/image/新颜V2-首申-爱奇艺H5.png)

## 模型效果随时间变差的客群

- 部分客群列举:

  |        客群名称         | 月份 | AUCR |
  | :---------------------: | :--: | :--: |
  | 同盾分v1-首申-爱奇艺H5  |  4   | 0.76 |
  |  同盾分v1-首申-挖财api  |  6   | 0.77 |
  |     V6-复申-全渠道      |  6   | 0.70 |
  | 首贷融合模型-首申-融360 |  5   | 0.75 |

  ![V6-复申-全渠道](../doc/image/V6-复申-全渠道.png)

