概述

报告内容

• 本次模型报告由于代码处于开发阶段, 所以内容并不完整.
• 主要包括模型分的PSI, 以及AUC随时间的变化, 以及客群与整体的差别.
• 尽管模型监控代码加入了自动筛选异常客群的功能, 但要更加深入分析仍需要时间, 此版报告为简略版.

监控的模型

• 已监控模型:

  • 同盾V1
  • V6
  • 百融V1
  • 首贷融合模型
  • 融360首贷融合模型
  • 新颜V2
  • 新颜V3
  • 魔蝎
  • 复贷新融合模型(无运营商)
  • 复贷新融合模型(有运营商)
  • 短信模型
  • 探知
  • 同盾V2
  • 电话邦V2
  • 百融V2
  • 复贷V4
  • 首贷新融合模型(无运营商)
  • 首贷新融合模型(有运营商)

• 暂未监控模型:

  • 不明原因(待与模型负责人交流):

    • APP模型
    • 量信分V2

  • 还有一些模型待加入.

时间跨度

• 考虑到整体模型的时间跨度, 本次模型监控报告的取数时间范围为2019.03.01 - 2019.07. 26.

PSI

与整体差别较大的客群

概述

• 由模型监控代码在已监控模型中, 产生的有效客群数量为465个.
• 设定PSI阈值(0.5)后, 筛选出的与整体差别较大的异常客群有15个.
• 设定PSI阈值(0.1)后, 筛选出的变化较大的异常客群有25个.

有哪些客群

• 客群列举:

  客群名称	月份	PSI
  同盾V1-复贷-百融榕树	6	0.57
  V6-首申-国美api	6	2.47
  V6-首申-壹账通H5	3	1.75
  V6-首申-平安一贷通安卓	5	2.07
  V6-复贷-51公积金API	3	0.53
  新颜V2-复申-挖财api	4	0.57
  首贷融合模型-复贷-全渠道	5	1.09
  首贷融合模型-首申-壹账通H5	3	1.89
  首贷融合模型-首申-平安一贷通安卓	5	2.13
  首贷融合模型-复申-挖财api	4	0.51
  融360首贷融合模型-复贷-全渠道	5	1.01
  融360首贷融合模型-首申-壹账通H5	3	1.82
  融360首贷融合模型-首申-平安一贷通安卓	5	2.13
  融360首贷融合模型-复申-挖财api	4	0.67

   

资质相对好的客群

• 暂时鉴别方式为在异常的基础上去看图, 准备后续加入趋势判断, 自动识别是变好还是变差.

• 经过查看, 均为资质相对较好的客群.

• 例如:

  

资质相对差的客群

• 无.

随时间分布变化较大的客群

有哪些客群

• 部分客群列举:

  客群名称	月份	PSI
  同盾分v1-首申-百融榕树	5	0.29
  V6-全样本	7	0.10
  新颜V2-复贷-全渠道	5	0.66
  新颜v3-全样本	6	0.10
  魔蝎-全样本	6	0.34
  短信分-全样本	7	0.13
  融360首贷融合模型-首申-融360	4	0.12
  电话邦V2-首申-全渠道	6	0.13

资质变好的客群

• 暂时鉴别方式为在异常的基础上去看图, 准备后续加入自动识别.

• 部分资质变好客群列举:

  客群名称
  V6-全样本
  新颜V2-复贷-全渠道

  

资质变差的客群

• 部分资质变差客群列举:

  客群名称
  同盾分v1-首申-百融榕树
  短信分-全样本

  

AUC

概述

• 由代码产生的客群为113个, 因为本身放款数量相对申请数量少, 且需要响应时间.
• 设定AUCR阈值为0.85, 得到的异常客群数量为23个.

相比整体模型效果较差的客群

• 客群列举:

  客群名称	月份	AUCR
  新颜V2-首申-挖财api	4	0.80
  新颜V2-首申-爱奇艺H5	3	0.80
  新颜v3-首申-360金融API	4	0.85

  

模型效果随时间变差的客群

• 部分客群列举:

  客群名称	月份	AUCR
  同盾分v1-首申-爱奇艺H5	4	0.76
  同盾分v1-首申-挖财api	6	0.77
  V6-复申-全渠道	6	0.70
  首贷融合模型-首申-融360	5	0.75