想要了解ROC曲线吗?不急,先来看看下面的小情景。
【情景设置】
牛逼的我:师傅,您能对我上点心吗?!文章还没发,明年快毕业了啊。。。
豆逼导师:小牛啊,我是挺中意你的。。
牛逼的我:师傅,你想多了。我是指对我的【论文】上点心。。。
豆逼导师:(故作正经)昨天你师兄的实验结束了。咱们这里有2组人群。一组是病人,一组是健康人。我们检测了他们血清中X指标。你看看,怎么才能根据X的数值,来判断一个人是病人还是健康人?判断的效果好不好。我先走了。。。明天到我办公室来汇报。。。
牛逼的我:哦。。。。
【统计方法】
来听听统计学砖家和叫兽是怎么考虑“豆逼导师”给小牛的问题的。
这是一个典型的诊断试验数据分析。每个人的血清X指标都不太一样,有大有小。一般是病人高,健康人低。实际上,小牛需要找到一个X指标的阈值。如果X指标超过阈值,则判断某一对象为病例;低于阈值,则判断某一对象为健康人。
显然,这么判断,肯定会出现错判的情况。也就是常说的假阳性和假阴性。如图1所示:
假阳性就是误诊,假阴性就是漏诊。按照“豆逼导师”的要求,咱们应该找到一个比较好的阈值,尽可能使得误诊和漏诊的比例尽可能低。
现在假设我们选定了一个阈值,并且将判断的结果整理成图2所示:
金标准,就是一个人真实的情况,是患者还是非患者。
诊断试验的结果,就是根据你的阈值,判断某一对象是患者还是非患者。
据此,我们可以计算以下几个常见的统计学指标,来评价判断的效果好还是不好。见下图3、图4。
实际上,判断效果好,就是要求灵敏度和特异度要高。如下图5,所示。
那么问题来了:如何确定一个最佳的阈值,使得灵敏度和特异度相对达到最大?
我们可以这么做。尝试设置不同的阈值。不同的阈值,判断结果不同,灵敏度和特异度不同。可以绘制以下一张图形。
横轴是不同的阈值。考虑的简单一点,咱们这里假设X的范围是0~1。蓝色的线代表的不同阈值下,灵敏度的变化。红色的线,代表的特异度的变化。两条线相交的地方,对应的那个阈值就是最佳阈值。图中,最佳阈值就是0.48。
那如果我们选择0.48做为标准来判断的话,对应的灵敏度和特异度到底是多少呢?如图所示,50个病人中,47个判断正确,灵敏度达到94%,127健康人中,119个判断正确,特异度达到93.7%。所有177个人当中,47+119个人判断正确了,正确率达到93.79%。
那大家会觉得奇怪了。这和ROC曲线有半毛钱关系啊?
别急,别急。。。
如果大家明白了小编说的这些内容。就不难理解ROC曲线了。
ROC曲线,全称是receiver operating characteristic curve,简称ROC曲线。中文翻译是受试者工作特征曲线。如下图所示。
如果横轴是1-特异度,纵轴是灵敏度。那么就会形成1个弯曲的曲线。这个曲线和45度的直线会形成一个曲线下面积(area under ROC),简称AUC。AUC越大,说明判断的效果越好。
以下是是通过AUC对判断效果进行评价的标准:
0.5<><>
0.6<><>
0.7<><>
0.8<><>
0.9<><>
如图所示,AUC为0.9758,说明判断效果优秀了!
但是,实际工作中,一般AUC在0.7-0.9范围内的比较常见。超过0.9的属于凤毛麟角了。当然,如果你对自己的分析结果不满意的话,可以求助专业的统计师哦。他们有能力、有策略,做得比你更好。
【知识总结】
(1)ROC曲线其实是诊断试验中用于展示某个判断原则效果好差的一种图形,可以通过AUC来衡量大小。
(2)给定最佳阈值后,可以通过灵敏度、特异度、正确率来评价判断的具体效果。
(3)当然,实际应用过程中还有其他方法、其他可以计算的统计指标。
订阅号那么多,找不到默博士了?