ROC 곡선과 AUC 값을 통해 테스트 성능 이해하기

진단 테스트는 질병을 진단할 때 얼마나 정확한 결과를 제공하는지가 매우 중요합니다. 특히 임상에서 널리 사용되는 ROC(Receiver Operating Characteristic, 수신자 조작 특성) 곡선은 테스트의 민감도와 특이도 사이의 균형을 시각적으로 보여주기 때문에 유용합니다. 오늘은 ROC 곡선과 이를 기반으로 한 AUC(Area Under the Curve) 값을 통해 진단 테스트의 성능을 평가하는 방법을 알아보겠습니다.

진단 테스트의 기본 개념

우선, 진단 테스트 결과는 네 가지 주요 범위로 나눌 수 있습니다. 이를 통해 테스트의 민감도와 특이도를 계산하게 되며, ROC 곡선을 그리기 위한 기본 데이터를 확보할 수 있습니다.

 

진양성(True Positive, TP)= 실제로 질병이 있는 사람을 검사에서 양성으로 진단한 경우.

200명의 질병이 있는 사람 중 180명이 검사 결과 양성으로 나왔다면, 이 180명이 진양성입니다.

 

위양성(False Positive, FP)= 실제로 질병이 없는 사람을 검사에서 양성으로 잘못 진단한 경우.

800명의 건강한 사람 중 40명이 검사 결과 양성으로 나왔다면, 이 40명이 위양성입니다.

 

진음성(True Negative, TN)= 실제로 질병이 없는 사람을 검사에서 음성으로 정확히 진단한 경우.

800명의 질병이 없는 사람 중 760명이 음성으로 나왔다면, 이들이 진음성입니다.

 

위음성(False Negative, FN)= 실제로 질병이 있는 사람을 검사에서 음성으로 잘못 진단한 경우. 

200명의 질병이 있는 사람 중 20명이 음성으로 나왔다면, 이들이 위음성입니다.

ROC 곡선이란?

ROC 곡선은 민감도(참양성률, TPR)와 위양성률(FPR) 사이의 관계를 시각적으로 나타내는 그래프입니다. 여기서 민감도는 질병이 있는 사람 중 양성으로 진단된 비율을 의미하고, 위양성률은 질병이 없는 사람 중 양성으로 잘못 진단된 비율을 의미합니다.

 

 

주황색 영역 (AUC = 0.7)

보통 수준의 성능을 나타냅니다.

초록색 영역 (AUC = 0.8)

양호한 성능을 보여줍니다.

파란색 영역 (AUC = 0.9)

우수한 성능을 의미합니다.

검정색 영역 (AUC = 1.0)

완벽한 성능을 나타냅니다.

빨간색 점선 (AUC = 0.5)

무작위 추측을 의미하는 성능입니다.

 

 

 

 

 

 

ROC 곡선에서 중요한 지표는 곡선 아래의 면적을 나타내는 AUC(Area Under the Curve) 값입니다. AUC 값은 테스트의 성능을 숫자로 요약하며, 다음과 같은 의미를 갖습니다.

곡선이 왼쪽 위 모서리에 가까울수록 평가의 성능이 더 좋습니다.

• AUC = 1: 완벽한 테스트를 의미합니다. 모든 질병이 있는 사람을 양성으로, 질병이 없는 사람을 음성으로 정확히 구분하는 경우입니다.
• AUC = 0.5: 무작위 추측을 의미합니다. 테스트가 양성과 음성을 구분하지 못하는 경우입니다.
• AUC < 0.5: 성능이 매우 나쁜 테스트를 의미하며, 실제 양성을 음성으로, 음성을 양성으로 잘못 진단하는 경우입니다.

반응형

진단 결과를 활용한 ROC 곡선

다음은 한 질병에 대한 진단 테스트의 결과를 바탕으로 한 ROC 곡선 예시입니다.

진양성(TP): 180명 (질병이 있는 200명 중 180명 양성)

위양성(FP): 40명 (질병이 없는 800명 중 40명 양성)

진음성(TN): 760명 (질병이 없는 800명 중 760명 음성)

위음성(FN): 20명 (질병이 있는 200명 중 20명 음성)

 

이 결과를 바탕으로 민감도와 위양성률을 계산할 수 있습니다.

 

민감도(TPR): 180/180+20=0.9 질병이 있는 사람들 중 90%가 양성으로 정확히 진단되었습니다.

위양성률(FPR): 40/40+760=0.05 질병이 없는 사람들 중 5%가 양성으로 잘못 진단되었습니다.

 

 

 

파란색 곡선은 이 테스트의 성능을 나타냅니다. ROC 곡선이 왼쪽 상단 모서리에 가까울수록 테스트의 성능이 더 우수합니다.

 

빨간색 점선은 무작위 추측을 나타내는 기준선(AUC = 0.5)입니다.

 

 

 

 

 

 

 

 

CAL과 QC의 차이 -기초

 

민감도 개선을 위해 임계값(Threshold) 조정을 한다면?

진단 테스트의 결과는 임계값에 따라 양성 또는 음성으로 분류됩니다. 이 임계값을 낮추면, 더 많은 결과가 양성으로 분류되며, 그에 따라 민감도가 증가합니다. 동시에 위양성률(FPR)이 높아질 수 있다는 점을 유념해야 합니다. 위양성률이 높아지면 질병이 없는 사람을 잘못 진단하는 결과가 늘어나므로, 특이도(1-FPR)와의 균형을 맞추는 것이 중요합니다. 민감도를 너무 높이면 불필요한 양성 결과가 증가할 수 있고, 이는 추가적인 검사나 불필요한 치료로 이어질 수 있습니다.