자동 점수
홈페이지홈페이지 > 소식 > 자동 점수

자동 점수

Nov 21, 2023

BMC 의학 연구 방법론 22권, 기사 번호: 286(2022) 이 기사 인용

1439 액세스

1 인용

1 알트메트릭

측정항목 세부정보

위험 예측 모델은 위험 계층화 및 자원 할당을 돕고 환자를 위한 더 나은 건강 관리로 이어질 수 있는 임상 의사 결정에 유용한 도구입니다. AutoScore는 이진 결과를 위한 기계 학습 기반 자동 임상 점수 생성기입니다. 본 연구는 AutoScore 프레임워크를 확장하여 순서적 결과에 대한 해석 가능한 위험 예측 도구를 제공하는 것을 목표로 합니다.

AutoScore-Ordinal 프레임워크는 변수 순위, 변수 변환, 점수 파생(비례 확률 모델에서), 모델 선택, 점수 미세 조정 및 모델 평가를 포함하여 원래 AutoScore 알고리즘과 동일한 6개 모듈을 사용하여 생성됩니다. AutoScore-Ordinal 성능을 설명하기 위해 이 방법은 2008년부터 2017년까지 싱가포르 종합병원 응급실의 전자 건강 기록 데이터에 대해 수행되었습니다. 모델은 데이터의 70%에 대해 훈련되었고 10%에 대해 검증되었으며 나머지에 대해 테스트되었습니다. 20%.

이 연구에는 445,989명의 입원 환자 사례가 포함되었으며, 서수 결과의 분포는 30일 재입원 없이 생존한 80.7%, 30일 재입원한 12.5%, 입원 환자 또는 퇴원 후 30일까지 6.8%가 사망했습니다. 유연한 변수 선택 절차에 의해 식별된 8개의 예측 변수로 구성된 두 세트를 사용하여 두 개의 포인트 기반 위험 예측 모델이 개발되었습니다. 두 모델은 수신기 작동 특성 곡선 아래의 평균 면적(0.758 및 0.793)과 일반화된 c-지수(0.737 및 0.760)로 측정한 합리적으로 우수한 성능을 나타냈으며 이는 대체 모델과 유사합니다.

AutoScore-Ordinal은 순서형 결과에 대한 위험 예측 모델의 개발 및 검증을 위한 자동화되고 사용하기 쉬운 프레임워크를 제공하며, 이를 통해 고차원 데이터에서 잠재적인 예측 변수를 체계적으로 식별할 수 있습니다.

동료 검토 보고서

위험 예측 모델은 임상의가 환자 데이터를 바탕으로 의료 결과의 확률을 추정하는 데 도움이 되는 수학 방정식입니다. 이러한 모델에는 임상 질문에 따라 질병이 존재하는지(진단 모델) 또는 특정 결과가 발생할지(예후 모델)를 예측하는 데 사용할 수 있는 정수점 점수가 포함됩니다. 여러 예측변수의 조합(다양한 예측변수에 대한 서로 다른 가중치)이 다변수 모델에 포함되어 위험 점수를 계산합니다[1,2,3]. Framingham Risk Score [4], Ottawa Ankle Rules [5], Nottingham Prognostic Index [6], Gail 모델 [7], Euro-SCORE [8], 수정된 등 일부 위험 예측 모델은 일상적인 임상 설정에서 사용되었습니다. 조기 경고 점수(MEWS) [9, 10] 및 단순화된 급성 생리학 점수 [11].

건강 정보 기술, 특히 전자 건강 기록(EHR)의 사용은 지난 10년 동안 증가하여 빅데이터 연구 기회를 제공합니다. EHR 데이터에는 위험 모델 개발을 위한 고유한 데이터 소스가 될 수 있는 자세한 환자 정보 및 임상 결과 변수가 포함되어 있습니다[12, 13]. EHR 데이터에 있는 많은 변수의 가용성은 위험 모델을 구축하기 위해 전통적인 회귀 분석을 사용할 때 수학적 문제가 될 수 있습니다. 대안적인 접근 방식인 머신 러닝(ML)은 수학적 알고리즘을 적용하여 이러한 빅 데이터를 처리함으로써 새로운 위험 예측 모델을 생성합니다. 전통적인 변수 선택 접근법(예: 후진 제거, 전진 선택, 사전 지정된 중지 규칙을 사용한 단계적 선택)은 EHR 데이터의 맥락에서 변수의 하위 집합이 다를 수 있으며 일부 임상 영역에서는 임상 지식을 항상 사용할 수 있는 것은 아닙니다. EHR 데이터 작업 시 위험 모델 개발에서 매우 중요한 측면인 지도 학습에 강력한 기능 선택 기술을 사용할 수 있습니다[13, 14].

 j, and the mean area under the receiver operating characteristic curve (AUC) across these binary classifications (referred to as mAUC hereafter) is used to evaluate the overall performance for predicting Y, which is equivalent to the average dichotomized c-index for evaluating ordinal predictions [47, 48]. In Module 4, a scoring model is grown by adding one variable at each time (based on the variable ranking from Module 1) until all candidate variables are included, and the improvement in mAUC (evaluated on the validation set) with increasing number of variables is inspected using the parsimony plot. The final list of variables is often selected when the benefit of adding a variable is small, where such small benefit could be assessed via visual inspection (by looking at parsimony plot) and clinical knowledge (and drop/include variables manually). Next, the cut-off values for continuous variables selected in Module 4 may be fine-tuned for favourable interpretation in Module 5, e.g., by using 10-year age groups instead of the arbitrarily defined quantile-based intervals. The final model is evaluated on the test set in Module 6 using the mAUC and Harrell's generalised c-index [47, 49, 50], which is based on the proportion of concordant pairs (i.e., when predictions and observed outcomes generate the same ranking for the pair of observations, including tied ranks) among all possible pairs of observations. For both mAUC and generalised c-index, a value of 0.5 indicates a random performance and a value of 1 indicates a perfect predictive performance. The mAUC and generalised c-index from the test set are reported with the bias-corrected 95% bootstrap confidence interval (CI) [51]./p>