Кривая AUC - ROC - это измерение производительности для задач классификации при различных настройках пороговых значений. ROC - это кривая вероятности, а AUC - степень или мера разделимости. Он говорит о том, насколько модель способна различать классы. Чем выше AUC, тем лучше модель предсказывает 0 классов как 0 и 1 класс как 1. По аналогии, чем выше AUC, тем лучше модель позволяет различать пациентов с заболеванием и пациентов без заболевания.

Кривая ROC построена с отношением TPR к FPR, где TPR находится на оси y, а FPR - на оси x.

Определение терминов, используемых в кривой AUC и ROC.

TPR (истинно положительный коэффициент) / отзыв / чувствительность

Специфика

FPR

Как строить предположения о производительности модели?

Отличная модель имеет AUC, близкую к 1, что означает, что она хорошо разделима. Плохая модель имеет AUC около 0, что означает худший показатель разделимости. Фактически, это означает, что он отвечает взаимностью. Он предсказывает 0 как 1 и 1 как 0. А когда AUC составляет 0,5, это означает, что модель вообще не имеет возможности разделения классов.

Давайте интерпретируем приведенные выше утверждения.

Как известно, ROC - это кривая вероятности. Итак, давайте изобразим распределение этих вероятностей:

Примечание. Красная кривая распределения относится к положительному классу (пациенты с заболеванием), а зеленая кривая распределения - к отрицательному классу (пациенты без заболевания).

Это идеальная ситуация. Когда две кривые вообще не перекрываются, это означает, что модель имеет идеальную меру разделимости. Он отлично умеет отличать положительный класс от отрицательного.

Когда два распределения перекрываются, мы вводим ошибки типа 1 и типа 2. В зависимости от порога мы можем минимизировать или максимизировать их. Когда AUC составляет 0,7, это означает, что существует 70% -ная вероятность того, что модель сможет различать положительный класс и отрицательный класс.

Это худшая ситуация. Когда AUC составляет приблизительно 0,5, модель не обладает способностью различать положительный класс и отрицательный класс.

Когда AUC приблизительно равна 0, модель фактически отвечает классам. Это означает, что модель предсказывает отрицательный класс как положительный и наоборот.

Связь между чувствительностью, специфичностью, FPR и порогом.

Чувствительность и специфичность обратно пропорциональны друг другу. Поэтому, когда мы увеличиваем Чувствительность, Специфичность уменьшается, и наоборот.

Чувствительность⬆️, специфичность⬇️ и чувствительность⬇️, специфичность⬆️

Когда мы уменьшаем порог, мы получаем больше положительных значений, что увеличивает чувствительность и снижает специфичность.

Точно так же, когда мы увеличиваем порог, мы получаем больше отрицательных значений, таким образом, мы получаем более высокую специфичность и более низкую чувствительность.

Как известно, FPR - это 1 - специфичность. Поэтому, когда мы увеличиваем TPR, FPR также увеличивается, и наоборот.

TPR⬆️, FPR⬆️ и TPR⬇️, FPR⬇️

Как использовать кривую AUC ROC для мультиклассовой модели?

В мультиклассовой модели мы можем построить N кривых AUC ROC для N числовых классов, используя методологию One vs ALL. Так, например, если у вас есть три класса с именами X, Y, и Z, у вас будет один ROC для X, классифицированный по Y и Z , еще один ROC для Y классифицирован по X и Z, а третий из Z классифицирован по Y и X.

Спасибо за прочтение.

Надеюсь, я дал вам некоторое представление о том, что такое кривая AUC - ROC. Если вам понравился этот пост, несколько хлопков в ладоши будет полезным для дополнительной мотивации 👏. Я всегда открыт для ваших вопросов и предложений. Вы можете поделиться этим в Facebook, Twitter, Linkedin, чтобы кто-то, кто в этом нуждался, мог наткнуться на это.

Вы можете связаться со мной по адресу:

LinkedIn: https://www.linkedin.com/in/narkhedesarang/

Twitter: https://twitter.com/narkhede_sarang

Github: https://github.com/TheSarang