Матрица путаницы и ее метрики: объяснение

Точность, полнота, специфичность, прецизионность и оценка F1.

Предположим, авиакомпания владеет 100 самолетами и хочет проверить каждый из них, чтобы убедиться, что они безопасны для путешествий. Вам нужно предсказать, находится ли самолет в неисправном или в идеальном состоянии для путешествий. У вас есть 2 исхода. Поскольку у вас есть 2 результата, проблема становитсяпроблемой бинарной классификации. Для реализации этой классификации вам необходимо запустить контролируемый алгоритм машинного обучения. Вы выбрали алгоритм и запустили код.

Ну и что теперь?

Как узнать, дает ли этот алгоритм лучший результат? Как узнать, насколько точно этот конкретный алгоритм выполняет свою классификацию? Как вы это измеряете?

Не волнуйтесь, именно здесь в дело вступает Матрица Путаницы.

Что такое матрица неточностей?

Матрица путаницы — это, по сути, показатель производительности и оценщик алгоритма машинного обучения. Это визуальный способ прочитать результат вашей модели.

Он создает комбинации результатов постановки задачи, поскольку они являются возможными результатами алгоритма. Здесь, в сценарии двоичной классификации, как следует из рисунка выше, существует 4 комбинации. Давайте поймем это с точки зрения самолета.

Примечание:

Здесь я рассмотрел следующее:

Неисправность = ВЕРНО или ПОЛОЖИТЕЛЬНО

Идеальное состояние = ЛОЖНО или ОТРИЦАТЕЛЬНО

Возможные классификации:

1. Настоящий положительный результат (TP):

Вы предсказали, что это правда, и это на самом деле правда.

Сценарий: Вы предсказали, что самолет неисправен, и он действительно неисправен.

2. Ложное срабатывание (FP):

Вы предсказали, что это правда, но это на самом деле ложь.

Сценарий:Вы предсказали, что самолет неисправен, но на самом деле он отлично функционирует.

3. Ложноотрицательный результат (FN):

Вы предсказывали, что это ложно, но это на самом деле правда.

Сценарий:Вы предсказали, что самолет будет работать идеально, но на самом деле он неисправен.

4. Истинно отрицательный результат (TN):

Вы предсказали, что это ложно, и это на самом деле неверно.

Сценарий:Вы предсказали, что самолет будет идеально функционировать, и на самом деле он работает идеально.

Нам требуется большое количество истинно положительных и истинно отрицательных результатов. Поскольку модель машинного обучения не может обеспечить 100 % точные результаты, она неизбежно дает ошибочные классификации, что приводит к ложноположительным результатам и ложноотрицательным результатам, как показано выше.

Теперь вернемся к ситуации с нашим самолетом. Давайте рассмотрим 100 самолетов, которые необходимо проверить. Из этих самолетов 70 неисправны, а 30 прекрасно работают. Нам нужна наша модель, чтобы классифицировать, какие самолеты готовы к взлету, а какие направляются к катастрофе в облаках.

Матрица путаницы будет выглядеть так:

Учитывая наш сценарий с самолетом, наша матрица путаницы будет выглядеть следующим образом:

В нашем случае у авиастроительной компании 100 самолетов, из них 70 неисправны и 30 находятся в идеальном состоянии. Скажем, наша модель машинного обучения выполнила свою задачу классификации. Из 70 неисправных самолетов 55 правильно классифицированы как неисправные, но ошибочно классифицированы 15 как исправные. Аналогичным образом, из 30 идеально работающих самолетов 25 были правильно классифицированы как идеальные, а 5 ошибочно классифицированы как неисправные.

Следовательно, наши TP = 55, FP = 5, TN = 25, FN = 15. Давайте визуализируем это в матрице путаницы:

Показатели:

1. Точность: как часто классификатор верен?

Точность представляет собой общее количество правильных классификаций по общему количеству экземпляров.

Здесь ( 55 + 25 ) / ( 25 + 15 + 55 + 5)

= 80/100

= 80%

Насколько надежна точность?

Точность не дает точных результатов, если набор данных несбалансирован. Рассмотрим тот же сценарий, но предположим, что классификатор классифицировал все 70 неисправных самолетов как неисправные. Однако все 30 идеальных самолетов были классифицированы как неисправные. Это дало бы нам высокую точность модели, но имеет расхождение в результатах. Это также может нанести ущерб бизнесу. Поскольку 30 из идеальных самолетов были классифицированы как неисправные, компании пришлось выделить дополнительное время и ресурсы для проверки еще 30 самолетов. Это может привести к денежным потерям компании. Следовательно, точность не всегда обеспечивает наилучшие результаты.

2. Припоминаемость/Чувствительность/Истинно положительный уровень: Если на самом деле ДА, как часто классификатор прогнозирует ДА?

Напоминание, также называемое Чувствительность, представляет собой долю прогнозируемых правильных истинных положительных результатов по отношению к общему количеству фактических положительных результатов, независимо от его прогноза. Это метрика, которая оценивает способность модели предсказывать истинные положительные результаты из фактических положительных.