Вступление

Системы искусственного интеллекта (ИИ) оказывают все большее влияние на жизнь людей на повседневном уровне, поэтому они имеют основополагающее значение для защиты людей, понимания моделей и управления системами искусственного интеллекта. В то время как услуги машинного обучения (ML) постоянно развиваются, Microsoft подчеркивает этические принципы, которые ставят людей на первое место, что означает, что сотрудники работают над тем, чтобы ИИ развивался таким образом, чтобы приносить пользу обществу, пока оправдывая доверие людей.

Цель проекта - привнести объяснимость в часто сбивающие с толку и сложные системы ИИ, поскольку они иногда могут вести себя странно по разным, не до конца понятным причинам. Инструменты, обсуждаемые в этой статье, могут помочь разработчикам отлаживать и полностью понимать свои модели.

Кроме того, он направлен на повышение понимания интеллектуальных систем для конечных пользователей, тем самым укрепляя доверие и силу, которые могут помочь пользователям принимать более обоснованные решения и принимать решения на основе искусственного интеллекта.

Интерпретируемость

Интерпретируемость помогает специалистам по обработке данных объяснять, отлаживать и проверять свои модели, тем самым помогая укрепить доверие к модели. InterpretML - это пакет Microsoft с открытым исходным кодом, который включает в себя ультрасовременные методы интерпретируемости машинного обучения и может рассматриваться как надежный источник для объяснения систем черного ящика или моделей стеклянного ящика. Пакет azureml.interpret поддерживает разработчиков, использующих такие форматы наборов данных, как numpy.array, pandas.DataFrame, iml.datatypes.DenseData, scipy.sparse.csr_matrix; кроме того, использует библиотеки, такие как LIME, SHAP, SALib или Plotly, и предлагает новые алгоритмы интерпретируемости, такие как Explainable Boosting Machine (EBM).

Пакет интерпретируемости может быть полезен для любого специалиста по данным, особенно для стартапов и компаний, в качестве важного инструмента для отладки модели, выявления проблем справедливости, понимания соответствия нормативным требованиям и решений модели для построения доверия между заинтересованными сторонами и руководителями.

Интерпретировать текст

Interpret-Text, инновационный метод интерпретируемости для моделей обработки естественного языка (NLP), разработанный сообществом, был анонсирован на Microsoft Build 2020.

Этот инструмент с открытым исходным кодом позволяет разработчикам и специалистам по обработке данных объяснять свои модели глобально (каждая метка) или локально (каждый документ), создавать информационную панель визуализации, которая дает представление о своих данных, и выполнять сравнительный анализ своих экспериментов во время их выполнения. различные объяснители по последнему слову техники.

Используйте Interpret-Text с Classical Text Explainer

Classical Text Explainer - это метод интерпретируемости, используемый в классических моделях машинного обучения, и охватывает весь конвейер, включая предварительную обработку текста, кодирование, обучение и настройку гиперпараметров - все за кулисами.

Для предварительной обработки он использует кодировщик словесного набора и логистическую регрессию для обучения в качестве конфигурации по умолчанию. Их можно изменить в файле utils_classical.py.

(Найдите его в папке, которую вы только что создали на предыдущем шаге:
интерпретировать-текст / python / интерпретировать_текст / экспериментальный / общий / utils_classical.py)

В качестве модели ввода Classical Text Explainer поддерживает два семейства моделей: линейные модели scikit-learn (вызов coefs_) и модели на основе дерева (вызов feature_importances). Кроме того, в ближайшее время можно будет использовать любые модели с аналогичной компоновкой и пригодностью для разреженного представления.

API позволяет разработчикам расширять или перемещать различные модули, такие как препроцессор, токенизатор или модель, а объяснитель по-прежнему может подключаться и использовать инструменты, реализованные в пакете.

Если вы хотите понять, как работает этот объяснитель, перейдите по этой ссылке на реализацию:

Используйте Interpret-Text с Unified Information Explainer

Unified Information Explainer можно использовать, когда требуется единое и понятное объяснение уровней преобразования, объединения и классификации конкретной глубинной модели НЛП.

Предварительной обработкой текста занимается объяснитель, предложения токенизируются BERT Tokenizer. Во время написания статьи разработчик должен предоставить Unified Information Explainer обученную или точно настроенную модель двунаправленных представлений кодировщика из трансформаторов (BERT) с образцами обученных данных. Поддержка рекуррентной нейронной сети (RNN) и долговременной краткосрочной памяти (LSTM) также будет реализована в будущем.

Узнайте, как использовать объяснитель, перейдя по ссылке ниже:

Используйте Interpret-Text с интроспективным объяснением объяснения

Чтобы создать выдающийся фрагмент текста с важными функциями для обучения модели классификации, Introspective Rationale Explainer использует структуру генератора-предиктора. Этот инструмент предсказывает ярлыки и систематизирует результат, независимо от того, полезны ли слова (обоснования) или не следует использовать для обучения (антиобоснования).

API спроектирован так, чтобы быть модульным и расширяемым, и его можно использовать, когда необходимо объяснить модель BERT или RNN. Если разработчик хочет определить персонализированную модель, он должен предоставить препроцессор, модуль прогнозирования и генератор.

Узнайте больше об использовании этого объяснителя: