- Глубокое многообразное обучение с помощью анализа графов (arXiv)
Автор:Сюэлун Ли, Цзыхэн Цзяо, Хунъюань Чжан, Руй Чжан
Аннотация. По общему признанию, сеть свертки графов (GCN) добилась отличных результатов на наборах графических данных, таких как социальные сети, сети цитирования и т. д. Однако softmax, используемый в качестве уровня принятия решений в этих средах, обычно оптимизирован с помощью итераций методом градиентного спуска. Кроме того, из-за игнорирования внутреннего распределения узлов графа уровень принятия решений может привести к неудовлетворительной производительности при полууправляемом обучении с меньшей поддержкой меток. Для решения упомянутых проблем мы предлагаем новую глубокую модель графа с неградиентным уровнем принятия решений для интеллектуального анализа графов. Во-первых, многообразное обучение объединяется с сохранением локальной структуры меток для сбора топологической информации об узлах. Кроме того, благодаря свойству неградиентности достигаются решения замкнутой формы, которые можно использовать в качестве уровня принятия решений для GCN. В частности, для этой графовой модели разработан совместный метод оптимизации, который чрезвычайно ускоряет сходимость модели. Наконец, обширные эксперименты показывают, что предложенная модель достигла самых современных характеристик по сравнению с текущими моделями.
2. Сопоставление нормализующих потоков и вероятностных путей на многообразиях (arXiv)
Автор: Хели Бен-Хаму, Сэмюэл Коэн, Джоуи Боз, Брэндон Амос, Адитья Гровер, Максимилиан Никель, Рики Т. К. Чен, Ярон Липман. »
Аннотация:непрерывные нормализующие потоки (CNF) — это класс генеративных моделей, которые преобразуют априорное распределение в модельное распределение путем решения обыкновенного дифференциального уравнения (ОДУ). Мы предлагаем обучать CNF на многообразиях путем минимизации расходимости пути вероятности (PPD), нового семейства расхождений между путем плотности вероятности, сгенерированным CNF, и целевым путем плотности вероятности. PPD формулируется с использованием логарифмической формулы сохранения массы, которая представляет собой линейное уравнение в частных производных первого порядка, связывающее логарифмические целевые вероятности и определяющее векторное поле CNF. PPD имеет несколько ключевых преимуществ по сравнению с существующими методами: он позволяет избежать необходимости решать ОДУ за итерацию, легко применяется к разнообразным данным, масштабируется до больших размеров и совместим с большим семейством целевых путей, интерполирующих чистый шум и данные за конечное время. Теоретически показано, что PPD связывает классические расхождения вероятностей. Эмпирически мы показываем, что CNF, полученные путем минимизации PPD, достигают самых современных результатов в отношении правдоподобия и качества выборки на существующих низкоразмерных эталонных многообразиях, и это первый пример генеративной модели, масштабируемой до умеренно высокоразмерных многообразий.
3. DLME: встраивание многообразия с глубокой локальной плоскостностью (arXiv)
Автор:Зэлин Занг, Сыюань Ли, Ди Ву, Гэ Ван, Лэй Шан, Байгуй Сун, Хао Ли, Стэн З. Ли
Аннотация. Многомерное обучение (МО) направлено на встраивание низкоразмерных данных из многомерных данных. Проблема является сложной для реальных наборов данных, особенно при недостаточной выборке данных, и мы обнаруживаем, что предыдущие методы в этом случае работают плохо. Как правило, методы ML сначала преобразуют входные данные в низкоразмерное пространство встраивания, чтобы поддерживать геометрическую структуру данных, а затем выполнять в них последующие задачи. Плохая локальная связность данных недостаточной выборки на первом этапе и несоответствующие цели оптимизации на последнем этапе приводят к двум проблемам: структурному искажению и недостаточному встраиванию. В этой статье предлагается новый фреймворк ML под названием Deep Local-flatness Manifold Embedding (DLME) для решения этих проблем. Предлагаемый DLME строит семантические многообразия путем увеличения данных и преодолевает проблему структурного искажения, используя гладкость, ограниченную на основе предположения о локальной плоскостности многообразия. Чтобы преодолеть проблему недостаточно ограниченного вложения, мы проектируем потери и теоретически демонстрируем, что они приводят к более подходящему вложению, основанному на локальной плоскостности. Эксперименты с тремя типами наборов данных (игрушечные, биологические и графические) для различных последующих задач (классификация, кластеризация и визуализация) показывают, что предлагаемый нами DLME превосходит современные методы машинного обучения и контрастивного обучения.
4. Внутренние многообразия радиологических изображений и их роль в глубоком обучении (arXiv)
Автор:Николас Конц, Ханьсюэ Гу, Хаоюй Дун, Мацей А. Мазуровский
Аннотация. Гипотеза многообразия — это ключевой механизм, лежащий в основе успеха глубокого обучения, поэтому понимание внутренней многообразной структуры данных изображения имеет центральное значение для изучения того, как нейронные сети учатся на основе данных. Внутренние многообразия наборов данных и их связь с трудностями обучения недавно начали изучать для общей области естественных изображений, но мало таких исследований было предпринято для радиологических изображений. Мы обращаемся к этому здесь. Во-первых, мы сравниваем внутреннюю многомерность радиологических и естественных изображений. Мы также исследуем взаимосвязь между внутренней размерностью и способностью к обобщению в широком диапазоне наборов данных. Наш анализ показывает, что наборы данных естественных изображений обычно имеют большее количество внутренних измерений, чем рентгенологические изображения. Однако взаимосвязь между способностью к обобщению и внутренней размерностью намного сильнее для медицинских изображений, которые можно объяснить как рентгенологические изображения, имеющие внутренние особенности, которые труднее изучить. Эти результаты дают более принципиальное обоснование интуитивному выводу о том, что рентгенологические изображения могут быть более сложными для применения глубокого обучения, чем наборы данных естественных изображений, характерные для исследований машинного обучения. Мы считаем, что вместо того, чтобы напрямую применять модели, разработанные для естественных изображений, к области радиологических изображений, следует уделить больше внимания разработке архитектур и алгоритмов, которые в большей степени адаптированы к конкретным характеристикам этой области. Исследование, показанное в нашей статье, демонстрирующее эти характеристики и отличия от естественных изображений, является важным первым шагом в этом направлении.
