- Арифметика низкой точности для быстрых гауссовских процессов(arXiv)
Автор:Уэсли Дж. Мэддокс, Андрес Потапчински, Эндрю Гордон Уилсон
Аннотация: Низкоточная арифметика оказала преобразующее влияние на обучение нейронных сетей, уменьшив требования к вычислениям, памяти и энергии. Однако, несмотря на свои обещания, низкоточной арифметике для гауссовских процессов (ГП) уделялось мало внимания, в основном потому, что ГП требуют сложных подпрограмм линейной алгебры, которые нестабильны при низкой точности. Мы изучаем различные режимы отказа, которые могут возникнуть при обучении врачей общей практики с половинной точностью. Чтобы обойти эти режимы отказа, мы предлагаем многогранный подход, включающий сопряженные градиенты с повторной ортогонализации, смешанной точностью и предварительной обработкой. Наш подход значительно улучшает численную стабильность и практическую производительность сопряженных градиентов с низкой точностью в широком диапазоне настроек, позволяя GP обучаться на 1,8 миллионах точек данных за 10 часов на одном графическом процессоре без каких-либо разреженных приближений.
2. Вариационные автоэнкодеры марковского гауссовского процесса (arXiv)
Автор:Харрисон Чжу, Карлес Балселлс Родас, Инчжэнь Ли
Аннотация. Глубокие генеративные модели широко используются для моделирования многомерных временных рядов, таких как видео-анимация, аудио- и климатические данные. Последовательные вариационные автоэнкодеры были успешно рассмотрены для многих приложений, при этом многие варианты моделей основаны на методах дискретного времени и рекуррентных нейронных сетях (RNN). С другой стороны, методы с непрерывным временем в последнее время стали более привлекательными, особенно в контексте временных рядов с нерегулярной выборкой, где они могут лучше обрабатывать данные, чем методы с дискретным временем. Одним из таких классов являются вариационные автокодировщики гауссовского процесса (GPVAE), где априорный VAE задается как гауссовский процесс (GP), что позволяет явно кодировать индуктивные смещения с помощью функции ядра и интерпретируемости скрытого пространства. Однако основным ограничением GPVAE является то, что он наследует ту же кубическую вычислительную стоимость, что и GP. В этой работе мы используем эквивалентное дискретное представление пространства состояний марковских GP, чтобы включить решатель GP с линейным временем посредством фильтрации и сглаживания Калмана. Мы показываем с помощью задач с поврежденными и отсутствующими кадрами, что наш метод работает хорошо, особенно в последнем, где он превосходит модели на основе RNN.
3.Адаптивная нелинейная регуляция с помощью гауссовского процесса (arXiv)
Автор:Лоренцо Джентилини, Микеланджело Бин, Лоренцо Маркони
Аннотация: в статье рассматривается проблема регулирования выхода нелинейных систем путем представления адаптивной стратегии проектирования на основе внутренней модели, основанной на обучении. Мы заимствуем метод проектирования адаптивной внутренней модели, недавно предложенный в [1], и расширяем его с помощью регрессора гауссовского процесса. Адаптация на основе обучения выполняется по логике, инициируемой событиями, так что гибридные инструменты используются для анализа получающейся замкнутой системы. В отличие от подхода, предложенного в [1], где друг предполагается принадлежащим конкретному конечномерному множеству моделей, здесь требуется только гладкость идеального стационарного управляющего воздействия. В документе также представлено численное моделирование, показывающее, как предлагаемый метод превосходит предыдущие подходы.
4. Новый взгляд на аддитивные гауссовские процессы (arXiv)
Автор:Сяоюй Лу, Алексис Букувалас, Джеймс Хенсман
Аннотация: модели гауссовского процесса (ГП) представляют собой класс гибких непараметрических моделей, обладающих богатыми репрезентативными возможностями. Используя гауссовский процесс с аддитивной структурой, можно моделировать сложные отклики, сохраняя при этом интерпретируемость. Предыдущая работа показала, что модели аддитивных гауссовских процессов требуют многомерных взаимодействий. Мы предлагаем ортогональное аддитивное ядро (OAK), которое налагает ограничение ортогональности на аддитивные функции, позволяя идентифицируемое низкоразмерное представление функциональных отношений. Мы подключаем ядро OAK к функциональному разложению ANOVA и показываем улучшенные скорости сходимости для методов разреженных вычислений. Используя лишь небольшое количество аддитивных терминов низкой размерности, мы демонстрируем, что модель OAK обеспечивает аналогичную или лучшую прогностическую эффективность по сравнению с моделями черного ящика, сохраняя при этом интерпретируемость.
