- Сетевое адаптивное федеративное обучение: перегрузка и сжатие с потерями(arXiv)
Автор:Парикшит Хегде, Густаво де Весиана, Арьян Мохтари
Аннотация. Для достижения двойной цели — конфиденциальности и обучения в распределенных данных — системы федеративного обучения (FL) полагаются на частый обмен большими файлами (обновлениями модели) между набором клиентов и сервером. Таким образом, системы FL подвержены или даже являются причиной перегрузки широкого набора сетевых ресурсов. Сжатие с потерями можно использовать для уменьшения размера обмениваемых файлов и связанных с ними задержек за счет добавления шума в обновления модели. Разумно адаптируя сжатие клиентов к изменяющейся загруженности сети, приложение FL может сократить время обучения настенных часов. С этой целью мы предлагаем политику Network Adaptive Compression (NAC-FL), которая динамически изменяет варианты сжатия с потерями клиента в зависимости от перегрузки сети. Мы доказываем, при соответствующих предположениях, что NAC-FL асимптотически оптимален с точки зрения прямой минимизации ожидаемого времени обучения настенных часов. Кроме того, с помощью моделирования мы показываем, что NAC-FL обеспечивает значительное улучшение производительности с более высоким приростом в настройках с положительно коррелированными задержками во времени.
2.Универсальный ансамбль случайного кодирования для выборочного сжатия с потерями(arXiv)
Автор:Нери Мерхав
Аннотация: мы предлагаем универсальный ансамбль для случайного выбора кодов искажения скорости, который является асимптотически оптимальным в смысле выборки. В соответствии с этим ансамблем каждый вектор воспроизведения $\hbx$ выбирается независимо случайным образом при распределении вероятности, пропорциональном $2^{-LZ(\hbx)}$, где $LZ(\hbx)$ — код -длина $\hbx$, относящаяся к версии 1978 года алгоритма Лемпеля-Зива (LZ). Мы показываем, что с высокой вероятностью результирующая кодовая книга приводит к асимптотически оптимальной схеме сжатия с потерями с переменной скоростью при произвольной мере искажения в том смысле, что обратная теорема о согласовании также выполняется. Согласно обратной теореме, даже если бы декодер знал заранее тип исходного вектора ℓ-го порядка (ℓ — большое, но фиксированное положительное целое число), производительность вышеупомянутого кода не могла бы быть существенно улучшена, поскольку большинство кодовых слов, которые представляют все исходные векторы одного типа. Наконец, мы приводим обсуждение наших результатов, которое включает, среди прочего, сравнение со схемой кодирования, которая выбирает вектор воспроизведения с наименьшей длиной кода LZ среди всех векторов, которые находятся в пределах допустимого искажения исходного вектора.
