ТРАНСФОРМАТОР
Самоанализ
Почему внимание — это все, что вам нужно?
В 2017 году Васвани и соавт. опубликовал статью под названием «Внимание — это все, что вам нужно» для конференции NeurIPS. Архитектура преобразователя не использует повторения или свертки. Он опирается исключительно на механизмы внимания.
В этой статье мы обсудим механизмы внимания в преобразователе:
