Нейрон — это система, которая принимает входные данные, выполняет вычисления на этих входных данных и выдает выходные данные. Ниже приведена блок-схема нейрона, который принимает одно числовое скалярное значение x в качестве входных данных и выводит другое одно числовое скалярное значение y в качестве выходных данных. Объяснение вычисления, связывающего вход с выходом, следует за диаграммой.
Входное число x умножается на число w, которое называется весом для дать продукт wx. Другим входом в блок добавления является 1 (один),умноженный на другое число bчто называется предвзятостью,выходным продуктом является bочевидно. Эти 2 продукта wx и bдобавлены.
Функция fв следующем блоке принимает wx + b и выводитf(wx + b). fназывается функция передачи, также называемая функция активации. Есть несколько вариантов для этой функции в зависимости от задачи.
w и b — это параметры нейрона, которые можно настроить в соответствии с правилом обучения, которое настраивает параметры на достижения определенной цели в зависимости от поставленной задачи. f — это функция, которую можно выбрать вручную в зависимости от задачи.
Один из способов взглянуть на приведенное выше вычисление:
Итак, берется скалярное произведение между вектором параметров и входным вектором, к нему применяется функция и выдается в качестве вывода. Скалярное произведение двух векторов — это проекция одного вектора на другой. Его также можно интерпретировать как сходство между двумя векторами.
Скалярное произведение между двумя векторами также можно рассматривать как корреляцию между ними. Его можно рассматривать как количество совпадений одного вектора с другим. Таким образом, скалярное произведение имеет четыре значения: проекция одного вектора на другой, сходство между двумя векторами, корреляция между двумя векторами, и насколько один вектор совпадает с другим.
Итак, нейрон отображает сходство между вектором параметров и входным вектором на выходе через передаточную функцию. Он отображает количество, которое вектор параметров согласует с входным вектором, с выходом через передаточную функцию.
В терминологии нейронных сетей выходные данные y называются представлением входных данных x. Вывод y — это то, как вектор параметров и функция f выглядят для x. Другими словами, y представляет собой x, рассматриваемый глазами вектора параметров и f.
Давайте подробнее рассмотрим путь, который входные данные x превращают в выходные данные y:
Сначала вход x преобразуется из одномерного топологического векторного пространства в двумерное. Одномерное топологическое векторное пространство представляется аналогично числовой прямой.
Вход x находится в этом одномерном пространстве.
Двумерное топологическое векторное пространство представляется как
Одномерный вход x сопоставляется с двумерным пространством перед тем, как подается в блок добавления нейрона. Представление ввода в 2D-пространстве
Затем берется скалярное произведение между вектором параметров и входным вектором. Этот скалярный продукт также находится в одномерном пространстве, поскольку является скаляром. Затем с помощью функции f он преобразуется в выходные данные y в одномерном пространстве.
В целом входные данные x сопоставляются из одной точки одномерного пространства с другой точкой y.
Таким образом, нейрон представляет собой фильтр, через который проходит вход x, а отфильтрованный вывод равен y.
Нейрон также является вычислительным графом. Вычислительный граф — это граф, в котором каждый узел представляет собой вычисление, а ребра — направление потока данных.
Обычно два вычислительных узла представляются как один узел.
Несколько входов также могут быть переданы в нейрон. Нейроны могут быть связаны, чтобы сформировать сеть, которая может выполнять мощные операции. Подробнее об этом в следующих постах.
Подписание сейчас!
