Os neurônios são as unidades de processamento das Redes Neurais e, portanto, são fundamentais para o seu funcionamento.
Na década de 1940, McCulloch e Pitts propuseram um modelo simplificado do neurônio biológico, que compreendia:

 

Ligações sinápticas (W):

Estímulos de entrada (X):	Cujos as componentes eram representadas pelo vetor X;
Cujos componentes eram representadas pelo vetor W;
Saída (Y):	Cujos componentes eram representadas pelo vetor Y, produzida segundo o valor de ativação alcançado pelo neurônio.

 

Neste modelo, os pesos sinápticos eram fixos e a saída obtida pela aplicação de uma função de limiar.

 

Modelo de um Neurônio Artificial

 

Após o modelo de McCulloch e Pitts, surgiram outras abordagens, dando flexibilidade aos pesos e maior capacidade à Rede Neural; através dos neurônios com funções de ativação não-lineares, das arquiteturas com mais de uma camada e algoritmos apropriados para alterar os pesos sinápticos.

De forma geral, nos neurônios artificiais os seguintes elementos estão envolvidos:

Conjunto de sinapses (W): Ligações entre neurônios. Cada ligação possui um valor (peso), que representa a sua força: os estímulos de entrada são multiplicados pelos repectivos pesos de cada ligação, podendo gerar um sinal tanto positivo (exitatório) quanto negativo (inibitório).

Combinador Linear(): Executa o somatório dos sinais produzidos pelo produto entre os pesos sinápticos e as entradas fornecidas ao neurônio. Em outras palavras, é o integrador dos sinais que chegam ao neurônio.

A saída do neurônio é definida pelo seu valor de ativação calculado da seguinte forma:

 

 

Onde:

    v é o valor de ativação do neurônio k;

    w são os pesos das conexões do neurônio k;

    x é o valor de cada um dos m estímulos que chegam ao neurônio k;

    b é o valor do bias que será somado ao valor do combinador linear para compor o valor de ativação.

Função de Ativação: Fornece o valor da saída de um neurônio.

Funções de ativação

Função Limiar (Degrau)

Utilizada no modelo de McCulloch e Pits, a função limiar modela a característica "tudo-ou-nada" deste neurônio

É expressa da seguinte forma:

 

 

Nos neurônios construídos com essa função, a saída y será igual a 0, caso o valor de ativação v seja negativo e 1 nos casos em que o valor de ativação seja positivo.

 

Gráfico da Função de Limiar

 

Devemos lembrar que o valor de ativação (v) é composto pelo combinador linear e pelo bias:

 

 

Função Sigmóide:

Esta função, ao contrário da função limiar, pode assumir todos os valores entre 0 e 1. A representação mais utilizada para esta função é a função logística, definida por:

 

Gráfico da Função Sigmóde

 

Onde a é o parâmetro de inclinação da função sigmóide e v é o valor de ativação do neurônio.

 

Gráfico da Função Sigmóide - com a tendendo ao infinito

 

Quando aumentamos o valor do parâmetro a, tendendo-o ao infinito, esta função comporta-se como uma função de limiar como pode observar no gráfico a baixo:

 

 

Pode ser necessário, porém, que a função de ativação assuma valores entre 1 e -1. Esta característica traz benefícios analíticos. Para obtermos tal intervalo de valores utilizamos as Funções Signum, no caso da Função de Limiar, e a Função Tangente Hiperbólica, no caso da Função Sigmóide.

Função Signum:

Esta função apresenta as mesmas características da função de limiar, porém está limitada entre 1 e -1.

É representada por:

 

Gráfico da Função Signun

 

Onde:

    b são os limites inferiores e superiores (b = |1| no gráfico);

    v é o valor de ativação da unidade.

 

 

Tangente Hiperbólica:

Como a Função Logistica, também possui forma de "s", assumindo valores entre 1 e -1, sendo representada por:

 

 

Onde:

    a é o parâmetro de inclinação da curva;

    b são os limites inferiores e superiores (b = |1| no gráfico);

    v é o valor de ativação da unidade.

 

Gráfico da Função Tangente Hiperbólica

 

FONTE: Incc.br.