跳到主要内容

TensorFlow 激活函数

在神经网络中，激活函数（Activation Function）是一个非常重要的组件。它的主要作用是引入非线性，使得神经网络能够学习和模拟复杂的模式。如果没有激活函数，无论神经网络有多少层，它都只能表示线性关系。本文将详细介绍TensorFlow中常用的激活函数，并通过代码示例和实际案例帮助你理解它们的应用。

什么是激活函数？​

激活函数是神经网络中的一个数学函数，它将输入信号转换为输出信号。激活函数的作用是决定神经元是否应该被激活，即是否应该将信号传递到下一层。激活函数通常是非线性的，这使得神经网络能够学习和模拟复杂的模式。

常见的激活函数​

在TensorFlow中，常用的激活函数包括：

  1. ReLU（Rectified Linear Unit）
  2. Sigmoid
  3. Tanh（Hyperbolic Tangent）
  4. Softmax

1. ReLU（Rectified Linear Unit）​

ReLU是最常用的激活函数之一，它的数学表达式为：

f(x) = max(0, x)

ReLU函数将所有负值置为0，而正值保持不变。它的优点是计算简单且能够有效缓解梯度消失问题。

python
import tensorflow as tf

# 使用ReLU激活函数
output = tf.keras.activations.relu([-1.0, 0.0, 1.0, 2.0])
print(output.numpy())  # 输出: [0. 0. 1. 2.]

2. Sigmoid​

Sigmoid函数将输入值压缩到0和1之间，其数学表达式为：

f(x) = 1 / (1 + exp(-x))

Sigmoid函数常用于二分类问题的输出层。

python
import tensorflow as tf

# 使用Sigmoid激活函数
output = tf.keras.activations.sigmoid([-1.0, 0.0, 1.0, 2.0])
print(output.numpy())  # 输出: [0.26894143 0.5        0.7310586  0.880797  ]

3. Tanh（Hyperbolic Tangent）​

Tanh函数将输入值压缩到-1和1之间，其数学表达式为：

f(x) = (exp(x) - exp(-x)) / (exp(x) + exp(-x))

Tanh函数在隐藏层中比Sigmoid函数更常用，因为它的输出范围更广。

python
import tensorflow as tf

# 使用Tanh激活函数
output = tf.keras.activations.tanh([-1.0, 0.0, 1.0, 2.0])
print(output.numpy())  # 输出: [-0.7615942  0.         0.7615942  0.9640276]

4. Softmax​

Softmax函数通常用于多分类问题的输出层，它将输入值转换为概率分布。Softmax函数的数学表达式为：

f(x_i) = exp(x_i) / sum(exp(x_j)) for all j
python
import tensorflow as tf

# 使用Softmax激活函数
output = tf.keras.activations.softmax([1.0, 2.0, 3.0, 4.0])
print(output.numpy())  # 输出: [0.0320586  0.08714432 0.23688284 0.6439143 ]

实际应用场景​

图像分类​

在图像分类任务中，通常使用ReLU作为隐藏层的激活函数，而使用Softmax作为输出层的激活函数。例如，在CIFAR-10数据集的分类任务中，你可以这样构建模型：

python
import tensorflow as tf
from tensorflow.keras import layers

model = tf.keras.Sequential([
    layers.Conv2D(32, (3, 3), activation='relu', input_shape=(32, 32, 3)),
    layers.MaxPooling2D((2, 2)),
    layers.Conv2D(64, (3, 3), activation='relu'),
    layers.MaxPooling2D((2, 2)),
    layers.Flatten(),
    layers.Dense(64, activation='relu'),
    layers.Dense(10, activation='softmax')
])

model.summary()

二分类问题​

在二分类问题中，通常使用Sigmoid作为输出层的激活函数。例如，在预测某个人是否患有某种疾病的任务中，你可以这样构建模型：

python
import tensorflow as tf
from tensorflow.keras import layers

model = tf.keras.Sequential([
    layers.Dense(16, activation='relu', input_shape=(20,)),
    layers.Dense(8, activation='relu'),
    layers.Dense(1, activation='sigmoid')
])

model.summary()

总结​

激活函数在神经网络中扮演着至关重要的角色，它们引入了非线性，使得神经网络能够学习和模拟复杂的模式。本文介绍了TensorFlow中常用的激活函数，包括ReLU、Sigmoid、Tanh和Softmax，并通过代码示例和实际应用场景展示了它们的用法。

提示

小贴士：在选择激活函数时，通常ReLU是隐藏层的首选，而Sigmoid和Softmax则分别适用于二分类和多分类问题的输出层。

附加资源与练习​

  1. 练习：尝试在TensorFlow中构建一个简单的神经网络，并使用不同的激活函数观察模型的性能变化。
  2. 资源：阅读TensorFlow官方文档中关于激活函数的更多内容：TensorFlow Activation Functions

通过不断实践和探索，你将更深入地理解激活函数的作用及其在神经网络中的应用。祝你学习愉快！