gpt-4-0314· OpenAI
WildChat-4.8M (AI2)
写一个2-2-1无偏置全连接的神经网络代码来解决异或问题,要求三个激活函数均不相同
- User
写一个2-2-1无偏置全连接的神经网络代码来解决异或问题,要求三个激活函数均不相同
- Assistant
下面是一个用Python实现的简单全连接神经网络,使用不同的激活函数来解决异或(XOR)问题:
import numpy as np def f_sigmoid(x): """ Sigmoid激活函数,取值范围(0, 1) """ return 1 / (1 + np.exp(-x)) def f_tanh(x): """ 双曲正切激活函数,取值范围(-1, 1) """ return np.tanh(x) def f_relu(x): """ ReLU激活函数,取值范围[0, ∞) """ return np.maximum(0, x) def train(X, y, epochs=10000, lr=0.1, random_state=None): if random_state: np.random.seed(random_state) # 输入层到隐藏层的权重(W1)和隐藏层到输出层的权重(W2)的初始化 W1 = np.random.randn(2, 2) W2 = np.random.randn(2, 1) for _ in range(epochs): # 正向传播 a1 = X z2 = np.dot(a1, W1) a2 = f_sigmoid(z2) z3 = np.dot(a2, W2) a3 = f_tanh(z3) # 求梯度 dL_da3 = a3 - y da3_dz3 = 1 - a3 ** 2 dz3_da2 = W2 da2_dz2 = a2 * (1 - a2) dz2_dw1 = a1 # 反向传播 dL_dz3 = dL_da3 * da3_dz3 dL_dz2 = np.dot(dL_dz3, W2.T) * da2_dz2 dL_dw1 = np.dot(dz2_dw1.T, dL_dz2) dL_dw2 = np.dot(a2.T, dL_dz3) # 更新权重 W1 -= lr * dL_dw1 W2 -= lr * dL_dw2 return W1, W2 def predict(x, W1, W2): a1 = f_sigmoid(np.dot(x, W1)) output = f_relu(np.dot(a1, W2)) return output if __name__ == "__main__": X = np.array([[0, 0], [0, 1], [1, 0], [1, 1]]) y = np.array([[0], [1], [1], [0]]) W1, W2 = train(X, y, random_state=42) predictions = np.round(predict(X, W1, W2)) print("Predictions: \n", predictions)这里我们使用了三个不同的激活函数:Sigmoid函数、双曲正切函数和ReLU函数。请注意,激活函数的选择可能影响到网络收敛的速度和准确性。神经网络的训练过程可能需要多次尝试和调整。