Skip to content
TheChatArchiveThe Chat Archive
gpt-4-0314· OpenAIAi2 WildChat-4.8M (AI2)

写一个2-2-1无偏置全连接的神经网络代码来解决异或问题,要求三个激活函数均不相同

  1. User

    写一个2-2-1无偏置全连接的神经网络代码来解决异或问题,要求三个激活函数均不相同

  2. Assistant

    下面是一个用Python实现的简单全连接神经网络,使用不同的激活函数来解决异或(XOR)问题:

    import numpy as np
    
    def f_sigmoid(x):
        """
        Sigmoid激活函数,取值范围(0, 1)
        """
        return 1 / (1 + np.exp(-x))
    
    def f_tanh(x):
        """
        双曲正切激活函数,取值范围(-1, 1)
        """
        return np.tanh(x)
    
    def f_relu(x):
        """
        ReLU激活函数,取值范围[0, ∞)
        """
        return np.maximum(0, x)
    
    def train(X, y, epochs=10000, lr=0.1, random_state=None):
        if random_state:
            np.random.seed(random_state)
        
        # 输入层到隐藏层的权重(W1)和隐藏层到输出层的权重(W2)的初始化
        W1 = np.random.randn(2, 2)
        W2 = np.random.randn(2, 1)
    
        for _ in range(epochs):
            # 正向传播
            a1 = X
            z2 = np.dot(a1, W1)
            a2 = f_sigmoid(z2)
            z3 = np.dot(a2, W2)
            a3 = f_tanh(z3)
    
            # 求梯度
            dL_da3 = a3 - y
            da3_dz3 = 1 - a3 ** 2
            dz3_da2 = W2
            da2_dz2 = a2 * (1 - a2)
            dz2_dw1 = a1
            
            # 反向传播
            dL_dz3 = dL_da3 * da3_dz3
            dL_dz2 = np.dot(dL_dz3, W2.T) * da2_dz2
            dL_dw1 = np.dot(dz2_dw1.T, dL_dz2)
            dL_dw2 = np.dot(a2.T, dL_dz3)
    
            # 更新权重
            W1 -= lr * dL_dw1
            W2 -= lr * dL_dw2
    
        return W1, W2
    
    def predict(x, W1, W2):
        a1 = f_sigmoid(np.dot(x, W1))
        output = f_relu(np.dot(a1, W2))
        return output
    
    if __name__ == "__main__":
        X = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])
        y = np.array([[0], [1], [1], [0]])
    
        W1, W2 = train(X, y, random_state=42)
    
        predictions = np.round(predict(X, W1, W2))
        print("Predictions: \n", predictions)
    

    这里我们使用了三个不同的激活函数:Sigmoid函数、双曲正切函数和ReLU函数。请注意,激活函数的选择可能影响到网络收敛的速度和准确性。神经网络的训练过程可能需要多次尝试和调整。