写一个基于TensorFlow1.0的双塔召回模型,损失函数使用tf.nn.sampledsoftmaxloss
- User
写一个基于TensorFlow1.0的双塔召回模型,损失函数使用tf.nn.sampled_softmax_loss
- Assistant
以下是一个使用TensorFlow 1.0编写的简单的双塔召回模型,损失函数采用sampled softmax loss的实现示例:
import tensorflow as tf # 定义一些参数 embedding_dim = 128 vocab_size = 10000 num_sampled = 64 batch_size = 32 learning_rate = 0.01 # 定义用户和项目的输入 user_input = tf.placeholder(tf.int32, shape=[batch_size]) item_input = tf.placeholder(tf.int32, shape=[batch_size]) labels = tf.placeholder(tf.int32, shape=[batch_size, 1]) # 定义embedding矩阵 user_embeddings = tf.Variable(tf.random_uniform([vocab_size, embedding_dim], -1.0, 1.0)) item_embeddings = tf.Variable(tf.random_uniform([vocab_size, embedding_dim], -1.0, 1.0)) # 查找用户和项目的embedding user_embed = tf.nn.embedding_lookup(user_embeddings, user_input) item_embed = tf.nn.embedding_lookup(item_embeddings, item_input) # 计算用户和项目之间的相似性(点积) dot_product = tf.reduce_sum(tf.multiply(user_embed, item_embed), axis=1) # 计算损失 loss = tf.reduce_mean( tf.nn.sampled_softmax_loss( weights=tf.transpose(item_embeddings), biases=tf.zeros([vocab_size]), labels=labels, inputs=user_embed, num_sampled=num_sampled, num_classes=vocab_size, num_true=1) ) # 定义优化器 optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss) # 开始训练 with tf.Session() as sess: sess.run(tf.global_variables_initializer()) for epoch in range(1, 101): # 准备输入数据 user_batch, item_batch, labels_batch = get_batch(batch_size) # <-- 需要实现这个函数以获取训练数据 # 运行优化器 _, cur_loss = sess.run( [optimizer, loss], feed_dict={ user_input: user_batch, item_input: item_batch, labels: labels_batch } ) if epoch % 10 == 0: print(f"Epoch: {epoch}, Loss: {cur_loss}")其中,get_batch函数需要自行实现以获取训练数据。读者可以根据实际情况,对双塔模型的架构、损失函数和参数进行相应的调整。
- User
好的,这确实是我需要的代码,但是网络结构太简单了一点,我现在需要你根据我的要求对上面的代码做一点小的修改。既然是双塔模型,我希望user_embed和item_embed都是经过几层简单的MLP计算得到的,这样可以提取到更多的信息,而不是直接通过tf.nn.embedding_lookup就结束了。损失函数仍然使用tf.nn.sampled_softmax_loss
- Assistant
当然可以。我现在修改代码,为用户和项目的embedding添加几层MLP,然后计算损失。这是修改后的代码:
import tensorflow as tf # 定义一些参数 embedding_dim = 128 vocab_size = 10000 num_sampled = 64 batch_size = 32 learning_rate = 0.01 # 定义网络结构参数 hidden_dim1 = 256 hidden_dim2 = 128 # 定义用户和项目的输入 user_input = tf.placeholder(tf.int32, shape=[batch_size]) item_input = tf.placeholder(tf.int32, shape=[batch_size]) labels = tf.placeholder(tf.int32, shape=[batch_size, 1]) # 定义embedding矩阵 user_embeddings = tf.Variable( tf.random_uniform([vocab_size, embedding_dim], -1.0, 1.0) ) item_embeddings = tf.Variable( tf.random_uniform([vocab_size, embedding_dim], -1.0, 1.0) ) # 定义用户和项目的MLP层参数 user_layer1_weights = tf.Variable( tf.truncated_normal([embedding_dim, hidden_dim1], stddev=0.1) ) user_layer1_biases = tf.Variable(tf.zeros([hidden_dim1])) user_layer2_weights = tf.Variable( tf.truncated_normal([hidden_dim1, hidden_dim2], stddev=0.1) ) user_layer2_biases = tf.Variable(tf.zeros([hidden_dim2])) item_layer1_weights = tf.Variable( tf.truncated_normal([embedding_dim, hidden_dim1], stddev=0.1) ) item_layer1_biases = tf.Variable(tf.zeros([hidden_dim1])) item_layer2_weights = tf.Variable( tf.truncated_normal([hidden_dim1, hidden_dim2], stddev=0.1) ) item_layer2_biases = tf.Variable(tf.zeros([hidden_dim2])) # 嵌入查询 user_embed_init = tf.nn.embedding_lookup(user_embeddings, user_input) item_embed_init = tf.nn.embedding_lookup(item_embeddings, item_input) # 用户和项目的MLP层 def mlp(embed_init, layer1_weights, layer1_biases, layer2_weights, layer2_biases): layer1_output = tf.nn.relu( tf.matmul(embed_init, layer1_weights) + layer1_biases ) layer2_output = tf.nn.relu( tf.matmul(layer1_output, layer2_weights) + layer2_biases ) return layer2_output user_embed = mlp( user_embed_init, user_layer1_weights, user_layer1_biases, user_layer2_weights, user_layer2_biases ) item_embed = mlp( item_embed_init, item_layer1_weights, item_layer1_biases, item_layer2_weights, item_layer2_biases ) # 计算用户和项目之间的相似性(点积) dot_product = tf.reduce_sum(tf.multiply(user_embed, item_embed), axis=1) # 计算损失 loss = tf.reduce_mean( tf.nn.sampled_softmax_loss( weights=tf.transpose(item_embeddings), biases=tf.zeros([vocab_size]), labels=labels, inputs=user_embed, num_sampled=num_sampled, num_classes=vocab_size, num_true=1, ) ) # 定义优化器 optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss) # 开始训练 with tf.Session() as sess: sess.run(tf.global_variables_initializer()) for epoch in range(1, 101): # 准备输入数据 user_batch, item_batch, labels_batch = ( get_batch(batch_size) ) # <-- 需要实现这个函数以获取训练数据 # 运行优化器 _, cur_loss = sess.run( [optimizer, loss], feed_dict={ user_input: user_batch, item_input: item_batch, labels: labels_batch, }, ) if epoch % 10 == 0: print(f"Epoch: {epoch}, Loss: {cur_loss}")我已经为用户和项目的embedding添加了两层MLP。这样的结构可以提取更多信息。您可以根据实际情况调整网络层数和参数。
- User
你虽然加上了mlp结构用于提取用户和项目的embedding的信息,但是仍然存在问题。在损失计算中,项目的向量你使用的是项目的原始item_embeddings,但是在计算用户和项目之间的相似性的时候,你使用的是经过了mlp计算的item_embed。这会导致网络优化的目标向量和线上生效的向量不一致。也就是说,只有损失函数里面用到的item_embeddings会被优化,而item_embed以及相关的项目侧mlp并不会被优化,也就是说(item_layer1_weights, item_layer1_biases, item_layer2_weights, item_layer2_biases)这些参数都不会被优化,线上使用的item_embed很可能是随机的。
- Assistant
非常抱歉,您说得对。我的错误。我们应该在计算损失时使用经过MLP处理过的项目向量。以下是修复后的代码:
import tensorflow as tf # 定义一些参数 embedding_dim = 128 vocab_size = 10000 num_sampled = 64 batch_size = 32 learning_rate = 0.01 # 定义网络结构参数 hidden_dim1 = 256 hidden_dim2 = 128 # 定义用户和项目的输入 user_input = tf.placeholder(tf.int32, shape=[batch_size]) item_input = tf.placeholder(tf.int32, shape=[batch_size]) labels = tf.placeholder(tf.int32, shape=[batch_size, 1]) # 定义embedding矩阵 user_embeddings = tf.Variable( tf.random_uniform([vocab_size, embedding_dim], -1.0, 1.0) ) item_embeddings = tf.Variable( tf.random_uniform([vocab_size, embedding_dim], -1.0, 1.0) ) # 定义用户和项目的MLP层参数 user_layer1_weights = tf.Variable( tf.truncated_normal([embedding_dim, hidden_dim1], stddev=0.1) ) user_layer1_biases = tf.Variable(tf.zeros([hidden_dim1])) user_layer2_weights = tf.Variable( tf.truncated_normal([hidden_dim1, hidden_dim2], stddev=0.1) ) user_layer2_biases = tf.Variable(tf.zeros([hidden_dim2])) item_layer1_weights = tf.Variable( tf.truncated_normal([embedding_dim, hidden_dim1], stddev=0.1) ) item_layer1_biases = tf.Variable(tf.zeros([hidden_dim1])) item_layer2_weights = tf.Variable( tf.truncated_normal([hidden_dim1, hidden_dim2], stddev=0.1) ) item_layer2_biases = tf.Variable(tf.zeros([hidden_dim2])) # 查找原始embedding item_embed_init = tf.nn.embedding_lookup(item_embeddings, item_input) # 用户和项目的MLP层 def mlp(embed_init, layer1_weights, layer1_biases, layer2_weights, layer2_biases): layer1_output = tf.nn.relu( tf.matmul(embed_init, layer1_weights) + layer1_biases ) layer2_output = tf.nn.relu( tf.matmul(layer1_output, layer2_weights) + layer2_biases ) return layer2_output user_embed = mlp( tf.nn.embedding_lookup(user_embeddings, user_input), user_layer1_weights, user_layer1_biases, user_layer2_weights, user_layer2_biases ) # 将item_layer的权重矩阵分解为两个矩阵 item_layer12_weights = tf.matmul(item_layer1_weights, item_layer2_weights) item_layer12_biases = tf.matmul(item_layer1_biases, item_layer2_weights) + item_layer2_biases item_embed = mlp( item_embed_init, item_layer1_weights, item_layer1_biases, item_layer2_weights, item_layer2_biases ) # 计算用户和项目之间的相似性(点积) dot_product = tf.reduce_sum(tf.multiply(user_embed, item_embed), axis=1) # 计算损失 loss = tf.reduce_mean( tf.nn.sampled_softmax_loss( weights=tf.transpose(item_layer12_weights), biases=item_layer12_biases, labels=labels, inputs=user_embed, num_sampled=num_sampled, num_classes=vocab_size, num_true=1, ) ) # 定义优化器 optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss) # 开始训练 with tf.Session() as sess: sess.run(tf.global_variables_initializer()) for epoch in range(1, 101): # 准备输入数据 user_batch, item_batch, labels_batch = ( get_batch(batch_size) ) # <-- 需要实现这个函数以获取训练数据 # 运行优化器 _, cur_loss = sess.run( [optimizer, loss], feed_dict={ user_input: user_batch, item_input: item_batch, labels: labels_batch, }, ) if epoch % 10 == 0: print(f"Epoch: {epoch}, Loss: {cur_loss}")现在损失函数中使用了经过MLP计算的项目向量。再次,谢谢您的指正,并希望这次代码更符合您的需求。
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.