models = [ ('LogReg', LogisticRegression()), ('KNN', KNeighborsClassifier()), ('SVM',…
- User
models = [ ('LogReg', LogisticRegression()), ('KNN', KNeighborsClassifier()), ('SVM', SVC()), ('GNB', GaussianNB()) ] voting_clf = VotingClassifier( estimators=models1, voting='soft' # 'soft' 使用概率的平均,'hard' 使用多数投票 ) ,并用一层神经网络表示,怎么写
- Assistant
要使用深度学习框架(如TensorFlow或PyTorch)创建一个类似于上述
VotingClassifier(使用soft voting)的模型,你可以参考以下步骤。这个步骤要复杂一些,因为我们需要手动实现这些模型(或使用对应框架的现成模型),然后在输出层使用平均来模拟soft voting的效果。这里以PyTorch为例,演示一个简化的方法,来接近你要求的功能。请注意,直接的翻译并不完全可能,因为在深度学习框架中,预训练好的模型比如
LogisticRegression和SVC不是直接可用的,而且KNN和GNB这些模型并不是用于深度学习的常见选择。因此,我们会用简单的全连接层 (fully connected layers) 来模拟不同的"模型"。以下是一个例子:
import torch import torch.nn as nn import torch.nn.functional as F # 假设我们的输入特征数是10,分类任务是一个二分类任务 class SimpleClassifier(nn.Module): def __init__(self, input_features, hidden_units): super(SimpleClassifier, self).__init__() self.fc = nn.Linear(input_features, hidden_units) self.out = nn.Linear(hidden_units, 2) # 假设是二分类任务 def forward(self, x): x = F.relu(self.fc(x)) x = self.out(x) return x class VotingClassifierNN(nn.Module): def __init__(self, input_features): super(VotingClassifierNN, self).__init__() # 模拟不同的模型,这里简化为使用不同数量的hidden units self.model1 = SimpleClassifier(input_features, 100) self.model2 = SimpleClassifier(input_features, 50) self.model3 = SimpleClassifier(input_features, 75) # 可以增加更多模型 def forward(self, x): # 获得每个模型的输出 out1 = torch.softmax(self.model1(x), dim=-1) out2 = torch.softmax(self.model2(x), dim=-1) out3 = torch.softmax(self.model3(x), dim=-1) # 计算输出的平均,模仿soft voting out_average = (out1 + out2 + out3) / 3 return out_average # 假设我们有10个输入特征 input_features = 10 model = VotingClassifierNN(input_features) # 演示 print(model) # 然后你就可以训练这个模型,根据你的数据和标准的PyTorch训练循环。在这个例子中,每个
SimpleClassifier代表一个不同的"模型",我们通过改变隐藏层的单元数来简化地模拟不同的学习算法。在forward方法中,我们计算所有模型输出的平均值,这模仿了软投票机制。注意,对于每个模型的输出,我们使用了softmax函数来确保输出是概率分布形式,这对于软投票是必须的。这个例子是一个起点,你可能需要根据实际问题调整模型架构和参数。
- User
models = [ ('LogReg', LogisticRegression()), # ('RF', RandomForestClassifier()), ('KNN', KNeighborsClassifier()), ('SVM', SVC()), ('GNB', GaussianNB()) # ('XGB', XGBClassifier()) ] 使用集成学习,并采用一层神经网络进行表示
- Assistant
要使用一层神经网络(尽管可能不是最有效或适当的方法)表达上述集成学习模型的集成学习理念,并以soft voting的方式进行融合,我们可以采取以下方法。但请注意,在机器学习中,传统的集成学习方法(如
VotingClassifier等)与深度学习(神经网络)模型在概念和实现上有明显差异。在深度学习模型中,通常不会直接集成传统的机器学习算法(如逻辑回归、SVM等)。不过,如果我们的目标是学习如何将不同来源的模型输出整合到一个神经网络中,我们可以采取以下示例性的做法。最重要的是理解如何模拟类似
VotingClassifier的行为—即,如何合并各个不同模型的推断结果。以下方案使用了PyTorch框架实现这个概念:-
首先,独立训练你的机器学习模型(LogisticRegression, KNeighborsClassifier, SVC, GaussianNB)并保存它们的预测概率输出或决策函数值。
-
创建一个单层神经网络(实际上,这里更像是一个加权平均层),该层将那些独立模型的输出作为输入,并输出最终的预测。
这个方案需要明确一些假设和简化:我们假设每个模型的输出都可以被转化为相同形式的概率预测,并且我们将使用这些概率作为我们新的"单层神经网络"的输入。此外,对于模型如SVC,我们需要确保使用了
probability=True来允许概率估计。下面是一个非常简单的PyTorch示例,展现了如何实现这个融合层:
import torch import torch.nn as nn import torch.optim as optim class FusionLayer(nn.Module): def __init__(self, n_models): super(FusionLayer, self).__init__() # 权重初始化为1/n_models,保证初始状态下是平均融合 self.weights = nn.Parameter(torch.ones(n_models) / n_models) def forward(self, x): # x形状应该为[N, n_models, n_classes],其中N是样本数量 # 权重乘以模型预测,然后沿模型维度求和 return torch.matmul(x, self.weights.unsqueeze(-1)) # 假设我们有4个模型,且是一个二分类任务 # 注意,这里的x应该是经过你的4个独立模型处理后得到的预测概率 # 假设每个模型都输出[0.8, 0.2]作为示例 n_models, n_classes = 4, 2 x_example = torch.tensor([[[0.8, 0.2], [0.8, 0.2], [0.8, 0.2], [0.8, 0.2]]]) model = FusionLayer(n_models) # 使用model前需要确定其参数(即那些融合权重)是如何更新的。 # 在此示例中,我们简单地演示了如何进行前向传播。 print(model(x_example)) # 输出应该是这些模型输出的加权平均请注意,这个简单的FusionLayer模型开始时会对所有模型输出进行平均。通过训练,你可以优化权重,以便为每个模型的输出分配更合适的重要性。然而,对参数的更新取决于你有关这些权重的特定理解,以及你具体希望这些模型如何相互作用来提高整体性能。此外,实际场景中,你需要有一套机制来处理不同模型的预测概率,并将它们作为输入提供给这个fusion layer进行训练和预测。
-
- User
import pickle
import joblib import pandas as pd import tsfresh import os import json import scapy import numpy as np import warnings from timeit import default_timer as timer
warnings.filterwarnings("ignore") #ignore warnings caused by
#################################################################
malicious csv files import
#################################################################
df1 = pd.read_csv('malicious/WebOS_binary.csv') # df2 = pd.read_csv('malicious/Server_Binary.csv') # df3 = pd.read_csv('malicious/Raspberry_Webmine_Robust.csv') df4 = pd.read_csv('malicious/Raspberry_Binary.csv') # df5 = pd.read_csv('malicious/Raspberry_Webmine_Aggressive.csv') df6 = pd.read_csv('malicious/Raspberry_WebminePool_Aggressive.csv') df7 = pd.read_csv('malicious/Server_WebminePool_Aggressive.csv') # df32 = pd.read_csv('malicious/Server_WebminePool_Robust.csv') # df33 = pd.read_csv('malicious/Raspberry_WebminePool_Stealthy.csv') # df34 = pd.read_csv('malicious/Raspberry_WebminePool_Robust.csv') # df35 = pd.read_csv('malicious/Desktop_WebminePool_Aggressive.csv') #
#################################################################
benign csv files import
#################################################################
############### LAPTOP #############
df8 = pd.read_csv('benign-2/Laptop/Laptop_download_benign.csv') df9 = pd.read_csv('benign-2/Laptop/Laptop_idle_benign.csv') df10 = pd.read_csv('benign-2/Laptop/Laptop_interactive_benign.csv') df11 = pd.read_csv('benign-2/Laptop/Laptop_video_benign.csv') df12 = pd.read_csv('benign-2/Laptop/Laptop_webbrowsing_benign.csv')
############### Raspberry ##########
df13 = pd.read_csv('benign-2/Raspberry/Raspberry_download_benign.csv') df14 = pd.read_csv('benign-2/Raspberry/Raspberry_idle_benign.csv') df15 = pd.read_csv('benign-2/Raspberry/Raspberry_interactive_benign.csv') df16 = pd.read_csv('benign-2/Raspberry/Raspberry_video_benign.csv') df17 = pd.read_csv('benign-2/Raspberry/Raspberry_webbrowsing_benign.csv')
############### Server ############
df18 = pd.read_csv('benign-2/Server/Server_download_benign.csv') df19 = pd.read_csv('benign-2/Server/Server_idle_benign.csv') df20 = pd.read_csv('benign-2/Server/Server_interactive_benign.csv') df21 = pd.read_csv('benign-2/Server/Server_video_benign.csv') df22 = pd.read_csv('benign-2/Server/Server_webbrowsing_benign.csv')
############### WebOS ############
df23 = pd.read_csv('benign-2/WebOS/Webos_video(live&normal)_benign.csv')
df_results = pd.DataFrame()
Prune the datasets for labeling process for malicious data
For WebOS = 18:56:80:17:d0:ef
index_names = df1[((df1['HW_dst'] != '18:56:80:17:d0:ef') & (df1['Hw_src'] != '18:56:80:17:d0:ef'))].index df1.drop(index_names, inplace = True)
Big_Server_Monero_mining_data = a4:bb:6d:ac:e1:fd
index_names = df2[((df2['HW_dst'] != 'a4:bb:6d:ac:e1:fd') & (df2['Hw_src'] != 'a4:bb:6d:ac:e1:fd'))].index df2.drop(index_names, inplace = True)
ege_data_rasberry = dc:a6:32:67:66:4b
index_names = df3[((df3['HW_dst'] != 'dc:a6:32:67:66:4b') & (df3['Hw_src'] != 'dc:a6:32:67:66:4b'))].index df3.drop(index_names, inplace = True)
Rasberry_binary_monero_mining = dc:a6:32:68:35:8a
index_names = df4[((df4['HW_dst'] != 'dc:a6:32:68:35:8a') & (df4['Hw_src'] != 'dc:a6:32:68:35:8a'))].index df4.drop(index_names, inplace = True)
Rasberry_network_data_2 = dc:a6:32:67:66:4b
index_names = df5[((df5['HW_dst'] != 'dc:a6:32:67:66:4b') & (df5['Hw_src'] != 'dc:a6:32:67:66:4b'))].index df5.drop(index_names, inplace = True)
Rasberry-Webmine = dc:a6:32:67:66:4b
index_names = df6[((df6['HW_dst'] != 'dc:a6:32:67:66:4b') & (df6['Hw_src'] != 'dc:a6:32:67:66:4b'))].index df6.drop(index_names, inplace = True)
Server_Webmine_Network_data = a4:bb:6d:ac:e1:fd
index_names = df7[((df7['HW_dst'] != 'a4:bb:6d:ac:e1:fd') & (df7['Hw_src'] != 'a4:bb:6d:ac:e1:fd'))].index df7.drop(index_names, inplace = True)
Server_%50_Mining = a4:bb:6d:ac:e1:fd
index_names = df32[((df32['HW_dst'] != 'a4:bb:6d:ac:e1:fd') & (df32['Hw_src'] != 'a4:bb:6d:ac:e1:fd'))].index df32.drop(index_names, inplace = True)
Rasberry_webmine_%10 = dc:a6:32:67:66:4b
index_names = df33[((df33['HW_dst'] != 'dc:a6:32:67:66:4b') & (df33['Hw_src'] != 'dc:a6:32:67:66:4b'))].index df33.drop(index_names, inplace = True)
Rasberry_webmine_%50 = dc:a6:32:68:35:8a
index_names = df34[((df34['HW_dst'] != 'dc:a6:32:68:35:8a') & (df34['Hw_src'] != 'dc:a6:32:68:35:8a'))].index df34.drop(index_names, inplace = True)
Desktop_Webmine_%100 = dc:a6:32:68:35:8a
index_names = df35[((df35['HW_dst'] != 'd8:3b:bf:8f:ba:ba') & (df35['Hw_src'] != 'd8:3b:bf:8f:ba:ba'))].index df35.drop(index_names, inplace = True)
df1.insert(7, "Is_malicious", 1) df2.insert(7, "Is_malicious", 1) df3.insert(7, "Is_malicious", 1) df4.insert(7, "Is_malicious", 1) df5.insert(7, "Is_malicious", 1) df6.insert(7, "Is_malicious", 1) df7.insert(7, "Is_malicious", 1)
========================================================
df8.insert(7, "Is_malicious", 0) df9.insert(7, "Is_malicious", 0) df10.insert(7, "Is_malicious", 0) df11.insert(7, "Is_malicious", 0) df12.insert(7, "Is_malicious", 0) df13.insert(7, "Is_malicious", 0) df14.insert(7, "Is_malicious", 0) df15.insert(7, "Is_malicious", 0) df16.insert(7, "Is_malicious", 0) df17.insert(7, "Is_malicious", 0) df18.insert(7, "Is_malicious", 0) df19.insert(7, "Is_malicious", 0) df20.insert(7, "Is_malicious", 0) df21.insert(7, "Is_malicious", 0) df22.insert(7, "Is_malicious", 0) df23.insert(7, "Is_malicious", 0)
========================================================
df32.insert(7, "Is_malicious", 1) df33.insert(7, "Is_malicious", 1) df34.insert(7, "Is_malicious", 1) df35.insert(7, "Is_malicious", 1)
def save_model(name, model): filename = f'{name}.pkl' # 为保存的模型文件构造一个名称 joblib.dump(model, filename) # 使用joblib保存模型
def run_process(a, b, c, d, x): # run_process(df_malicious_Train,df_benign_Train,df_malicious_Test,df_benign_Test,df_results)
df_malicious_Train = a.copy() df_benign_Train = b.copy() df_malicious_Test = c.copy() df_benign_Test = d.copy() from tsfresh import extract_features, select_features from tsfresh.utilities.dataframe_functions import impute from tsfresh import extract_features from tsfresh.feature_selection.relevance import calculate_relevance_table df_malicious_Train.reset_index(drop=True, inplace=True) # reset index df_malicious_Train['id'] = np.floor(df_malicious_Train.index.array / 10) df_malicious_Test.reset_index(drop=True, inplace=True) # reset index df_malicious_Test['id'] = np.floor(df_malicious_Test.index.array / 10) df_benign_Train.reset_index(drop=True, inplace=True) # reset index df_benign_Train['id'] = np.floor(df_benign_Train.index.array / 10) df_benign_Test.reset_index(drop=True, inplace=True) # reset index df_benign_Test['id'] = np.floor(df_benign_Test.index.array / 10) tf1 = tsfresh.extract_features(df_malicious_Train, impute_function=impute, column_kind='Is_malicious', column_id='id', column_sort="Time", column_value="Length") tf1['class'] = 1 tf1_1 = tsfresh.extract_features(df_malicious_Test, impute_function=impute, column_kind='Is_malicious', column_id='id', column_sort="Time", column_value="Length") tf1_1['class'] = 1 tf2 = tsfresh.extract_features(df_benign_Train, impute_function=impute, column_kind='Is_malicious', column_id='id', column_sort="Time", column_value="Length") tf2['class'] = 0 tf2_1 = tsfresh.extract_features(df_benign_Test, impute_function=impute, column_kind='Is_malicious', column_id='id', column_sort="Time", column_value="Length") tf2_1['class'] = 0 tf2.columns = tf1.columns tf2_1.columns = tf1_1.columns features_train = pd.concat([tf1, tf2]) features_test = pd.concat([tf1_1, tf2_1]) features2_train = features_train.copy() features2_train.reset_index(drop=True, inplace=True) y_train = pd.Series(data=features2_train['class'], index=features2_train.index) relevance_table_train = calculate_relevance_table(features2_train, y_train) relevance_table_train = relevance_table_train[relevance_table_train.relevant] relevance_table_train.sort_values("p_value", inplace=True) best_features_train = relevance_table_train[relevance_table_train['p_value'] <= 0.05] df_ML_train = pd.DataFrame() df_ML_test = pd.DataFrame() df_ML_train[best_features_train.feature] = features_train[best_features_train.feature] best_features_train.to_csv('best_features_train.csv', index=False) best_features = pd.read_csv('best_features_train.csv') df_ML_test[best_features.feature] = features_test[best_features.feature] final = ML_Process(df_ML_train, df_ML_test, x) return finaldef ML_Process(df_ML_train, df_ML_test, x): import pickle import numpy as np import pandas as pd import tsfresh from tsfresh.utilities.dataframe_functions import impute
df_results = x.copy() print('let the ml starts') from sklearn import neighbors, metrics from sklearn.preprocessing import LabelEncoder X_train = df_ML_train.drop('class', axis=1).to_numpy() y_train = df_ML_train['class'].to_numpy() X_test = df_ML_test.drop('class', axis=1).to_numpy() y_test = df_ML_test['class'].to_numpy() from sklearn.model_selection import train_test_split Le = LabelEncoder() for i in range(len(X_train[0])): X_train[:, i] = Le.fit_transform(X_train[:, i]) for i in range(len(X_train[0])): X_test[:, i] = Le.fit_transform(X_test[:, i]) # X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=8675309) from sklearn.linear_model import LogisticRegression from sklearn.neighbors import KNeighborsClassifier from sklearn.svm import SVC from sklearn.ensemble import RandomForestClassifier from sklearn.naive_bayes import GaussianNB # from xgboost import XGBClassifier from sklearn import model_selection from sklearn.utils import class_weight from sklearn.metrics import classification_report from sklearn.metrics import confusion_matrix import numpy as np import pandas as pd y_train = y_train.ravel() dfs = [] models = [ ('LogReg', LogisticRegression()), # ('RF', RandomForestClassifier()), ('KNN', KNeighborsClassifier()), ('SVM', SVC()), ('GNB', GaussianNB()) # ('XGB', XGBClassifier()) ] results = [] names = [] scoring = ['accuracy', 'precision_weighted', 'recall_weighted', 'f1_weighted', 'roc_auc'] target_names = ['malignant', 'benign'] for name, model in models: kfold = model_selection.KFold(n_splits=5, shuffle=True, random_state=90210) cv_results = model_selection.cross_validate(model, X_train, y_train, cv=kfold, scoring=scoring) clf = model.fit(X_train, y_train) model_name = name+".pkl" with open(model_name, 'wb') as f: pickle.dump(model, f) y_pred = clf.predict(X_test) print(name) print(classification_report(y_test, y_pred, target_names=target_names)) results.append(cv_results) names.append(name) this_df = pd.DataFrame(cv_results) this_df['model'] = name dfs.append(this_df) df_resulta = df_results.append(dfs) final = pd.concat(dfs, ignore_index=True) print(final) return (final)if name == 'main': ## Train: Raspberry (server), Test: binary (WebOS)
df_malicious_Train = pd.concat([df4]) df_malicious_Test = pd.concat([df1]) df_benign_Train = pd.concat([df14, df15, df16, df17]) df_benign_Test = pd.concat([df14, df15, df16, df17]) print("malicious_train: {}".format(len(df_malicious_Train))) print("malicious_test: {}".format(len(df_malicious_Test))) print("benign_train: {}".format(len(df_benign_Train))) print("benign_test: {}".format(len(df_benign_Test))) # print("{} NAN in malicious!".format(len(df_malicious[df_malicious.isna().any(axis=1)]))) # print("{} NAN in benign!".format(len(df_benign[df_benign.isna().any(axis=1)]))) df_malicious_Test = df_malicious_Test.dropna() df_malicious_Train = df_malicious_Train.dropna() df_benign_Test = df_benign_Test.dropna() df_benign_Train = df_benign_Train.dropna() print("After droppping NAN rows: ") print("malicious_train: {}".format(len(df_malicious_Train))) print("malicious_test: {}".format(len(df_malicious_Test))) print("benign_train: {}".format(len(df_benign_Train))) print("benign_test: {}".format(len(df_benign_Test))) start = timer() results_all_combined_s0 = run_process(df_malicious_Train, df_benign_Train, df_malicious_Test, df_benign_Test, df_results) end = timer() print(end - start) 使用集成学习,并采用一层神经网络进行表示 ,代码该如何修改 - Assistant
要将你的代码修改为使用集成学习方法,并通过单层神经网络进行表示,我们需要对
ML_Process函数进行改写,以便将多个模型的输出融合为一个单一的神经网络层的输入,而后输出最终的预测结果。但我们面临一个挑战:上述模型(例如逻辑回归、KNN、SVM、高斯朴素贝叶斯)与深度学习框架(如TensorFlow或PyTorch)的工作方式有本质的不同。传统模型通常与深度学习模型分别训练和应用。因此,一个直接的“一层神经网络表示”对于集成现有的机器学习模型并不自然,尤其是在不改变底层模型的前提下。
不过,我们可以通过一种模拟的方式来近似实现:首先独立训练你提到的机器学习模型,然后使用这些模型的输出(例如,预测概率)作为输入数据,训练一个单层神经网络来进行最终的预测。这个神经网络会学习如何最好地结合各个模型的预测来优化最终的分类结果。
融合层的实现
下面是如何在
PyTorch中创建这样一个简单的融合层。此处我们假设你已有模型输出准备好:import torch import torch.nn as nn import torch.nn.functional as F # 假设有4个模型的输出,且为二分类任务 class FusionLayer(nn.Module): def __init__(self): super(FusionLayer, self).__init__() self.fc = nn.Linear(4, 2) # 4个模型输出,目标是2分类 def forward(self, x): x = F.softmax(self.fc(x), dim=1) # 使用softmax获取最终概率分布 return x # 创建融合模型 fusion_model = FusionLayer() # 示例:模拟4个模型输出的数据 model_outputs = torch.randn(10, 4) # 假设有10个样本的模型预测输出 # 使用融合层进行预测 prediction = fusion_model(model_outputs) print(prediction) # 输出是融合后的预测结果修改
ML_Process函数对于你的
ML_Process函数,你需要收集你训练好的模型的输出(比如,使用它们的.predict_proba()方法来获得预测类别的概率),并将这些输出合并为新的特征集,然后用这个新的特征集来训练上面那样的融合层。此过程涉及到你的机器学习流程在获得预测前暂停,收集各个模型的输出,并用这些输出作为融合神经网络的输入来生成最终的预测结果。
请注意,直接将传统的机器学习模型与深度学习模型结合可能导致一些技术和概念上的挑战,如模型训练的方式、输入输出的预处理方式等。因此,可能需要根据实际情况对模型的训练和预测流程进行适当调整。
- User
tsfresh.extract_features(df_malicious_Train, impute_function=impute, column_kind='Is_malicious', column_id='id', column_sort="Time", column_value="Length") 是什么意思
- Assistant
在您提到的这段代码中,
tsfresh库被用于从时间序列数据中自动提取特征。tsfresh是一个Python库,用于自动计算大量时间序列的特征,非常适合从各种信号或时间序列数据中自动提取相关特征。这里的代码片段用于从特定的DataFrame中提取特征,让我们逐个看看这条命令的组成部分:-
tsfresh.extract_features(): 这是tsfresh库中用于提取特征的函数。它将DataFrame作为输入,并根据提供的参数自动计算特征。 -
df_malicious_Train: 这是函数的第一个参数,代表输入的DataFrame,其中包含了你需要从中提取特征的时间序列数据。这个DataFrame可能包含来自某种恶意行为(例如网络攻击或者恶意软件活动)的网络流量或其他时间序列型数据。 -
impute_function=impute: 这个参数指定了一个函数,用于填充或替换时间序列在特征提取过程中可能出现的缺失值。impute是tsfresh附带的一个方便的函数,用于处理缺失数据。 -
column_id='id': 指定DataFrame中的哪一列用作ID列,以区分不同的时间序列。即,具有相同ID的行被认为是同一个时间序列的不同观测值。 -
column_sort="Time": 表示DataFrame中哪一列用于对每个时间序列进行排序。换句话说,这告诉tsfresh根据“Time”列中的值按时间顺序处理每个时间序列的数据。 -
column_value="Length": 指定DataFrame中哪一列包含要提取特征的实际数值或观测值。这里的“Length”可能代表了网络包的长度或其他与时间相关的测量值。 -
column_kind='Is_malicious': 这个参数在这个上下文中可能有点混淆。在tsfresh官方文档中,column_kind用于区分不同类型的时间序列(例如,温度、压力等),但在您的代码片段中,看起来像是用来指示恶意行为的列。这可能是为了提取针对恶意/non-恶意类别的特征,但通常情况下,特征提取是基于时间序列本身进行的,而不依赖于目标变量(比如Is_malicious这样的标签)。可能在您的上下文中,column_kind被用于另一个目的,或者这是一个语法错误。
总之,这段代码的目的是在考虑每个时间序列(由
id和Time列定义)的上下文中,从Length列的值自动计算和提取特征,并使用impute函数处理缺失值,以便进一步的机器学习或数据分析工作。 -
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.