使用python完成数据标注 csv表的表头:Service ID,A-end access device name,Z-end access device name,Link…
- User
使用python完成数据标注
csv表的表头:Service ID,A-end access device name,Z-end access device name,Link ID,HOP Num,Source Device name,Sink Device name
增加一个字段"type",当‘A-end access device name’等于‘Source Device name’时,type标记为’A’;当‘Z-end access device name’等于‘Sink Device name’时,type标记为’Z’
- Assistant
您可以使用 Python 的
pandas库来完成这个数据标注任务。以下是一个完整的示例代码,展示了如何读取原始 CSV 文件,添加新的type列,并根据条件进行标注,最后将结果保存为新的 CSV 文件。步骤:
-
安装 pandas 库(如果尚未安装)
pip install pandas -
编写 Python 脚本
import pandas as pd # 读取原始 CSV 文件 input_file = 'input.csv' # 请将其替换为您的输入文件名 df = pd.read_csv(input_file) # 定义一个函数来确定 'type' 值 def determine_type(row): if row['A-end access device name'] == row['Source Device name']: return 'A' elif row['Z-end access device name'] == row['Sink Device name']: return 'Z' else: return '' # 如果不满足任何条件,可以设置为空字符串或其他默认值 # 应用函数并创建新的 'type' 列 df['type'] = df.apply(determine_type, axis=1) # 保存结果到新的 CSV 文件 output_file = 'output.csv' # 请将其替换为您想要的输出文件名 df.to_csv(output_file, index=False) print(f"数据标注完成,结果已保存到 {output_file}")
详细解释:
-
导入 pandas 库
import pandas as pd -
读取 CSV 文件
input_file = 'input.csv' # 输入文件路径 df = pd.read_csv(input_file)这里假设您的 CSV 文件名为
input.csv,并且与脚本在同一目录下。如果不在同一目录,请提供完整路径。 -
定义标注逻辑
def determine_type(row): if row['A-end access device name'] == row['Source Device name']: return 'A' elif row['Z-end access device name'] == row['Sink Device name']: return 'Z' else: return ''这个函数接受每一行的数据作为输入,根据条件检查相应的列值,并返回
'A'或'Z',如果都不满足则返回空字符串(您也可以选择其他默认值,如'None')。 -
应用标注函数
df['type'] = df.apply(determine_type, axis=1)使用
apply方法将determine_type函数应用到每一行,并创建一个新的type列。 -
保存结果
output_file = 'output.csv' # 输出文件路径 df.to_csv(output_file, index=False)将处理后的 DataFrame 保存为新的 CSV 文件
output.csv。index=False参数确保不保存行索引到 CSV 文件中。 -
运行脚本
将上述代码保存为一个 Python 脚本文件(例如
label_data.py),然后在终端或命令提示符中运行:python label_data.py
示例输入与输出
示例输入 (
input.csv):Service ID A-end access device name Z-end access device name Link ID HOP Num Source Device name Sink Device name 1 DeviceA DeviceZ 100 2 DeviceA DeviceX 2 DeviceB DeviceY 101 3 DeviceC DeviceY 3 DeviceC DeviceX 102 1 DeviceD DeviceE 示例输出 (
output.csv):Service ID A-end access device name Z-end access device name Link ID HOP Num Source Device name Sink Device name type 1 DeviceA DeviceZ 100 2 DeviceA DeviceX A 2 DeviceB DeviceY 101 3 DeviceC DeviceY Z 3 DeviceC DeviceX 102 1 DeviceD DeviceE 在这个示例中:
- 第一行
A-end access device name等于Source Device name,所以type标记为'A'。 - 第二行
Z-end access device name等于Sink Device name,所以type标记为'Z'。 - 第三行既不满足
A也不满足Z的条件,所以type留空。
注意事项
-
列名匹配:确保 CSV 文件的列名与代码中的完全一致,包括大小写和空格。如果有不一致,请相应地调整代码中的列名。
-
缺失值处理:如果 CSV 文件中存在缺失值,您可能需要在标注函数中添加额外的检查,以避免
NaN值导致的比较问题。 -
效率优化:对于非常大的 CSV 文件,可以考虑使用矢量化操作来替代
apply,以提升性能。例如:df['type'] = '' df.loc[df['A-end access device name'] == df['Source Device name'], 'type'] = 'A' df.loc[df['Z-end access device name'] == df['Sink Device name'], 'type'] = 'Z'这种方法避免了逐行遍历,通常速度更快。
希望这个示例能够帮助您顺利完成数据标注任务!
-