Skip to content
TheChatArchiveThe Chat Archive
gpt-3.5-turbo-0301· OpenAIAi2 WildChat-4.8M (AI2)

shell实现去除文本中重复的行

  1. User

    shell实现去除文本中重复的行

  2. Assistant

    可以使用uniq命令来去除重复的行。

    uniq命令默认只能去除相邻的重复行,如果要去除整个文本中的重复行,需要先使用sort命令将文本进行排序,再使用uniq命令去除重复行。

    例如,假设要去除文件example.txt中的重复行,可以使用以下命令:

    sort example.txt | uniq > no_duplication.txt

    该命令将文件example.txt中的内容排序后,使用uniq命令去除重复行,并将结果输出到文件no_duplication.txt中。