Ubuntu怎么实现词频统计

ubuntu怎样实现词频统计

Ubuntu实现词频统计的示例：

使用shell实现简单的词频统计，例如：统计以下中第二列单词出现的次数。

1,huabingood,100
2,haha,200
3,huabingood,300
4,haha,100
5,haha,200

实现代码命令：

cat a.txt | awk -F "," '{print $2}' | sort | uniq -c | sort -nrk 1

代码解释：

awk -F “,” ‘{print $2}’ # 将数据依照逗号进行分割，并取出第二列的内容

sort　　# 将取出的内容进行排序。由于uniq统计时，如果重复的数据不连续，就会被认为时两个区分内容的行

uniq -c　　# 统计重复行出现的次数

sort -nrk 1　　# 依照第一列重复的次数，依照数字顺序进行降序排列

本文来源：https://www.yuntue.com/post/75847.html | 云服务器网，转载请注明出处！