拆分小文件处理之后再合并 | go语言体系课 | 全栈编程

全栈编程

Balance $ 2,317

Item Sold 1230

全栈编程

全栈编程go语言体系课

go语言体系课

+90% go语言从入门到精通

书叶网

知识共享书籍

有效提高80%编程效率

流程图

在线流程图

好图图

有效提升50%办公效率

编辑器

chatok.cn

go语言在线聊天

+20% chatok.cn

全栈编程@luboke.com

http://www.luboke.com/go/go3.0.html

本文章为全栈编程go语言体系课视频教程配套电子书，版权归全栈编程@luboke.com所有，欢迎免费学习，转载必须注明出处！但禁止任何商业用途，否则将受到法律制裁！

grep -iE "\"(POST|GET)[[:blank:]](\S)+[[:blank:]]HTTP\/1\.[1|0]\"[[:blank:]]+\|[[:blank:]]+[[:digit:]]+[[:blank:]]+\|[[:blank:]]+[[:digit:]]+[[:blank:]]+\|[[:blank:]]+(\S)+" pay-part000  | awk -F " " '{arr[$1]++}END{for(i in arr){print i,arr[i]}}' | sort  -k2nr | head -n 15 > result_pay-part000
 

grep -iE "\"(POST|GET)[[:blank:]](\S)+[[:blank:]]HTTP\/1\.[1|0]\"[[:blank:]]+\|[[:blank:]]+[[:digit:]]+[[:blank:]]+\|[[:blank:]]+[[:digit:]]+[[:blank:]]+\|[[:blank:]]+(\S)+" pay-part001  | awk -F " " '{arr[$1]++}END{for(i in arr){print i,arr[i]}}' | sort  -k2nr | head -n 15 > result_pay-part001
 

grep -iE "\"(POST|GET)[[:blank:]](\S)+[[:blank:]]HTTP\/1\.[1|0]\"[[:blank:]]+\|[[:blank:]]+[[:digit:]]+[[:blank:]]+\|[[:blank:]]+[[:digit:]]+[[:blank:]]+\|[[:blank:]]+(\S)+" pay-part002  | awk -F " " '{arr[$1]++}END{for(i in arr){print i,arr[i]}}' | sort  -k2nr | head -n 15 > result_pay-part002
 

grep -iE "\"(POST|GET)[[:blank:]](\S)+[[:blank:]]HTTP\/1\.[1|0]\"[[:blank:]]+\|[[:blank:]]+[[:digit:]]+[[:blank:]]+\|[[:blank:]]+[[:digit:]]+[[:blank:]]+\|[[:blank:]]+(\S)+" pay-part003  | awk -F " " '{arr[$1]++}END{for(i in arr){print i,arr[i]}}' | sort  -k2nr | head -n 15 > result_pay-part003
 

grep -iE "\"(POST|GET)[[:blank:]](\S)+[[:blank:]]HTTP\/1\.[1|0]\"[[:blank:]]+\|[[:blank:]]+[[:digit:]]+[[:blank:]]+\|[[:blank:]]+[[:digit:]]+[[:blank:]]+\|[[:blank:]]+(\S)+" pay-part004  | awk -F " " '{arr[$1]++}END{for(i in arr){print i,arr[i]}}' | sort  -k2nr | head -n 15 > result_pay-part004

#1.合并所有小文件到大文件中
cat result_pay-part00* > result_pay

#2.对合并的文件进行处理,统计合并之后的所有的Ip
awk -F ' ' 'BEGIN{arr[$1]=$2}{arr[$1]+=$2}END{for(i in arr){print i,arr[i]}}' result_pay | sort -k2nr