有些文本内容如下: a1 b1 a1 c1 a1 d1 ... a2 b2 a2 c2 a2 d2 ......
每天大约有几百万条这种格式的日志,目前想处理下,把以下两条第二列的内容合并, a1 b1 a1 c1
做成以下格式的 a1 b1 c1 a1 d1 ...... a2 b2 c2 a2 d2 ......
有什么可行的办法呢.多谢大家
This topic created in 3771 days ago, the information mentioned may be changed or developed.
Supplement 1 · Apr 13, 2016
真不好意思,日志的格式换行没有打出来日志的格式如下:
20160412xxxx id1 内容 a \n
20160412xxxx id1 内容 b \n
20160412xxxx id1 内容 c \n
20160412xxxx id1 内容 d \n
........
20160412xxxx id2 内容 a1 \n
20160412xxxx id2 内容 b1 \n
20160412xxxx id2 内容 c1 \n
20160412xxxx id2 内容 d1 \n
........
20160412xxxx id3 内容 a2 \n
20160412xxxx id3 内容 b2 \n
20160412xxxx id3 内容 c2 \n
20160412xxxx id3 内容 d2 \n
........
目前想实现:
20160412xxxx id1 内容 a + 内容 b \n
20160412xxxx id1 内容 c \n
20160412xxxx id1 内容 d \n
........
20160412xxxx id2 内容 a1 +内容 b1 \n
20160412xxxx id2 内容 c1 \n
20160412xxxx id2 内容 d1 \n
........
20160412xxxx id3 内容 a2 +内容 b2 \n
20160412xxxx id3 内容 c2 \n
20160412xxxx id3 内容 d2 \n
........
其中内容 ax bx 都是非常固定的格式.
20160412xxxx id1 内容 a \n
20160412xxxx id1 内容 b \n
20160412xxxx id1 内容 c \n
20160412xxxx id1 内容 d \n
........
20160412xxxx id2 内容 a1 \n
20160412xxxx id2 内容 b1 \n
20160412xxxx id2 内容 c1 \n
20160412xxxx id2 内容 d1 \n
........
20160412xxxx id3 内容 a2 \n
20160412xxxx id3 内容 b2 \n
20160412xxxx id3 内容 c2 \n
20160412xxxx id3 内容 d2 \n
........
目前想实现:
20160412xxxx id1 内容 a + 内容 b \n
20160412xxxx id1 内容 c \n
20160412xxxx id1 内容 d \n
........
20160412xxxx id2 内容 a1 +内容 b1 \n
20160412xxxx id2 内容 c1 \n
20160412xxxx id2 内容 d1 \n
........
20160412xxxx id3 内容 a2 +内容 b2 \n
20160412xxxx id3 内容 c2 \n
20160412xxxx id3 内容 d2 \n
........
其中内容 ax bx 都是非常固定的格式.
 |
1
sparkssssssss OP 换行怎么没打出来......
|
 |
2
Devin Apr 13, 2016 via iPhone
用 awk 应该可以
楼主 append 把问题描述清楚吧 |
|
3
sparkssssssss OP @Devin awk 我一般处理单行居多,如何合并特定的两行,我不太会
我目前是用 rsyslog 来做日志格式处理的,但是也是基于单行 |
 |
4
clino Apr 13, 2016
写几行 python 吧
|
 |
5
irenicus Apr 13, 2016 via Android
python 或者 perl
|
 |
6
wvuu Apr 13, 2016
awk '{if($2 != a){b=$3" "$4;c=1}else{print(c != 0)?$1" "$2" "b" "$3" "$4:$0;c=0}a=$2}'
这个命令只能按照你目前的格式处理，如果你的日志根这个格式不一样，结果会有问题。 |
Select Language