linux – awk,tail,sed或者其他 – 对于大文件哪一个更快？

我有大日志文件的脚本.我可以查看所有行,并使用tail和awk做一些事情.

尾巴：

tail -n +$startline $LOG

AWK：

awk 'NR>='"$startline"' {print}' $LOG

并检查时间,尾部工作6分39秒,awk工作6分42秒.所以两个命令做同样的事情/同一时间.

我不知道怎么做sed. Sed可以比tail和awk更快吗？或者也许是其他命令.

第二个问题,我使用$startline,每次继续从最后一行继续.例如：

我使用脚本行：

10:00AM -> ./script -> $startline=1 and do something -> write line number to save file(for ex. 25),10:05AM -> ./script -> $startline=26(read save file +1) and do something -> write line number save file(55),10:10AM -> ./script -> $startline=56(read save file +1) and do something ....

但是当脚本运行时,检查所有行,何时看到$startline,做某事.由于文件庞大,它有点慢.

对它的任何建议都会更快？

脚本示例：

lastline=$(tail -1 "line.save")
startline=$(($lastline + 1))
tail -n +$startline $LOG | while read -r
do
....
done
linecount=$(wc -l "$LOG" | awk '{print $1}')
echo $linecount >> line.save

解决方法

在Efficient way to print lines from a massive file using awk,sed,or something else?有一个很好的比较方法和头/尾被视为最好的方法.

因此,我会去寻找尾巴.

另请注意,如果它不仅是最后一行,而是文本中的一组,在awk(或sed)中,您可以选择在所需的最后一行之后退出.这样,您可以避免脚本在最后一行之前运行该文件.

所以这：

awk '{if (NR>=10 && NR<20) print} NR==20 {print; exit}'

比…更快

awk 'NR>=10 && NR<=20'

如果您的输入恰好包含超过20行.

关于你的表达：

awk 'NR>='"$startline"' {print}' $LOG

请注意,写起来更直接：

awk -v start="$startline" 'NR>=start' $LOG

没有必要说打印,因为它是隐含的.

（编辑：PHP编程网 - 黄冈站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!