Способ ручного мониторинга логов

Искал как бы избавиться от навязчивых длинных ексепшинов в логах с сертификатами, когда меня интересовали другие строки не такие длинные.
Думал проблему нужно решать через выключения из логов ненужных ексепшинов, парился, но понял, что стектрейс имеет в себе переносы строк, поэтому нужно просто выводить корни, и это значительно решает проблему даже без вырезания надоедливых логов:

Вот что получилось:

tail -f logs/app.log \
| egrep -A3 "^(DEBUG|INFO|WARN|ERROR)"

Ну а где-то выключение все же полезно:

tail -f ums.log \
| egrep -v "^INFO.*NotifyBalanceChange" \
| egrep -v "^INFO.*Ping"

Вместо egrep можно пользоваться grep -E
Вот не самый лучший вариант, такое впечатление, что после первых двух фильтров третьему далека не самый пердполагаемый результат достается..

tail -f logs/app.log \
| egrep -v "^ERROR [0-9]{2}.[0-9]{2}.[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2},[0-9]{3} JackpotsServiceImpl \[.*?\] \[.*?\] I/O error: sun.security" \
| egrep -v "^WARN [0-9]{2}.[0-9]{2}.[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2},[0-9]{3} CasinoJackpotsServiceImpl \[.*?\] \[.*?\] Please check the jack" \
| egrep -A5 "^(DEBUG|INFO|WARN|ERROR)"

Главное что понял, так это то, что с регелярками в грепе мне еще долго нужно разбираться, и что иснтрументарий с мониторингом логов нужно улучшать... Вот некий полезный опыт:

Unix - Effective use of Tail / Find / Grep / Sed / Awk with Application logs

To see only lines containing an error / exception in last 5000 lines.

tail -5000 /opt/WebSphere/AppServer/profiles/application/logs/SystemOut.log | grep -i "FileNotFoundException"

To see lines containing any of the multiple errors / exceptions in running logs -

tail -f /opt/WebSphere/AppServer/profiles/application/logs/SystemOut.log | egrep "(WSWS3713E|WSWS3734W|WSVR0605W|javax.net.ssl.SSLHandshakeException|ThreadMonitor)"

To see Error Snipets in running logs.

tail -f /opt/WebSphere/AppServer/profiles/application/logs/SystemOut.log | sed -n '/ERROR/,/EST/p'

To get all error / exception snippets in another file.

sed -n '/ERROR/,/EST/p' /opt/WebSphere/AppServer/profiles/application/logs/SystemOut.log* >> newFile.txt

To find occurences of a particular error in last n days.

find /opt/WebSphere/AppServer/profiles/application/logs/ -iname "SystemOut*" -mtime -7 -exec zgrep "FileNotFoundException" {} \; >> logAnalysis.txt

To count number of error / exception occurences in a log file.

sed -n '/ERROR/,/EST/p' /opt/WebSphere/AppServer/profiles/application/logs/SystemOut.log | grep "LogicBlockSetupException" | wc -l

To report the file size of all files bigger than 2 mb and older than 30 days.

find . -type f -size +4096 -atime +30 -exec \du -sk '{}' \;

You might also like: