Neden büyük CI loglarında gerçek hata gömülü kalır?

Bir test paketi, Docker katmanı veya bağımlılık indirme adımı binlerce kez aynı durum satırını, ANSI renk kodlu ilerleme çubuğunu (`\r` üzerine yazma) veya tekrar eden `ConnectionResetError` uyarısını bastığında asıl `Traceback` çoğu zaman çıktının ortasında kaybolur.

Klasik `grep -v` veya `tail -n 200` geçici çözümleri ise iki kritik risk taşır: bağlam satırlarını kırpar ve boru hattının (pipe) sonunda asıl komutun başarısız çıkış kodunu (`exit 1`) maskeleyerek CI adımını yanlışlıkla yeşil geçirebilir.

1. Adım: Log akışını diske yazmadan sabit bellekte tekilleştirin

İdeal log daraltıcı dosyayı baştan sona belleğe yüklemez; `stdin` üzerinden satır satır akan veriyi işler, geçici ANSI kontrol karakterlerini temizler, ardışık aynı kalıpları tek satır + tekrar sayacına indirger.

Saf Python standart kütüphanesiyle yazılmış `logshrink`, test koşumlarında ve Docker derlemelerinde çıktı hacmini %70–90 azaltırken her türlü hata yığını ve `traceback` bloğunu kırpmadan doğrudan geçirir.

bash
pip install logshrink

# Test çıktısını hata yığınlarını kaybetmeden daralt
pytest -vv 2>&1 | logshrink

# Çıkış kodunu korumak için pipefail ile kullanın
set -o pipefail && docker build . 2>&1 | logshrink

2. Adım: Var olan dev log dosyalarını tek komutta özetleyin

Canlı bir CI akışı değil de sonradan indirilmiş 200 MB'lık bir sunucu veya konteyner logu inceliyorsanız, dosyayı editörde açmadan önce doğrudan standart girişten `logshrink` akışına beslemek tekrar fırtınalarını anında sadeleştirir.

Gürültü temizlendikten sonra kalan az sayıdaki tekil şablon ve hata bloğu, sorunun zaman sırasını (ilk kırılma anı → takip eden yeniden denemeler) saniyeler içinde görünür kılar.

bash
# İndirilen production veya CI log dosyasını daraltılmış özetle incele
cat build-failure.log | logshrink | less -R

Kaynak: LogShrink proje sayfası ve streaming mimarisi

Kaynak: PyPI: logshrink paketi

Kaynak: GitHub: umutgungorr/logshrink

Kaynak: Güven Kazanan CLI Araçları Tasarımı