windows - tekst editor for at se gigantiske logfiler

Indlæg af Hanne Mølgaard Plasc

Problem



Da jeg endnu ikke har konfigureret en log-roterende løsning, har jeg en logfilfil på 3gb (38 millioner linjer), som jeg skal finde nogle oplysninger ind fra en bestemt dato. Som ved brug af kat | grep er forfærdeligt langsomt, og ved hjælp af min nuværende editor (Large Text File Viewer) er lige så langsomt spekulerede jeg: Er der nogen tekstredigeringsfunktion, der fungerer godt med visning> 35 millioner line logfiler? Jeg kunne bare bruge katten | grep løsning og lad det køre over natten, men med millioner af fejl at sortere igennem må der være en bedre måde.

Bedste reference


Du vil måske prøve at bruge grep af sig selv:


grep 2011-04-09 logfile.txt


i stedet for unødvendigt at bruge cat:


cat logfile.txt | grep 2011-04-09


Når det handler om store mængder data, kan dette gøre en forskel.


Interessant læsning er en Usenet udstationering fra sidste år: Hvorfor GNU grep er hurtig. [10]

Andre referencer 1


Da du er på Windows, bør du virkelig prøve flere implementeringer af grep. Ikke alle implementeringer af grep er ens. Der er nogle virkelig forfærdelige implementeringer.


Det er ikke nødvendigt at bruge cat: Grep kan læse direkte fra logfilen, medmindre den er låst mod at blive delt med læsere.


&Nbsp;       grep mønster logfil > tmpfile


bør gøre det trick. Derefter kan du bruge mest enhver editor til at undersøge de valgte poster, forudsat at det er ret selektivt.

Andre referencer 2


Jeg tror ikke du vil få noget hurtigere end grep alene (som andre har bemærket, behøver du ikke katten).


Jeg finder personligt 'mere' og 'mindre' er nyttige (til mindre filer). Årsagen er, at nogle gange vil et mønster få dig i den generelle nærhed af hvor du vil (dvs. en dato og en tid), og så kan du rulle gennem filen på det tidspunkt.


'/' er søgekommandoen til regulære udtryk i mere.