Join fachinformatiker.de Forum Now
Ergebnis 1 bis 15 von 15

Squid-Log Auswertung mit Webalizer

Diskussion über Squid-Log Auswertung mit Webalizer in Linux + Unix der Kategorie Fachliches; Servus zusammen, mein Squid nimmt jeweils die LOG Einträge eines Tages und packt diese in ein *.gz Archiv (Ein Archiv ...

  1. #1
    Reg.-Benutzer Avatar von thiemo
    Reg.-Datum
    10.05.2001
    Ort
    Rheinhessen
    Beiträge
    173

    Standard Squid-Log Auswertung mit Webalizer

    Servus zusammen,
    mein Squid nimmt jeweils die LOG Einträge eines Tages und packt diese in ein *.gz Archiv (Ein Archiv für jeden abgelaufenen Tag). Die aktuellen Einträge finden sich in der access.log.

    In der webalizer.conf gebe ich nun die access.log als auszuwertende Datei an. Nun wird aber immer nur der aktuelle Tag ausgewertet.

    Wie schaffe ich es nun, auch Monatsstatistiken zu erstellen. Also alle Log Dateien (auch die in Archiven) auszuwerten??

    Gruß
    Thiemo

    Realität ist nur eine Illusion, hervorgerufen durch Alkoholmangel.

  2. #2
    Administrator + Moderator Prüfungsforen
    Reg.-Datum
    11.11.2000
    Beiträge
    8.200

    Standard

    Hallo,

    wenn Du jeden Tag Webalizer laufen läst, dann macht der das doch automatisch.

    Oder willst Du das nachträglich machen?

    Frank

  3. #3
    Reg.-Benutzer Avatar von thiemo
    Reg.-Datum
    10.05.2001
    Ort
    Rheinhessen
    Beiträge
    173

    Standard

    jetzt erst mal nachträglich weil der proxy schon ne zeitlang läuft und über diesen zeitraum hätte ich gern ne komplette auswertung

    wenn ich den webalizer täglich laufen lasse, werden dann die dateien ergänzt oder jedes mal neu geschrieben?
    Realität ist nur eine Illusion, hervorgerufen durch Alkoholmangel.

  4. #4
    Administrator + Moderator Prüfungsforen
    Reg.-Datum
    11.11.2000
    Beiträge
    8.200

    Standard

    Wenn Du es nachträglich machen willst, dann mußt Du ein bisschen Handarbeit machen und jedes Logfile einzelnd durch Webalizer schicken.

    Webalizer ergänzt die Auswertungen um die neuen Einträge.

    Frank

  5. #5
    Reg.-Benutzer Avatar von Jaraz
    Reg.-Datum
    02.05.2001
    Beiträge
    3.812

    Standard

    Hi,

    bei awstats ist ein perl Skript dabei, das alte logs zusammenfügt. Auch gz gezippte. Ob es sowas auch für Webalizer und Squid gibt, weiß ich allerdings nicht. Kannste ja mal ausprobieren.

    Gruß Jaraz

  6. #6
    Reg.-Benutzer Avatar von DownAnUp
    Reg.-Datum
    07.12.2001
    Beiträge
    368

    Standard

    Ins Verzeichnis in dem die logs liegen wechseln und dann

    Code:
    webalizer *.gz
    Webalizer fügt das ganze automatisch zusammen...

    Code:
    ~           ~  ~             ~ ~
     ~         ~  Up  ~        ~ Again ~
      ~ Down  ~        ~ And  ~         ~
        ~  ~             ~ ~             ~

    www.nagios-portal.de

  7. #7
    Reg.-Benutzer Avatar von thiemo
    Reg.-Datum
    10.05.2001
    Ort
    Rheinhessen
    Beiträge
    173

    Standard

    Super, so sollte es doch funktionieren. Werds gleich mal testen.

    Besten Dank schonmal !
    Realität ist nur eine Illusion, hervorgerufen durch Alkoholmangel.

  8. #8
    Reg.-Benutzer Avatar von thiemo
    Reg.-Datum
    10.05.2001
    Ort
    Rheinhessen
    Beiträge
    173

    Standard

    also ich habs jetzt mal probiert

    leider nimmt der befehl:

    webalizer -F squid *.gz

    immer nur die erste gepackte logdatei (also nur einen tag) und fügt sie der auswertung hinzu

    da es allerdings schon eine ganze menge dateien sind hätte ich schon gerne alle zusammen ausgewertet

    gibt es noch irgendeinen trick?
    Realität ist nur eine Illusion, hervorgerufen durch Alkoholmangel.

  9. #9
    Reg.-Benutzer Avatar von DownAnUp
    Reg.-Datum
    07.12.2001
    Beiträge
    368

    Standard

    Hm... wundert mich jetzt... Ich werde das auf der Arbeit mal nachsehen, bin mir eigentlich sehr sicher das es da so funktioniert hat. Evtl. andere Version von Webalizer?

    Du könntest noch

    Code:
    webalizer -x gz
    versuchen.
    Geändert von DownAnUp (15.07.2004 um 13:11 Uhr)

    Code:
    ~           ~  ~             ~ ~
     ~         ~  Up  ~        ~ Again ~
      ~ Down  ~        ~ And  ~         ~
        ~  ~             ~ ~             ~

    www.nagios-portal.de

  10. #10
    Reg.-Benutzer Avatar von thiemo
    Reg.-Datum
    10.05.2001
    Ort
    Rheinhessen
    Beiträge
    173

    Standard

    alles klar...werds versuchen....kanns daran liegen, dass es log dateien vom squid sind und nicht vom apache?
    Realität ist nur eine Illusion, hervorgerufen durch Alkoholmangel.

  11. #11
    Reg.-Benutzer Avatar von thiemo
    Reg.-Datum
    10.05.2001
    Ort
    Rheinhessen
    Beiträge
    173

    Standard

    die -x gz option führt dazu, dass wieder die aktuelle access.log genommen wird

    mist

    *verzweifel*

    was mach ich bloss falsch
    Realität ist nur eine Illusion, hervorgerufen durch Alkoholmangel.

  12. #12
    Reg.-Benutzer Avatar von Jaraz
    Reg.-Datum
    02.05.2001
    Beiträge
    3.812

    Standard

    Hi,

    probiere doch einfach mal logresolvemerge.pl von awstats aus.
    http://cvs.sourceforge.net/viewcvs.p...ge.pl?rev=1.30
    Kannst dann ja trotzdem mit webalizer weiterarbeiten.

    Gruß Jaraz

  13. #13
    Reg.-Benutzer Avatar von thiemo
    Reg.-Datum
    10.05.2001
    Ort
    Rheinhessen
    Beiträge
    173

    Standard

    hi jaraz,
    danke für den tip. hier scheiterts leider an meinem bescheidenen wissen in dem bereich. ich hab mir die datei runtergeladen und das skript mal auf dem proxy laufen lassen. leider ohne erfolg und mit einigen fehlermeldungen.

    mache ich irgendwas falsch. brauche ich noch zusätzlich sachen um das skript laufen zu lassen. oder irgendwelche optionen?

    gruß thiemo
    Realität ist nur eine Illusion, hervorgerufen durch Alkoholmangel.

  14. #14
    Reg.-Benutzer Avatar von Jaraz
    Reg.-Datum
    02.05.2001
    Beiträge
    3.812

    Standard

    Was heißt laufen lassen?
    Welche Fehlermeldungen?

    C:\>perl logresolvemerge.pl

    liefert
    ----- logresolvemerge 1.2 (build 1.30) (c) Laurent Destailleur -----
    logresolvemerge allows you to get one unique output log file, sorted on date,
    built from particular sources:
    - It can read several input log files,
    - It can read .gz/.bz2 log files,
    - It can also makes a fast reverse DNS lookup to replace
    all IP addresses into host names in resulting log file.
    logresolvemerge comes with ABSOLUTELY NO WARRANTY. It's a free software
    distributed with a GNU General Public License (See COPYING.txt file).
    logresolvemerge is part of AWStats but can be used alone as a log merger
    or resolver before using any other log analyzer.

    Usage:
    logresolvemerge.pl [options] file
    logresolvemerge.pl [options] file1 ... filen
    logresolvemerge.pl [options] *.*
    perl logresolvemerge.pl [options] *.* > newfile
    Options:
    -dnslookup make a reverse DNS lookup on IP adresses
    -dnslookup=n same with a n parallel threads instead of serial requests
    -dnscache=file make DNS lookup from cache file first before network lookup
    -showsteps print on stderr benchmark information every 8192 lines
    -addfilenum if used with several files, file number can be added in first
    field of output file. This can be used to add a cluster id
    when log files come from several load balanced computers.

    This runs logresolvemerge in command line to open one or several
    server log files to merge them (sorted on date) and/or to make a reverse
    DNS lookup (if asked). The result log file is sent on standard output.
    Note: logresolvemerge is not a 'sort' tool to sort one file. It's a
    software able to output sorted log records (with a reverse DNS lookup
    included or not) even if log records are dispatched in several files.
    Each of thoose files must be already independently sorted itself
    (but that is the case in all web server log files). So you can use it
    for load balanced log files or to group several old log files.

    Don't forget that the main goal of logresolvemerge is to send log records to
    a log analyzer in a sorted order without merging files on disk (NO NEED
    OF DISK SPACE AT ALL) and without loading files into memory (NO NEED
    OF MORE MEMORY). Choose of output records is done on the fly.

    So logresolvemerge is particularly usefull when you want to output several
    and/or large log files in a fast process, with no use of disk or
    more memory, and in a chronological order through a pipe (to be used by a log
    analyzer).

    Note: If input records are not 'exactly' sorted but 'nearly' sorted (this
    occurs with heavy servers), this is not a problem, the output will also
    be 'nearly' sorted but a few log analyzers (like AWStats) knowns how to deal
    with such logs.

    WARNING: If log files are old MAC text files (lines ended with CR char), you
    can't run this tool on Win or Unix platforms.

    WARNING: Because of important memory holes in ActiveState Perl version, use
    another Perl interpreter if you need to process large lof files.

    Now supports/detects:
    Automatic detection of log format
    Files can be .gz/.bz2 files if zcat/bzcat tools are available in PATH.
    Multithreaded reverse DNS lookup (several parallel requests) with Perl 5.8+.
    New versions and FAQ at http://awstats.sourceforge.net

    C:\>
    Da steht eigentlich alles was du wissen musst.

    Gruß Jaraz

  15. #15
    Reg.-Benutzer Avatar von thiemo
    Reg.-Datum
    10.05.2001
    Ort
    Rheinhessen
    Beiträge
    173

    Standard

    Hi Jaraz,
    danke nochmals für die Hilfe. Hab das ganze jetzt mal über webmin versucht (also den webalizer) und da funzt alles problemlos. Er nimmt also wirklich alle logdateien aus dem verzeichnis (inkl. alle archive) und wertet diese aus. Also genau das was ich wollte. Warum das aber nur über webmin geht entzieht sich meinem verständnis

    egal hauptsache es funzt

    danke
    Realität ist nur eine Illusion, hervorgerufen durch Alkoholmangel.

Aktive Benutzer

Aktive Benutzer

Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)