Autor Beitrag
Gaijin
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 299
Erhaltene Danke: 1



BeitragVerfasst: Sa 06.12.08 13:43 
HTTP LogStat analysiert die Protokolle eines HTTP-Servers und zeigt umfangreiche Statistiken an.

Die wichtigsten Features:
  • Unterstützung für Plain-Text und GZip-komprimierte Protokolldateien.
  • Benutzerdefinierte Protokollformate sind festlegbar (auch mit einem Apache "LogFormat"-Ausdruck).
  • Mehrere Profile für unterschiedliche Webseiten bzw. Domains können individuell konfiguriert werden.
  • Die Ausgabe des Reports erfolgt in einer frei anpassbaren HTML-Datei.
  • Auswertung der Zugriffe nach Datum und Zeit, Webseiten, Downloads, Bilder, Verzeichnisse, Dateitypen, Hosts und Länder.
  • Auflistung der Referrer (Hosts und Adressen), Suchmaschinen und Suchausdrücken.
  • Ausgabe der verwendeten Betriebssysteme und Browser, sowie der Spider bzw. Robots, die zugegriffen haben.
  • Auflistung der Fehler inkl. der dazugehörigen Dateien und Referrer.

HTTP LogStat benötigt das Microsoft .NET Framework 2.0.

Das Programm muss nicht installiert werden, da keine DLLs oder sonstigen Dateien in das System-Verzeichnis von Windows geschrieben werden.

[url=www.gaijin.at/getit.php?id=hlogstat]HTTP LogStat[/url] (~290 KB, RAR)
Produktseite

[url=www.gaijin.at/sample...logstat/report.html]Beispielreport[/url]

Über Verbesserungsvorschläge / Feedback etc. würde ich mich sehr freuen.
Einloggen, um Attachments anzusehen!
_________________
MfG
Gaijin


Zuletzt bearbeitet von Gaijin am Mi 23.06.10 10:18, insgesamt 16-mal bearbeitet
BenBE
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 8721
Erhaltene Danke: 191

Win95, Win98SE, Win2K, WinXP
D1S, D3S, D4S, D5E, D6E, D7E, D9PE, D10E, D12P, DXEP, L0.9\FPC2.0
BeitragVerfasst: Mo 08.12.08 15:43 
Kann man deinem Programm auch nicht-standard-konforme Log-Format-Strings übergeben?

Sprich, wenn meine Logfile mehr Informationen wie normal enthält.

Ferner sehe ich nicht, wie ich z.B. einen Combined-Log mit deiner Anwendung verarbeiten können soll.

Gibt es die Möglichkeit, dein Programm zum Füllen in ein Datenbank-Backend zu nutzen, d.h. dass die gelesenen Logfiles als Kopie in eine Datenbank eingepflegt werden?

Hast Du schon mal mit Logfiles größer 50 MB (komprimiert) experimentiert?

_________________
Anyone who is capable of being elected president should on no account be allowed to do the job.
Ich code EdgeMonkey - In dubio pro Setting.
Gaijin Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 299
Erhaltene Danke: 1



BeitragVerfasst: Mo 08.12.08 16:17 
user profile iconBenBE hat folgendes geschrieben Zum zitierten Posting springen:
Kann man deinem Programm auch nicht-standard-konforme Log-Format-Strings übergeben?

Sprich, wenn meine Logfile mehr Informationen wie normal enthält.

Welche Informationen meinst du? Kannst du mir bitte ein paar Zeilen eines solchen Logs zur Verfügung stellen?

user profile iconBenBE hat folgendes geschrieben Zum zitierten Posting springen:

Ferner sehe ich nicht, wie ich z.B. einen Combined-Log mit deiner Anwendung verarbeiten können soll.

Wenn du das Format "NCSA Combined" meinst, so sollte dies keine Probleme machen, da ich das Programm damit getestet habe. Gibt es bei der Verarbeitung Fehler oder werden die Daten falsch bzw. nicht angezeigt?

user profile iconBenBE hat folgendes geschrieben Zum zitierten Posting springen:

Gibt es die Möglichkeit, dein Programm zum Füllen in ein Datenbank-Backend zu nutzen, d.h. dass die gelesenen Logfiles als Kopie in eine Datenbank eingepflegt werden?

Das Programm soll eine Statistik ausgeben, so wie die meisten Programme dieser Art auch.
Die Übernahme der Datenbank ist doch eine etwas speziellere Funktion, die wohl nur wenige benötigen.

user profile iconBenBE hat folgendes geschrieben Zum zitierten Posting springen:

Hast Du schon mal mit Logfiles größer 50 MB (komprimiert) experimentiert?

Ein Protokoll mit so vielen Einträgen in einer einzelnen Datei steht mir im Moment nicht zur Verfügung. Nachdem ich aus deiner "Frage" vermute, dass es dabei Probleme gibt, werde ich mir das noch genauer ansehen.

_________________
MfG
Gaijin
BenBE
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 8721
Erhaltene Danke: 191

Win95, Win98SE, Win2K, WinXP
D1S, D3S, D4S, D5E, D6E, D7E, D9PE, D10E, D12P, DXEP, L0.9\FPC2.0
BeitragVerfasst: Mo 08.12.08 16:24 
ausblenden Quelltext
1:
2:
[08/Dec/2008:14:20:59 +0000] geshi.org:80 41.234.180.229 - - - HTTP/1.1 GET /var/www/geshi.org/html/htdocs/index.php 200 200 30982 Req="GET / HTTP/1.1" Referer="http://www.google.com/search?q=GeSHi+highlighting+engine&ie=utf-8&oe=utf-8&aq=t&rls=org.mozilla:en-US:official&client=firefox-a" Agent="Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9) Gecko/2008052906 Firefox/3.0" SVN="-" SSL="- - -"
[08/Dec/2008:14:21:05 +0000] geshi.org:80 66.249.72.171 - - - HTTP/1.1 GET /home/www/web1/html/htdocs/developers/bugs/login_page.php 200 200 7553 Req="GET /developers/bugs/login_page.php?return=%2Fdevelopers%2Fbugs%2Flogin_page.php%3Freturn%3D%252Fdevelopers%252Fbugs%252Flogin_page.php%253Freturn%253D%25252Fdevelopers%25252Fbugs%25252Flogin_page.php%25253Freturn%25253D%2525252Fdevelopers%2525252Fbugs%2525252Flogin_page.php%2525253Freturn%2525253D%252525252Fdevelopers%252525252Fbugs%252525252Flogin_page.php%252525253Freturn%252525253D%25252525252Fdevelopers%25252525252Fbugs%25252525252Flogin_page.php%25252525253Freturn%25252525253D%2525252525252Fdevelopers%2525252525252Fbugs%2525252525252Flogin_page.php%2525252525253Freturn%2525252525253D%252525252525252Fdevelopers%252525252525252Fbugs%252525252525252Flogin_page.php%252525252525253Freturn%252525252525253D%25252525252525252Fdevelopers%25252525252525252Fbugs%25252525252525252Flogin_page.php%25252525252525253Freturn%25252525252525253D%2525252525252525252Fdevelopers%2525252525252525252Fbugs%2525252525252525252Flogin_page.php%2525252525252525253Freturn%2525252525252525253D%252525252525252525252Fdevelopers%252525252525252525252Fbugs%252525252525252525252Flogin_page.php%252525252525252525253Freturn%252525252525252525253D%25252525252525252525252Fdevelopers%25252525252525252525252Fbugs%25252525252525252525252Flogin_page.php%25252525252525252525253Freturn%25252525252525252525253D%2525252525252525252525252Fdevelopers%2525252525252525252525252Fbugs%2525252525252525252525252Flogin_page.php%2525252525252525252525253Freturn%2525252525252525252525253D%252525252525252525252525252Fdevelopers%252525252525252525252525252Fbugs%252525252525252525252525252Fview.php%252525252525252525252525253Fid%252525252525252525252525253D33 HTTP/1.1" Referer="-" Agent="Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" SVN="-" SSL="- - -"


Der zugehörige Format-String ist:
ausblenden Quelltext
1:
LogFormat "%t %v:%p %h %{X-Forwarded-For}i %u %l %>H %>m %>f %<s %>s %b Req=\"%r\" Referer=\"%{Referer}i\" Agent=\"%{User-Agent}i\" SVN=\"%{SVN-ACTION}e\" SSL=\"%{HTTPS}e %{SSL_PROTOCOL}e %{SSL_SERVER_S_DN}e\"" globallog					


Das sind grad paar Live-Zeilen ... Hab auch gern paar Böse Test-cases mit, wo ich mal Border Cases zeigen kann ...

_________________
Anyone who is capable of being elected president should on no account be allowed to do the job.
Ich code EdgeMonkey - In dubio pro Setting.
Gaijin Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 299
Erhaltene Danke: 1



BeitragVerfasst: Mo 08.12.08 16:45 
Jetzt verstehe ich was du meinst. Derzeit ist das noch nicht möglich, aber für eine zukünftige Version sicherlich eine sehr nützliche Erweiterung.

Derzeit werden nur die Formate
ausblenden Quelltext
1:
%h %l %u %t \"%r\" %>s %b					

bzw.
ausblenden Quelltext
1:
%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"					

unterstützt, wobei der Referrer und der User-Agent nicht zwingend notwendig sind. Zusätzliche Angaben nach dem User-Agent sind möglich, werden aber ignoriert.

_________________
MfG
Gaijin
Gaijin Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 299
Erhaltene Danke: 1



BeitragVerfasst: Di 09.12.08 14:59 
user profile iconBenBE hat folgendes geschrieben Zum zitierten Posting springen:
Hast Du schon mal mit Logfiles größer 50 MB (komprimiert) experimentiert?

Bei einer komprimierten Datei mit knapp 100 MB (über 1.5 GB unkomprimiert) funktioniert alles einwandfrei. Ebenso bei einer unkomprimierten Datei mit 1.5 GB.

_________________
MfG
Gaijin
Gaijin Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 299
Erhaltene Danke: 1



BeitragVerfasst: Mo 15.12.08 10:40 
Version 1.1:
[+] Bei einigen Listen werden jetzt auch die Zugriffe in Prozent angezeigt (z.B. bei "Hosts", "Länder", "Betriebssysteme", "Browser" etc.).
[+] Die zu verwendende Reportvorlage kann jetzt in den Profileinstellungen ausgewählt werden.
[+] Im Profildialog werden unter den Eingabefeldern jetzt Beispiele angezeigt, um die Konfiguration zu erleichtern.
[+] Im Report kann in der Fehlerliste jetzt die IP-Adresse ausgegeben werden, wenn kein Referrer verfügbar ist.
[+] In der Profilliste des Hauptfensters wird jetzt auch der Pfad zu den Protokolldateien angezeigt.
[*] Die Downloads werden jetzt nach der Anzahl der erfolgreichen Zugriffe (effektive Downloads) anstatt der Gesamtzugriffe gereiht.
[*] Die Geschwindigkeit beim Parsen der Protokolldateien konnte erhöht werden.
[*] Die Referrer und die Suchmaschinen wurden in den Profileistellungen und im Report getrennt.
[*] Diverse kleinere Änderungen und Verbesserungen.
[-] Die Liste "Zugriffe pro Monat" wurde nicht sortiert ausgegeben.
[!] Bei einem Update überprüfen Sie bitte die Ausgabeeinstellungen für den Report, da sich die Punkte "Referrer" und "Suchmaschinen und Suchausdrücke" geändert haben.

(Download im ersten Posting)

_________________
MfG
Gaijin
Gaijin Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 299
Erhaltene Danke: 1



BeitragVerfasst: Mo 22.12.08 10:09 
Version 1.2:
[+] Die maximale Anzahl der anzuzeigenden Listeneinträge kann jetzt in den Vorlagen für jede Liste separat festgelegt werden. Weiters kann die Breite der Balkengrafik individuell festgelegt werden.
[+] Es können jetzt auch benutzerdefinierte Protokollformate festgelegt werden, mit denen auch nicht standardkonforme Protokolle verarbeitet werden können. Der "LogFormat"-Ausdruck des Apache-Servers wird ebenfalls unterstützt.
[+] In den Tabellen werden jetzt Balkengrafiken ausgegeben, die die prozentuale Aufteilung der einzelnen Einträge visuell darstellen.
[+] In den meisten Listen wird nun für jeden Eintrag ein grafischer Balken ausgegeben, der den prozentualen Anteil (meist der Zugriffe) darstellt. Die maximale Breite der Balken kann in den Optionen festgelegt werden.
[+] Zu jedem Land wird im Report jetzt auch die Landesflagge angezeigt. Dei Datei "IPCountry.dat" (zusätzlicher Download) wird dafür benötigt.
[*] Kleinere Änderugnen und Korrekturen an der Benutzeroberfläche.

(Download im ersten Posting)

_________________
MfG
Gaijin
BenBE
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 8721
Erhaltene Danke: 191

Win95, Win98SE, Win2K, WinXP
D1S, D3S, D4S, D5E, D6E, D7E, D9PE, D10E, D12P, DXEP, L0.9\FPC2.0
BeitragVerfasst: Mo 22.12.08 16:23 
Hab das mal getestet: Er scheint mit meinem Log-Format soweit zurechtzukommen; was jedoch fehlt, ist eine Multi-Host\Multi-Domain-Unterstützung, da ich auf meinem Server z.B. 8 Domains liegen habe (%v-Eintrag in Logfile) wobei teilweise auch SSL verfügbar ist. Eine Auswertung nach Subdomain bzw. Einschränkung der zu betrachtenden Zugriffe wäre daher wünschenswert.

Auch wäre eine Auswertung nach typischen Remote File Inclusion-Angriffen, Directory Traversals (/etc/passwd ist sehr begehrt ;-)) sowie anderen untypischen Anzeichen wäre sicherlich noch anzufügen.

Auch würd ich mir wünschen, dass ich nicht nur den Report statisch in die Hand bekomme, sondern in der Programm-Oberfläche verschiedene Filter-Einstellungen setzen kann, teile des Logs mir anschauen kann oder anderweitig auflistungen machen kann.

Auch eine Suche nach Scripts, die rekursiv auf sich selbst verlinken wäre wünschenswert (Beispiel):
ausblenden Quelltext
1:
[22/Dec/2008:14:13:22 +0000] geshi.org:80 65.55.208.122 - - - HTTP/1.1 GET /home/www/web1/html/htdocs/developers/bugs/login_page.php 200 200 5744 Req="GET /developers/bugs/login_page.php?return=%2Fdevelopers%2Fbugs%2Flogin_page.php%3Freturn%3D%252Fdevelopers%252Fbugs%252Flogin_page.php%253Freturn%253D%25252Fdevelopers%25252Fbugs%25252Flogin_page.php%25253Freturn%25253D%2525252Fdevelopers%2525252Fbugs%2525252Flogin_page.php%2525253Freturn%2525253D%252525252Fdevelopers%252525252Fbugs%252525252Flogin_page.php%252525253Freturn%252525253D%25252525252Fdevelopers%25252525252Fbugs%25252525252Flogin_page.php%25252525253Freturn%25252525253D%2525252525252Fdevelopers%2525252525252Fbugs%2525252525252Flogin_page.php%2525252525253Freturn%2525252525253D%252525252525252Fdevelopers%252525252525252Fbugs%252525252525252Fview_all_bug_page.php%252525252525253Ffilter%252525252525253D63324 HTTP/1.1" Referer="-" Agent="msnbot/1.1 (+http://search.msn.com/msnbot.htm)" SVN="-" SSL="- - -"					


Genauso wie es praktisch wäre, fehlerhaft gelesene Zeilen auszugeben, damit man sich diese genauer anschauen kann (und ggf. zum Bugfixen einreichen kann). Ich weiß z.B. dass es bei meinen Logs zahlreiche Zeilen gibt, wo in der URL Leerzeichen im Request drin waren und damit die Protokoll-Kennung nicht stimmt:

ausblenden Quelltext
1:
[14/Dec/2008:11:47:31 +0000] geshi.org:80 199.2.122.138 - - - + gaJsHost + \"google-analytics.com/ga.js HTTP/1.1 GET /home/www/web1/html/htdocs/highlighter/\" 404 404 216 Req="GET /highlighter/\" + gaJsHost + \"google-analytics.com/ga.js HTTP/1.1" Referer="-" Agent="Java/1.6.0_11" SVN="-" SSL="- - -"					


Ist zwar ein Bug im Apache, aber sollte ein Log-Analyse-Tool mit klarkommen.

_________________
Anyone who is capable of being elected president should on no account be allowed to do the job.
Ich code EdgeMonkey - In dubio pro Setting.
Gaijin Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 299
Erhaltene Danke: 1



BeitragVerfasst: Mo 22.12.08 18:21 
Danke für deine Vorschläge!
Ich werde sie mir für eine zukünftige Version vormerken.

_________________
MfG
Gaijin
NeoInDerMATRIX
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic star
Beiträge: 245

Win95, Win98(+se), WinNT, Win2000, WinME, WinXP(+pro), VISTA, Linux(SuSe), DOS [MultiMon(3)], Vista
D6 PeE + (FP 2.0l) + D3 Pe + D2005+ D2006 Arch
BeitragVerfasst: Mo 22.12.08 22:39 
Mir ist gerade aufgefallen das er keine aktuellen LOG-Files verarbeiten kann.
Also ich meine damit das er keine Log-Files Verarbeiten kann die gerade geöffnet sind.

MfG
neo
Gaijin Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 299
Erhaltene Danke: 1



BeitragVerfasst: Mo 22.12.08 23:22 
Ich fand es sicherer, keine Protokolle einzulesen, die gerade in Verwendung sind.

In der nächsten Version sollte es möglich sein, auch die aktuelle Protokolldatei auszuwerten. Im lokalen Test scheint weder HTTP LogStat noch der Apache Probleme damit zu haben.

_________________
MfG
Gaijin
NeoInDerMATRIX
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic star
Beiträge: 245

Win95, Win98(+se), WinNT, Win2000, WinME, WinXP(+pro), VISTA, Linux(SuSe), DOS [MultiMon(3)], Vista
D6 PeE + (FP 2.0l) + D3 Pe + D2005+ D2006 Arch
BeitragVerfasst: Di 23.12.08 00:02 
Dabei musst du aber aufpassen das es sein kann das du log Zeilen nicht komplett bekommst, in gewissen Situationen. (Erfahrung)
[hr]
Request: Es sollte eventuell möglich sein Unterverzeichnisse mit ein zu beziehen.
Sprich:

..\
..\Domain\
..\Domain\SubDomain.access.log
..\Domain\SubDomain.error.log

Damit man dieses einlesen kann.
[hr]
BUG: Es werden teilweise merkwürdige HTTP-Response Codes angegeben.
Fehler (Übersicht)
Statuscode Beschreibung Fehler Volumen Prozent
1 404 Not Found
72.052 14,6 MB 96,98%
2 401 Unauthorized
1.782 0,7 MB 2,40%
3 400 Bad Request
173 0,0 MB 0,23%
4 2546 Unknown response code
125 0,0 MB 0,17%
5 500 Internal Server Error
82 0,0 MB 0,11%
6 403 Forbidden
62 0,0 MB 0,08%
7 501 Not Implemented
7 0,0 MB 0,01%
8 405 Method Not Allowed
7 0,0 MB 0,01%
9 4018 Unknown response code
5 0,0 MB 0,01%
10 406 Not Acceptable
2 0,0 MB 0,00%
10 gesamt
[hr]
Frage: Was ist der unterschied zwischen Unbekannt und Sonstiges und Undefinierte Einträge bei Browser und OS angaben.
[hr]
BUG: Bei der Angabe "Eindeutige IP" wurde bei meinem Root-Server nur eine IP angezeigt. Ist das Korrekt und wenn ja was ist damit gemeint.

Zugriffe
Gesamt: 892.758
Pro Tag: 27.053
Über Suchmaschinen: 1.098
Durch Spider/Robots: 195.232
Eindeutige IP-Adressen: 1
[hr]
BUG: Bei dem Template für den Report "Default" fehlt der ":" bei Datenvolumen -> Gesamt

Datenvolumen
Gesamt 182.503,0 MB / 178,23 GB
Pro Tag: 5.530,4 MB / 5,40 GB
Pro Treffer: 214.356 B / 209 KB
[hr]
Request: Die angaben für "Dateizugriffe gesamt", "Dateizugriffe pro Tag" und "Anfragen gesamt" sollten besser in einer drei spalten Tabelle angezeigt werden.
[hr]

So das waren erstmal alle Sachen wie ich / wir gerade beim testen auf unseren Servern gefunden haben.

MfG
neo
Gaijin Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 299
Erhaltene Danke: 1



BeitragVerfasst: Di 23.12.08 00:43 
user profile iconNeoInDerMATRIX hat folgendes geschrieben Zum zitierten Posting springen:
Dabei musst du aber aufpassen das es sein kann das du log Zeilen nicht komplett bekommst, in gewissen Situationen. (Erfahrung)

Damit sollte es keine Probleme geben.

user profile iconNeoInDerMATRIX hat folgendes geschrieben Zum zitierten Posting springen:

Request: Es sollte eventuell möglich sein Unterverzeichnisse mit ein zu beziehen.

Danke, ich werde mir das vormerken.

user profile iconNeoInDerMATRIX hat folgendes geschrieben Zum zitierten Posting springen:

BUG: Es werden teilweise merkwürdige HTTP-Response Codes angegeben.

Ohne die entsprechende Zeile kann ich nicht viel dazu sagen.

user profile iconNeoInDerMATRIX hat folgendes geschrieben Zum zitierten Posting springen:

Frage: Was ist der unterschied zwischen Unbekannt und Sonstiges und Undefinierte Einträge bei Browser und OS angaben.

Das sind Kategorien, wie z.B. "Windows", welches XP, 2000, Vista etc. umfasst. Die Browser- bzw. Betriebssystem-Kategorien können in den Dateien im Verzeichnis "Data" eingesehen werden.

user profile iconNeoInDerMATRIX hat folgendes geschrieben Zum zitierten Posting springen:

BUG: Bei der Angabe "Eindeutige IP" wurde bei meinem Root-Server nur eine IP angezeigt. Ist das Korrekt und wenn ja was ist damit gemeint.

Scheinbar ist in jeder Zeile die selbe Host-IP eingetragen.

user profile iconNeoInDerMATRIX hat folgendes geschrieben Zum zitierten Posting springen:

BUG: Bei dem Template für den Report "Default" fehlt der ":" bei Datenvolumen -> Gesamt

Danke, das werde ich ändern.

user profile iconNeoInDerMATRIX hat folgendes geschrieben Zum zitierten Posting springen:

Request: Die angaben für "Dateizugriffe gesamt", "Dateizugriffe pro Tag" und "Anfragen gesamt" sollten besser in einer drei spalten Tabelle angezeigt werden.

Die Vorlagen können an die eigenen Bedürfnisse leicht angepasst werden bzw. eigene Vorlagen erstellt werden.

_________________
MfG
Gaijin
NeoInDerMATRIX
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic star
Beiträge: 245

Win95, Win98(+se), WinNT, Win2000, WinME, WinXP(+pro), VISTA, Linux(SuSe), DOS [MultiMon(3)], Vista
D6 PeE + (FP 2.0l) + D3 Pe + D2005+ D2006 Arch
BeitragVerfasst: Di 23.12.08 18:16 
user profile iconGaijin hat folgendes geschrieben Zum zitierten Posting springen:
user profile iconNeoInDerMATRIX hat folgendes geschrieben Zum zitierten Posting springen:
Dabei musst du aber aufpassen das es sein kann das du log Zeilen nicht komplett bekommst, in gewissen Situationen. (Erfahrung)

Damit sollte es keine Probleme geben.

Ich spiele damit darauf an das es passieren kann das der Apache oder Co. eine Log-Zeile nicht komplett geschrieben hat, in dem moment wo du versuchst das Ende der Datei zu lesen. Also resultiert daraus eine unvollständige Zeile.

user profile iconGaijin hat folgendes geschrieben Zum zitierten Posting springen:
user profile iconNeoInDerMATRIX hat folgendes geschrieben Zum zitierten Posting springen:

BUG: Es werden teilweise merkwürdige HTTP-Response Codes angegeben.

Ohne die entsprechende Zeile kann ich nicht viel dazu sagen.

Leider sehe ich derzeit keine möglichkeit dir diese Zukommen zu lassen. Da diese LOG-Daten erstens auf meinen Produktiven Server leigen und dem entsprechend dort Daten von Kunden involviert sind.
Und zweitens kann ich dir dazu keine Detailierte Information geben da ich nur die Vermutung habe das dein Parser an dieser Stelle durch irgend einen Fehler oder Format Fehler nicht den HTTP-Respose-Code sondern die Gesendeten Bytes angibt.

user profile iconGaijin hat folgendes geschrieben Zum zitierten Posting springen:
user profile iconNeoInDerMATRIX hat folgendes geschrieben Zum zitierten Posting springen:

Frage: Was ist der unterschied zwischen Unbekannt und Sonstiges und Undefinierte Einträge bei Browser und OS angaben.

Das sind Kategorien, wie z.B. "Windows", welches XP, 2000, Vista etc. umfasst. Die Browser- bzw. Betriebssystem-Kategorien können in den Dateien im Verzeichnis "Data" eingesehen werden.

LOL, ich glaube da habe ich mich wohl etwas falsch ausgedrückt. Ich meine in diesen Gruppen sind einträge die in meinen Augen fast das gleiche meinen aber bei dir anscheinend nicht. Und mich würde nun eine erklärung interessieren wie und warum du so unterscheidest.


user profile iconGaijin hat folgendes geschrieben Zum zitierten Posting springen:
user profile iconNeoInDerMATRIX hat folgendes geschrieben Zum zitierten Posting springen:

BUG: Bei der Angabe "Eindeutige IP" wurde bei meinem Root-Server nur eine IP angezeigt. Ist das Korrekt und wenn ja was ist damit gemeint.

Scheinbar ist in jeder Zeile die selbe Host-IP eingetragen.

Das kann so nicht sein da dieser Server derzeit zwei IP's auf ingesamt 8 oder 10 Domains verteilt bearbeitet. Und alle Daten in dieser LOG-Datei landen.
Also es müssen dann definitiv 2 IP's vorhanden sein. Ich hoffe das ich jetzt nicht daneben liegen mit dem was diese Angabe aussagen soll.
Gaijin Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 299
Erhaltene Danke: 1



BeitragVerfasst: Di 23.12.08 19:16 
user profile iconNeoInDerMATRIX hat folgendes geschrieben Zum zitierten Posting springen:
Ich spiele damit darauf an das es passieren kann das der Apache oder Co. eine Log-Zeile nicht komplett geschrieben hat, in dem moment wo du versuchst das Ende der Datei zu lesen. Also resultiert daraus eine unvollständige Zeile.

Ich weiß worauf du hinaus willst. In so einem Fall wird entweder die Zeile komplett ignoriert, oder es fehlen für diesen Eintrag Daten, wie z.B. der Referrer. Was genau zutrifft, hängt von den Profileinstellungen ab.

user profile iconNeoInDerMATRIX hat folgendes geschrieben Zum zitierten Posting springen:
Leider sehe ich derzeit keine möglichkeit dir diese Zukommen zu lassen. Da diese LOG-Daten erstens auf meinen Produktiven Server leigen und dem entsprechend dort Daten von Kunden involviert sind.
Und zweitens kann ich dir dazu keine Detailierte Information geben da ich nur die Vermutung habe das dein Parser an dieser Stelle durch irgend einen Fehler oder Format Fehler nicht den HTTP-Respose-Code sondern die Gesendeten Bytes angibt.

Mir genügt die eine Zeile, wobei Hostnamen/IP etc. unkenntlich gemacht werden können. Wichtig wäre für mich nur, dass das Format erhalten bleibt.

user profile iconNeoInDerMATRIX hat folgendes geschrieben Zum zitierten Posting springen:
LOL, ich glaube da habe ich mich wohl etwas falsch ausgedrückt. Ich meine in diesen Gruppen sind einträge die in meinen Augen fast das gleiche meinen aber bei dir anscheinend nicht. Und mich würde nun eine erklärung interessieren wie und warum du so unterscheidest.

Eine "Erklärung"? Ich habe es für mich persönlich so für richtig empfunden.
Wenn du andere Bezeichnungen für die Kategorien verwenden willst, kannst du diese in der Datei "OperatingSystems.dat" bzw. "UserAgents.dat" ändern.

user profile iconNeoInDerMATRIX hat folgendes geschrieben Zum zitierten Posting springen:
Das kann so nicht sein da dieser Server derzeit zwei IP's auf ingesamt 8 oder 10 Domains verteilt bearbeitet. Und alle Daten in dieser LOG-Datei landen.
Also es müssen dann definitiv 2 IP's vorhanden sein. Ich hoffe das ich jetzt nicht daneben liegen mit dem was diese Angabe aussagen soll.

Kann es sein, dass dein Protokollformat nicht NCSA-konform ist? Das würde dieses und das Problem mit dem Statuscode bzw. der Dateigröße von oben erklären.
Nachdem ich das Format eines Protokolls nicht kenne, musst du ggf. ein benutzerdefiniertes Format in den Profileinstellungen angeben. In der Hilfe findest du genauere Informationen dazu.

_________________
MfG
Gaijin
Gaijin Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 299
Erhaltene Danke: 1



BeitragVerfasst: Fr 02.01.09 10:07 
Version 1.2.1:
[+] Das zu verwendende Profil kann nun mit einem Befehlszeilenparameter ausgewählt werden.
[+] Eine Liste der in Google eingestellten Sprachen kann jetzt ausgegeben werden.
[+] Für Dateitypen wird jetzt eine Beschreibung des Typs angezeigt.
[+] In der Hilfe wird jetzt die Bedeutung und der Aufbau der Datendateien (im Unterordner "Data") beschrieben. Dadurch können diese an die eigenen Bedürfnisse angepasst werden.
[+] Mit dem Befehlszeilenparameter "/Analyze" kann nach dem Programmstart automatisch ein Report für das zuletzt verwendete bzw. das mit "/Profile" übergebene Profil erstellt werden.
[*] Die Erstellung der Ausgabedatei (des Reports) erfolgt nun erheblich schneller.
[*] Diverse Änderungen und Ergänzungen an der Benutzeroberfläche und in den Vorlagen.
[*] Es kann jetzt auch die aktuell vom Apache Server verwendete Protokolldatei ausgewertet werden.
[*] Vorlagen: Der Link zur IP-Adresse in der Fehlerliste wird jetzt ohne Protokoll-Präfix angezeigt. Dies wirkt sich nur aus, wenn in den Profileistellungen die Option "Host-IP bei fehlendem Referrer in Fehlerliste anzeigen" aktiviert ist.
[*] Vorlagen: Die Links in den Vorlagen werden jetzt in einer neuen Seite bzw. in einer neuen Registerkarte des Browsers geöffnet.
[-] Das Konvertieren von Formatausdrücken des Apache-Servers wurde verbessert.

(Download im ersten Posting)

_________________
MfG
Gaijin
Gaijin Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 299
Erhaltene Danke: 1



BeitragVerfasst: So 18.01.09 11:13 
Version 1.3:
[+] Die Beschreibung der Dateitypen wurde erweitert.
[+] In der Übersicht können jetzt auch die Statuscodes (Serverantworten) aller Hits mit ihren Zugiffszahlen ausgegeben werden.
[+] Mit dem Befehlszeilenparameter "/Exit" kann nach dem Erstellen eines automatischen Reports (mit dem Parameter "/Analyze") HTTP LogStat automatisch beendet werden.
[+] Vorlagen: Mit dem Platzhalter "%USERAGENT%" kann für jeden Host der dazugehörige User-Agent ausgegeben werden.
[+] Über das Menü "Bearbeiten" > "Profil duplizieren" kann ein neues Profil, basierend auf den Einstellungen des aktuell ausgewählten Profils, erstellt werden.
[*] Diverse kleinere Änderungen und Ergänzungen an der Benutzeroberfläche und den Vorlagen.
[!] Die Liste "Fehler (Details)" wurde in "Fehler (nach Dateien und Referrer)" umbenannt. Auf Grund weiterer Änderungen sollten die Ausgabeeinstellungen des Reports überprüft und diese Tabelle ggf. deaktiviert werden.

(Download im ersten Posting)

_________________
MfG
Gaijin
BenBE
ontopic starontopic starontopic starontopic starontopic starontopic starhalf ontopic starofftopic star
Beiträge: 8721
Erhaltene Danke: 191

Win95, Win98SE, Win2K, WinXP
D1S, D3S, D4S, D5E, D6E, D7E, D9PE, D10E, D12P, DXEP, L0.9\FPC2.0
BeitragVerfasst: So 18.01.09 12:35 
Könntest Du ggf. eine weitere Ausgabe-Datei optional erstellbar machen, in der Datenzeilen aufgenommen werden, die nicht korrekt geparst wurden?

Bzw. eine Filter-Option, die es einem erlaubt, Logzeilen mit bestimmten Kriterien (Statuscode > 600) anzulegen?

Ach ja: Welche dringende Notwendigkeit besteht, dass Du .NET FX 3.5 brauchst. Könntest Du schauen, ob Du das Programm auch mit .NET FX 2.0 lauffähig bekommst, da ich mit Win2K arbeite und nicht vorhabe, wegen einem Programm umzusteigen (oder das .NET FX 3.5 reinzuhacken).

_________________
Anyone who is capable of being elected president should on no account be allowed to do the job.
Ich code EdgeMonkey - In dubio pro Setting.
Gaijin Threadstarter
ontopic starontopic starontopic starontopic starontopic starontopic starontopic starontopic star
Beiträge: 299
Erhaltene Danke: 1



BeitragVerfasst: So 18.01.09 14:25 
user profile iconBenBE hat folgendes geschrieben Zum zitierten Posting springen:
Könntest Du ggf. eine weitere Ausgabe-Datei optional erstellbar machen, in der Datenzeilen aufgenommen werden, die nicht korrekt geparst wurden?

Bzw. eine Filter-Option, die es einem erlaubt, Logzeilen mit bestimmten Kriterien (Statuscode > 600) anzulegen?

Statuscodes ab 600 (bis 999) werden bereits unter "Statuscodes" und in den Fehlerlisten ausgegeben.
Nachdem es 600er Code normalerweise nicht gibt, sollte das ausreichend sein.

user profile iconBenBE hat folgendes geschrieben Zum zitierten Posting springen:
Ach ja: Welche dringende Notwendigkeit besteht, dass Du .NET FX 3.5 brauchst.

Die "dringende Notwendigkeit" war eine doppelt so hohe Verarbeitungsgeschwindigkeit bei der Erstellung der Reportdatei. Die Version 1.3.0.1 sollte nun auch mit .NET 2.0 funktionieren.

_________________
MfG
Gaijin