Asynchrone Server für Filmlisten

[MenchenSued]

In letzter Zeit passiert es mir häufig, dass ich veraltete Filmlisten lade. Ein- oder Zweimal erneutes manuelles Laden kurz danach liefert die aktuellste Liste. Hier ein Auszug aus dem Log (um 15:01 wird die Liste von 13:18 geladen)

[00011]   Konfig wurde gelesen!
[00012]   Liste Filme gelesen am: 06.02.2018, 14:50
[00013]     erstellt am: 05.02.2018, 14:15
[00014]     Anzahl Filme: 223692
[00015]     Anzahl Neue: 3534
[00016]   Filmliste zu alt, neue Filmliste laden
[00017]   
[00018]   Alte Liste erstellt am: 05.02.2018, 14:15
[00019]     Anzahl Filme: 223692
[00020]     Anzahl Neue: 3534
[00021]   Filmliste laden (auto)
[00022]   
[00023]   Liste Kompl. gelesen am: 06.02.2018, 15:01
[00024]     Liste Kompl erstellt am: 06.02.2018, 13:18
[00025]     Anzahl Filme: 222836
[00026]   
[00027]   Jetzige Liste erstellt am: 06.02.2018, 13:18
[00028]     Anzahl Filme: 222836
[00029]     Anzahl Neue:  2877
[00030]   

[00049]   Alte Liste erstellt am: 06.02.2018, 13:18
[00050]     Anzahl Filme: 222836
[00051]     Anzahl Neue: 2877
[00052]   Filmliste laden (auto)
[00053]   
[00054]   Liste Diff gelesen am: 06.02.2018, 15:04
[00055]     Liste Diff erstellt am: 06.02.2018, 14:14
[00056]     Anzahl Filme: 1853
[00057]   
[00058]   Jetzige Liste erstellt am: 06.02.2018, 14:14
[00059]     Anzahl Filme: 222897
[00060]     Anzahl Neue:  57

[Jo Grothe]

Hallo @menchensued ,
hatte Mitte Januar diesen Jahres auch mal so ein Problem gehabt und meinte festgestellt zu haben, dass verteiler4.mediathekview.de nur unregelmäßig mit der aktuellen Filmliste versorgt wurde. verteiler2.mediathekview.de hingegen schien damals ok zu sein, ebenso der verteiler.mediathekviewweb.de. Habe das damals aber nicht genauer weiterverfolgt.

[Jo Grothe]

@menchensued
Habe gerade so um 17:00 rum explizit versucht, von verschiedenen Verteilserven die aktuelle Filmliste zu laden:

SERVER … … … … … … … … … … … … … FILMLISTE
verteiler1.mediathekview.de … … … klappte nicht
verteiler2.mediathekview.de … … … 16:17
verteiler3.mediathekview.de … … … klappte nicht
verteiler4.mediathekview.de … … … 16:17
verteiler5.mediathekview.de … … … klappte nicht
verteiler6.mediathekview.de … … … 15:23, klapte nicht bei zweitem Versuch
verteiler.mediathekviewweb.de … … 16:17

Das bestätigt nur Deine Beobachtung.

Nachtrag: Dabei ist mir noch aufgefallen, dass die verteiler1+3+5+6 die selbe IP-Adresse [5.1.76.111] haben und auch durchwachsene PING-Ergebnisse zeigten.

[alex]

Danke für die Nachforschungen, werde mir das nochmal ansehen. Der ping sollte nicht so schlimm sein solange die Liste ja kommt. Eventuell kannst du mir da auch mal paar Messwerte zukommen lassen.

[Jo Grothe]

Hallo @alex ,
hier meine zweite Versuchsreihe inklusive der Ladezeiten für die komplette Filmliste in MV auf meinem Rechner. 3 der 7 Verteilserver haben die Filmliste von 18:15, die anderen die vorherige von 17:34.

Zeitraum: 18:30-18:43
SERVER … … … … … … … … … … … … … FILMLISTE/LADEZEIT
verteiler1.mediathekview.de … … … 17:34 / 23s
verteiler2.mediathekview.de … … … 18:15 / 17s
verteiler3.mediathekview.de … … … 17:34 / 113s
verteiler4.mediathekview.de … … … 18:15 / 18s
verteiler5.mediathekview.de … … … 17:34 / 38s
verteiler6.mediathekview.de … … … 17:34 / 32s
verteiler.mediathekviewweb.de … … 18:15 / 21s

[Jo Grothe]

Hallo @alex ,
hier meine dritte Versuchsreihe inklusive der Ladezeiten für die komplette Filmliste in MV auf meinem Rechner. Alle Verteilserver haben die Filmliste von 19:24, die Ladezeiten fallen jedoch recht unterschiedlich aus.

Zeitraum: 19:43-19:58
SERVER … … … … … … … … … … … … … FILMLISTE/LADEZEIT
verteiler1.mediathekview.de … … … 19:24 / 379s
verteiler2.mediathekview.de … … … 19:24 / 8s
verteiler3.mediathekview.de … … … 19:24 / 146s
verteiler4.mediathekview.de … … … 19:24 / 9s
verteiler5.mediathekview.de … … … 19:24 / 27s
verteiler6.mediathekview.de … … … 19:24 / 24s
verteiler.mediathekviewweb.de … … 19:24 / 8s

[Jo Grothe]

Hallo @alex ,
Versuchsreihe vier inklusive der Ladezeiten für die komplette Filmliste in MV auf meinem Rechner. 3 von 7 Verteilservern haben die Filmliste von 20:16, die anderen die von 19:24.

Zeitraum: 20:28-20:34
SERVER … … … … … … … … … … … … … FILMLISTE/LADEZEIT
verteiler1.mediathekview.de … … … 19:24 / 26s
verteiler2.mediathekview.de … … … 20:16 / 10s
verteiler3.mediathekview.de … … … 19:24 / 22s
verteiler4.mediathekview.de … … … 20:16 / 10s
verteiler5.mediathekview.de … … … 19:24 / 14s
verteiler6.mediathekview.de … … … 19:24 / 18s
verteiler.mediathekviewweb.de … … 20:16 / 10s

Vorläufige Diagnose/Hypothese: Verteiler1+3+5+6 werden nur alle 2 Stunden oder zumindest nicht stündlich *regelmäßig mit einer neuen Filmliste versorgt.

Nachtrag - Gerade entdeckt, dass auch Tabellen möglich sind. Also hier die Zusammenfassung:

06.02.2018 - Uhrzeit der Filmliste / Ladezeit der kompletten Filmliste in MV

Testreihe	Verteiler1	Verteiler2	Verteiler3	Verteiler4	Verteiler5	Verteiler6	Vert.MVW
16:55-17:10	–	16:17	–	16:17	–	15:23	16:17
18:30-18:43	17:34 / 23s	18:15 / 17s	17:34 / 113s	18:15 / 18s	17:34 / 38s	17:34 / 32s	18:15 / 21s
19:43-19:58	19:24 / 379s	19:24 / 8s	19:24 / 146s	19:24 / 9s	19:24 / 27s	19:24 / 24s	19:24 / 8s
20:28-20:34	19:24 / 26s	20:16 / 10s	19:24 / 22s	20:16 / 10s	19:24 / 14s	19:24 / 18s	20:16 / 10s

Edit *

[Jo Grothe]

Hallo @alex ,
Hier noch eine exemplarische Ping-Statistik der Verteilserver.

07.02.2018 21:10-21:32 - Pingstatistik der Verteilserver mit 100 Paketen á 32 Bytes

Server	IP	Verlust	Minimum	Maximum	Mittelwert
verteiler1.mediathekview.de	5.1.76.111	3%	25ms	1614ms	217ms
verteiler2.mediathekview.de	185.26.156.61	0%	13ms	28ms	15ms
verteiler3.mediathekview.de	5.1.76.111	1%	28ms	826ms	146ms
verteiler4.mediathekview.de	185.26.156.62	0%	13ms	37ms	16ms
verteiler5.mediathekview.de	5.1.76.111	0%	13ms	348ms	67ms
verteiler6.mediathekview.de	5.1.76.111	0%	13ms	181ms	33ms
verteiler.mediathekviewweb.de ohne ICMP-ECHO	5.9.142.220	100%

Ergänzung
08.02.2018 18:17 - Pingstatistik mit 100 Paketen á 32 Bytes

Server	IP	Verlust	Minimum	Maximum	Mittelwert
verteiler.mediathekviewweb.de mit ICMP-ECHO	5.9.142.220	0%	25ms	233ms	38ms

Ergänzung
08.02.2018 21:51 - Pingstatistik mit 100 Paketen á 32 Bytes

Server	IP	Verlust	Minimum	Maximum	Mittelwert
verteiler.mediathekviewweb.de mit ICMP-ECHO	5.9.142.220	0%	26ms	255ms	31ms

[bagbag]

Ich habe mir mal erlaubt ICMP durchzulassen. Magst du die Ping Tests nochmal mit verteiler.mediathekviewweb.de versuchen?

Mir ist aufgefallen, dass der Ping unter Windoof ungleichmäßigere Ergebnisse liefert als der von Linux. Hier mal mit Linux:

— verteiler1.mediathekview.de ping statistics —
100 packets transmitted, 100 received, 0% packet loss, time 9979ms
rtt min/avg/max/mdev = 10.854/21.862/120.139/18.621 ms

— verteiler2.mediathekview.de ping statistics —
100 packets transmitted, 100 received, 0% packet loss, time 9981ms
rtt min/avg/max/mdev = 11.236/18.177/118.071/17.492 ms

— verteiler3.mediathekview.de ping statistics —
100 packets transmitted, 100 received, 0% packet loss, time 9974ms
rtt min/avg/max/mdev = 10.862/20.071/130.134/17.992 ms

— verteiler4.mediathekview.de ping statistics —
100 packets transmitted, 100 received, 0% packet loss, time 9980ms
rtt min/avg/max/mdev = 11.251/17.222/117.879/15.221 ms

— verteiler5.mediathekview.de ping statistics —
100 packets transmitted, 100 received, 0% packet loss, time 9972ms
rtt min/avg/max/mdev = 11.044/34.003/255.367/41.818 ms

— verteiler6.mediathekview.de ping statistics —
100 packets transmitted, 100 received, 0% packet loss, time 9977ms
rtt min/avg/max/mdev = 10.834/21.481/98.270/15.557 ms

— verteiler.mediathekviewweb.de ping statistics —
100 packets transmitted, 100 received, 0% packet loss, time 9975ms
rtt min/avg/max/mdev = 24.072/29.820/95.444/9.806 ms

[Jo Grothe]

Hallo @bagbag ,
so war das nicht gemeint. Ich finde es vollkommen verständlich, Deinen Server nicht auf pings reagieren zu lassen. Ich hatte das nur der Vollständigkeit halber mit in der Liste aufgeführt. Nach meinem persönlichen Eindruck hält man sich damit zumindest ein paar Einbruchsversuche vom Hals. Außerdem scheint Dein Server ja auch recht performant zu sein; das ist jedenfalls mein Eindruck, wenn ich Deine WEB-Seite aufrufe: Alles immer sofort da!

Ja, mit Windoof und ping hast Du bestimmt recht. Scheint auch etwas tageszeitabhängig zu sein. M.E. betriff das ja vor allem die Server, die unter 5.1.76.111 gehostet sind, das sind auch die, die nicht gleichmäßig mit aktuellen Filmlisten versorgt wurden. Ob da überhaupt ein Zusammenhang mit den ping-Antwortzeiten besteht, weiss ich natürlich nicht.

Hier noch der ping-Test von meiner Seite um 18:17 beendet (hab das auch oben in der Tabelle ergänzt):
Ping für mediathekviewweb.de [5.9.142.220] mit 32 Bytes Daten:
Ping-Statistik für 5.9.142.220:
Pakete: Gesendet = 100, Empfangen = 100, Verloren = 0 (0% Verlust),
Ca. Zeitangaben in Millisek.:
Minimum = 25ms, Maximum = 233ms, Mittelwert = 38ms

Von mir aus, kannst Du die ping-response gerne wieder abschalten.

Einen schönen Abend
Jo

[bagbag]

Alles gut Es war nur aus, weil es dafür in pfSense standardmäßig keine Pass-Rule gibt.

Falls es dich interessiert: Mittlerweile läuft MVW nebst einem Crawler und vielen privaten Dingen auf einem dedizierten Server (insgesamt 12 VMs, eine davon Docker mit 4 Containern).

Zur Prime Time (etwa 20:00 Uhr) hat MVW Traffic-Peaks von 80 Mbit/s.

[Jo Grothe]

@bagbag
Danke für Deine Infos. Das klingt nach einem kleinen Rechenzentrum …

[Jo Grothe]

@all, die es interessiert.

Hier die Ergebnisse von ein paar heutigen Tests, ob auf allen Verteilservern die gleiche Version der aktuellen Filmliste vorhanden ist.

Testlauf	Resultat	Verteiler1	Verteiler2	Verteiler3	Verteiler4	Verteiler5	Verteiler6	Vert.MVW
20180210 11:40		11:22	11:22	11:22	11:22	11:22	11:22	11:22
20180210 12:30		12:15	12:15	12:15	12:15	12:15	12:15	12:15
20180210 13:30	/
20180210 14:32		14:15	14:15	14:15	14:15	14:15	14:15	14:15
20180210 15:30		15:19	15:19	15:19	15:19	15:19	15:19	15:19
20180210 16:40		16:15	16:15	16:15	16:15	16:15	16:15	16:15
20180210 17:55		17:23	17:23	17:23	17:23	17:23	17:23	17:23
20180210 18:25		18:17	18:17	18:17	18:17	18:17	18:17	18:17
20180210 19:30		19:20	19:20	19:20	19:20	19:20	19:20	19:20
20180210 20:30		20:16	20:16	20:16	20:16	20:16	20:16	20:16
20180210 21:33		21:24	21:24	21:24	21:24	21:24	21:24	21:24
20180210 22:24		22:15	22:15	22:15	22:15	22:15	22:15	22:15
20180210 23:31		23:21	23:21	23:21	23:21	23:21	23:21	23:21

Legende - Resultat:

• : alle Versionen gleich und jünger als eine Stunde
• >1h : alle Versionen gleich und älter als eine Stunde
• <1h> : mindestens eine Version jünger als 1h, andere abweichend
• / : nicht getestet

Das sieht im Gegensatz zu vor vier Tagen sehr gut aus! Auch das Laden der aktuellen Filmliste in MV ging von jedem der Verteilserver bei jedem Test immer flott, d.h. 7-15 Sekunden. Super, dass das jetzt so gut funktioniert.

@alex, musstest Du viel anpassen oder hat sich das "selber repariert"? Nachtrag Ich finde es einfach interessant, warum etwas funktioniert und noch mehr, wenn es nicht funktioniert wie es soll und was man dagegen tun kann.