Asynchrone Server für Filmlisten
-
In letzter Zeit passiert es mir häufig, dass ich veraltete Filmlisten lade. Ein- oder Zweimal erneutes manuelles Laden kurz danach liefert die aktuellste Liste. Hier ein Auszug aus dem Log (um 15:01 wird die Liste von 13:18 geladen)
[00011] Konfig wurde gelesen! [00012] Liste Filme gelesen am: 06.02.2018, 14:50 [00013] erstellt am: 05.02.2018, 14:15 [00014] Anzahl Filme: 223692 [00015] Anzahl Neue: 3534 [00016] Filmliste zu alt, neue Filmliste laden [00017] [00018] Alte Liste erstellt am: 05.02.2018, 14:15 [00019] Anzahl Filme: 223692 [00020] Anzahl Neue: 3534 [00021] Filmliste laden (auto) [00022] [00023] Liste Kompl. gelesen am: 06.02.2018, 15:01 [00024] Liste Kompl erstellt am: 06.02.2018, 13:18 [00025] Anzahl Filme: 222836 [00026] [00027] Jetzige Liste erstellt am: 06.02.2018, 13:18 [00028] Anzahl Filme: 222836 [00029] Anzahl Neue: 2877 [00030] [00049] Alte Liste erstellt am: 06.02.2018, 13:18 [00050] Anzahl Filme: 222836 [00051] Anzahl Neue: 2877 [00052] Filmliste laden (auto) [00053] [00054] Liste Diff gelesen am: 06.02.2018, 15:04 [00055] Liste Diff erstellt am: 06.02.2018, 14:14 [00056] Anzahl Filme: 1853 [00057] [00058] Jetzige Liste erstellt am: 06.02.2018, 14:14 [00059] Anzahl Filme: 222897 [00060] Anzahl Neue: 57
-
Hallo @menchensued ,
hatte Mitte Januar diesen Jahres auch mal so ein Problem gehabt und meinte festgestellt zu haben, dassverteiler4.mediathekview.de
nur unregelmäßig mit der aktuellen Filmliste versorgt wurde.verteiler2.mediathekview.de
hingegen schien damals ok zu sein, ebenso derverteiler.mediathekviewweb.de
. Habe das damals aber nicht genauer weiterverfolgt. -
@menchensued
Habe gerade so um 17:00 rum explizit versucht, von verschiedenen Verteilserven die aktuelle Filmliste zu laden:SERVER … … … … … … … … … … … … … FILMLISTE
verteiler1.mediathekview.de … … … klappte nicht
verteiler2.mediathekview.de … … … 16:17
verteiler3.mediathekview.de … … … klappte nicht
verteiler4.mediathekview.de … … … 16:17
verteiler5.mediathekview.de … … … klappte nicht
verteiler6.mediathekview.de … … … 15:23, klapte nicht bei zweitem Versuch
verteiler.mediathekviewweb.de … … 16:17Das bestätigt nur Deine Beobachtung.
Nachtrag: Dabei ist mir noch aufgefallen, dass die verteiler1+3+5+6 die selbe IP-Adresse [5.1.76.111] haben und auch durchwachsene PING-Ergebnisse zeigten.
-
Danke für die Nachforschungen, werde mir das nochmal ansehen. Der ping sollte nicht so schlimm sein solange die Liste ja kommt. Eventuell kannst du mir da auch mal paar Messwerte zukommen lassen.
-
Hallo @alex ,
hier meine zweite Versuchsreihe inklusive der Ladezeiten für die komplette Filmliste in MV auf meinem Rechner. 3 der 7 Verteilserver haben die Filmliste von 18:15, die anderen die vorherige von 17:34.Zeitraum: 18:30-18:43
SERVER … … … … … … … … … … … … … FILMLISTE/LADEZEIT
verteiler1.mediathekview.de … … … 17:34 / 23s
verteiler2.mediathekview.de … … … 18:15 / 17s
verteiler3.mediathekview.de … … … 17:34 / 113s
verteiler4.mediathekview.de … … … 18:15 / 18s
verteiler5.mediathekview.de … … … 17:34 / 38s
verteiler6.mediathekview.de … … … 17:34 / 32s
verteiler.mediathekviewweb.de … … 18:15 / 21s -
Hallo @alex ,
hier meine dritte Versuchsreihe inklusive der Ladezeiten für die komplette Filmliste in MV auf meinem Rechner. Alle Verteilserver haben die Filmliste von 19:24, die Ladezeiten fallen jedoch recht unterschiedlich aus.Zeitraum: 19:43-19:58
SERVER … … … … … … … … … … … … … FILMLISTE/LADEZEIT
verteiler1.mediathekview.de … … … 19:24 / 379s
verteiler2.mediathekview.de … … … 19:24 / 8s
verteiler3.mediathekview.de … … … 19:24 / 146s
verteiler4.mediathekview.de … … … 19:24 / 9s
verteiler5.mediathekview.de … … … 19:24 / 27s
verteiler6.mediathekview.de … … … 19:24 / 24s
verteiler.mediathekviewweb.de … … 19:24 / 8s -
Hallo @alex ,
Versuchsreihe vier inklusive der Ladezeiten für die komplette Filmliste in MV auf meinem Rechner. 3 von 7 Verteilservern haben die Filmliste von 20:16, die anderen die von 19:24.Zeitraum: 20:28-20:34
SERVER … … … … … … … … … … … … … FILMLISTE/LADEZEIT
verteiler1.mediathekview.de … … … 19:24 / 26s
verteiler2.mediathekview.de … … … 20:16 / 10s
verteiler3.mediathekview.de … … … 19:24 / 22s
verteiler4.mediathekview.de … … … 20:16 / 10s
verteiler5.mediathekview.de … … … 19:24 / 14s
verteiler6.mediathekview.de … … … 19:24 / 18s
verteiler.mediathekviewweb.de … … 20:16 / 10sVorläufige Diagnose/Hypothese: Verteiler1+3+5+6 werden nur alle 2 Stunden oder zumindest nicht
stündlich*regelmäßig mit einer neuen Filmliste versorgt.Nachtrag - Gerade entdeckt, dass auch Tabellen möglich sind. Also hier die Zusammenfassung:
06.02.2018 - Uhrzeit der Filmliste / Ladezeit der kompletten Filmliste in MV
Testreihe Verteiler1 Verteiler2 Verteiler3 Verteiler4 Verteiler5 Verteiler6 Vert.MVW 16:55-17:10 – 16:17 – 16:17 – 15:23 16:17 18:30-18:43 17:34 / 23s 18:15 / 17s 17:34 / 113s 18:15 / 18s 17:34 / 38s 17:34 / 32s 18:15 / 21s 19:43-19:58 19:24 / 379s 19:24 / 8s 19:24 / 146s 19:24 / 9s 19:24 / 27s 19:24 / 24s 19:24 / 8s 20:28-20:34 19:24 / 26s 20:16 / 10s 19:24 / 22s 20:16 / 10s 19:24 / 14s 19:24 / 18s 20:16 / 10s Edit *
-
Hallo @alex ,
Hier noch eine exemplarische Ping-Statistik der Verteilserver.07.02.2018 21:10-21:32 - Pingstatistik der Verteilserver mit 100 Paketen á 32 Bytes
Server IP Verlust Minimum Maximum Mittelwert verteiler1.mediathekview.de 5.1.76.111 3% 25ms 1614ms 217ms verteiler2.mediathekview.de 185.26.156.61 0% 13ms 28ms 15ms verteiler3.mediathekview.de 5.1.76.111 1% 28ms 826ms 146ms verteiler4.mediathekview.de 185.26.156.62 0% 13ms 37ms 16ms verteiler5.mediathekview.de 5.1.76.111 0% 13ms 348ms 67ms verteiler6.mediathekview.de 5.1.76.111 0% 13ms 181ms 33ms verteiler.mediathekviewweb.de ohne ICMP-ECHO 5.9.142.220 100% Ergänzung
08.02.2018 18:17 - Pingstatistik mit 100 Paketen á 32 BytesServer IP Verlust Minimum Maximum Mittelwert verteiler.mediathekviewweb.de mit ICMP-ECHO 5.9.142.220 0% 25ms 233ms 38ms Ergänzung
08.02.2018 21:51 - Pingstatistik mit 100 Paketen á 32 BytesServer IP Verlust Minimum Maximum Mittelwert verteiler.mediathekviewweb.de mit ICMP-ECHO 5.9.142.220 0% 26ms 255ms 31ms -
Ich habe mir mal erlaubt ICMP durchzulassen. Magst du die Ping Tests nochmal mit verteiler.mediathekviewweb.de versuchen?
Mir ist aufgefallen, dass der Ping unter Windoof ungleichmäßigere Ergebnisse liefert als der von Linux. Hier mal mit Linux:
— verteiler1.mediathekview.de ping statistics —
100 packets transmitted, 100 received, 0% packet loss, time 9979ms
rtt min/avg/max/mdev = 10.854/21.862/120.139/18.621 ms— verteiler2.mediathekview.de ping statistics —
100 packets transmitted, 100 received, 0% packet loss, time 9981ms
rtt min/avg/max/mdev = 11.236/18.177/118.071/17.492 ms— verteiler3.mediathekview.de ping statistics —
100 packets transmitted, 100 received, 0% packet loss, time 9974ms
rtt min/avg/max/mdev = 10.862/20.071/130.134/17.992 ms— verteiler4.mediathekview.de ping statistics —
100 packets transmitted, 100 received, 0% packet loss, time 9980ms
rtt min/avg/max/mdev = 11.251/17.222/117.879/15.221 ms— verteiler5.mediathekview.de ping statistics —
100 packets transmitted, 100 received, 0% packet loss, time 9972ms
rtt min/avg/max/mdev = 11.044/34.003/255.367/41.818 ms— verteiler6.mediathekview.de ping statistics —
100 packets transmitted, 100 received, 0% packet loss, time 9977ms
rtt min/avg/max/mdev = 10.834/21.481/98.270/15.557 ms— verteiler.mediathekviewweb.de ping statistics —
100 packets transmitted, 100 received, 0% packet loss, time 9975ms
rtt min/avg/max/mdev = 24.072/29.820/95.444/9.806 ms -
Hallo @bagbag ,
so war das nicht gemeint. Ich finde es vollkommen verständlich, Deinen Server nicht auf pings reagieren zu lassen. Ich hatte das nur der Vollständigkeit halber mit in der Liste aufgeführt. Nach meinem persönlichen Eindruck hält man sich damit zumindest ein paar Einbruchsversuche vom Hals. Außerdem scheint Dein Server ja auch recht performant zu sein; das ist jedenfalls mein Eindruck, wenn ich Deine WEB-Seite aufrufe: Alles immer sofort da!Ja, mit Windoof und ping hast Du bestimmt recht. Scheint auch etwas tageszeitabhängig zu sein. M.E. betriff das ja vor allem die Server, die unter 5.1.76.111 gehostet sind, das sind auch die, die nicht gleichmäßig mit aktuellen Filmlisten versorgt wurden. Ob da überhaupt ein Zusammenhang mit den ping-Antwortzeiten besteht, weiss ich natürlich nicht.
Hier noch der ping-Test von meiner Seite um 18:17 beendet (hab das auch oben in der Tabelle ergänzt):
Ping für mediathekviewweb.de [5.9.142.220] mit 32 Bytes Daten:
Ping-Statistik für 5.9.142.220:
Pakete: Gesendet = 100, Empfangen = 100, Verloren = 0 (0% Verlust),
Ca. Zeitangaben in Millisek.:
Minimum = 25ms, Maximum = 233ms, Mittelwert = 38msVon mir aus, kannst Du die ping-response gerne wieder abschalten.
Einen schönen Abend
Jo -
Alles gut :grinning_face: Es war nur aus, weil es dafür in pfSense standardmäßig keine Pass-Rule gibt.
Falls es dich interessiert: Mittlerweile läuft MVW nebst einem Crawler und vielen privaten Dingen auf einem dedizierten Server (insgesamt 12 VMs, eine davon Docker mit 4 Containern).
Zur Prime Time (etwa 20:00 Uhr) hat MVW Traffic-Peaks von 80 Mbit/s.
-
@bagbag
Danke für Deine Infos. Das klingt nach einem kleinen Rechenzentrum … -
@all, die es interessiert.
Hier die Ergebnisse von ein paar heutigen Tests, ob auf allen Verteilservern die gleiche Version der aktuellen Filmliste vorhanden ist.
Testlauf Resultat Verteiler1 Verteiler2 Verteiler3 Verteiler4 Verteiler5 Verteiler6 Vert.MVW 20180210 11:40 11:22 11:22 11:22 11:22 11:22 11:22 11:22 20180210 12:30 12:15 12:15 12:15 12:15 12:15 12:15 12:15 20180210 13:30 / 20180210 14:32 14:15 14:15 14:15 14:15 14:15 14:15 14:15 20180210 15:30 15:19 15:19 15:19 15:19 15:19 15:19 15:19 20180210 16:40 16:15 16:15 16:15 16:15 16:15 16:15 16:15 20180210 17:55 17:23 17:23 17:23 17:23 17:23 17:23 17:23 20180210 18:25 18:17 18:17 18:17 18:17 18:17 18:17 18:17 20180210 19:30 19:20 19:20 19:20 19:20 19:20 19:20 19:20 20180210 20:30 20:16 20:16 20:16 20:16 20:16 20:16 20:16 20180210 21:33 21:24 21:24 21:24 21:24 21:24 21:24 21:24 20180210 22:24 22:15 22:15 22:15 22:15 22:15 22:15 22:15 20180210 23:31 23:21 23:21 23:21 23:21 23:21 23:21 23:21 Legende - Resultat:
- : alle Versionen gleich und jünger als eine Stunde
- >1h : alle Versionen gleich und älter als eine Stunde
- <1h> : mindestens eine Version jünger als 1h, andere abweichend
- / : nicht getestet
Das sieht im Gegensatz zu vor vier Tagen sehr gut aus! Auch das Laden der aktuellen Filmliste in MV ging von jedem der Verteilserver bei jedem Test immer flott, d.h. 7-15 Sekunden. Super, dass das jetzt so gut funktioniert.
@alex, musstest Du viel anpassen oder hat sich das "selber repariert"? Nachtrag Ich finde es einfach interessant, warum etwas funktioniert und noch mehr, wenn es nicht funktioniert wie es soll und was man dagegen tun kann.