Asynchrone Server für Filmlisten


  • Globaler Moderator

    In letzter Zeit passiert es mir häufig, dass ich veraltete Filmlisten lade. Ein- oder Zweimal erneutes manuelles Laden kurz danach liefert die aktuellste Liste. Hier ein Auszug aus dem Log (um 15:01 wird die Liste von 13:18 geladen)

    [00011]   Konfig wurde gelesen!
    [00012]   Liste Filme gelesen am: 06.02.2018, 14:50
    [00013]     erstellt am: 05.02.2018, 14:15
    [00014]     Anzahl Filme: 223692
    [00015]     Anzahl Neue: 3534
    [00016]   Filmliste zu alt, neue Filmliste laden
    [00017]   
    [00018]   Alte Liste erstellt am: 05.02.2018, 14:15
    [00019]     Anzahl Filme: 223692
    [00020]     Anzahl Neue: 3534
    [00021]   Filmliste laden (auto)
    [00022]   
    [00023]   Liste Kompl. gelesen am: 06.02.2018, 15:01
    [00024]     Liste Kompl erstellt am: 06.02.2018, 13:18
    [00025]     Anzahl Filme: 222836
    [00026]   
    [00027]   Jetzige Liste erstellt am: 06.02.2018, 13:18
    [00028]     Anzahl Filme: 222836
    [00029]     Anzahl Neue:  2877
    [00030]   
    
    [00049]   Alte Liste erstellt am: 06.02.2018, 13:18
    [00050]     Anzahl Filme: 222836
    [00051]     Anzahl Neue: 2877
    [00052]   Filmliste laden (auto)
    [00053]   
    [00054]   Liste Diff gelesen am: 06.02.2018, 15:04
    [00055]     Liste Diff erstellt am: 06.02.2018, 14:14
    [00056]     Anzahl Filme: 1853
    [00057]   
    [00058]   Jetzige Liste erstellt am: 06.02.2018, 14:14
    [00059]     Anzahl Filme: 222897
    [00060]     Anzahl Neue:  57
    


  • Hallo @menchensued ,
    hatte Mitte Januar diesen Jahres auch mal so ein Problem gehabt und meinte festgestellt zu haben, dass verteiler4.mediathekview.de nur unregelmäßig mit der aktuellen Filmliste versorgt wurde. verteiler2.mediathekview.de hingegen schien damals ok zu sein, ebenso der verteiler.mediathekviewweb.de. Habe das damals aber nicht genauer weiterverfolgt.



  • @menchensued
    Habe gerade so um 17:00 rum explizit versucht, von verschiedenen Verteilserven die aktuelle Filmliste zu laden:

    SERVER … … … … … … … … … … … … … FILMLISTE
    verteiler1.mediathekview.de … … … klappte nicht
    verteiler2.mediathekview.de … … … 16:17
    verteiler3.mediathekview.de … … … klappte nicht
    verteiler4.mediathekview.de … … … 16:17
    verteiler5.mediathekview.de … … … klappte nicht
    verteiler6.mediathekview.de … … … 15:23, klapte nicht bei zweitem Versuch
    verteiler.mediathekviewweb.de … … 16:17

    Das bestätigt nur Deine Beobachtung.

    Nachtrag: Dabei ist mir noch aufgefallen, dass die verteiler1+3+5+6 die selbe IP-Adresse [5.1.76.111] haben und auch durchwachsene PING-Ergebnisse zeigten.


  • Administrator

    Danke für die Nachforschungen, werde mir das nochmal ansehen. Der ping sollte nicht so schlimm sein solange die Liste ja kommt. Eventuell kannst du mir da auch mal paar Messwerte zukommen lassen.



  • Hallo @alex ,
    hier meine zweite Versuchsreihe inklusive der Ladezeiten für die komplette Filmliste in MV auf meinem Rechner. 3 der 7 Verteilserver haben die Filmliste von 18:15, die anderen die vorherige von 17:34.

    Zeitraum: 18:30-18:43
    SERVER … … … … … … … … … … … … … FILMLISTE/LADEZEIT
    verteiler1.mediathekview.de … … … 17:34 / 23s
    verteiler2.mediathekview.de … … … 18:15 / 17s
    verteiler3.mediathekview.de … … … 17:34 / 113s
    verteiler4.mediathekview.de … … … 18:15 / 18s
    verteiler5.mediathekview.de … … … 17:34 / 38s
    verteiler6.mediathekview.de … … … 17:34 / 32s
    verteiler.mediathekviewweb.de … … 18:15 / 21s



  • Hallo @alex ,
    hier meine dritte Versuchsreihe inklusive der Ladezeiten für die komplette Filmliste in MV auf meinem Rechner. Alle Verteilserver haben die Filmliste von 19:24, die Ladezeiten fallen jedoch recht unterschiedlich aus.

    Zeitraum: 19:43-19:58
    SERVER … … … … … … … … … … … … … FILMLISTE/LADEZEIT
    verteiler1.mediathekview.de … … … 19:24 / 379s
    verteiler2.mediathekview.de … … … 19:24 / 8s
    verteiler3.mediathekview.de … … … 19:24 / 146s
    verteiler4.mediathekview.de … … … 19:24 / 9s
    verteiler5.mediathekview.de … … … 19:24 / 27s
    verteiler6.mediathekview.de … … … 19:24 / 24s
    verteiler.mediathekviewweb.de … … 19:24 / 8s



  • Hallo @alex ,
    Versuchsreihe vier inklusive der Ladezeiten für die komplette Filmliste in MV auf meinem Rechner. 3 von 7 Verteilservern haben die Filmliste von 20:16, die anderen die von 19:24.

    Zeitraum: 20:28-20:34
    SERVER … … … … … … … … … … … … … FILMLISTE/LADEZEIT
    verteiler1.mediathekview.de … … … 19:24 / 26s
    verteiler2.mediathekview.de … … … 20:16 / 10s
    verteiler3.mediathekview.de … … … 19:24 / 22s
    verteiler4.mediathekview.de … … … 20:16 / 10s
    verteiler5.mediathekview.de … … … 19:24 / 14s
    verteiler6.mediathekview.de … … … 19:24 / 18s
    verteiler.mediathekviewweb.de … … 20:16 / 10s

    Vorläufige Diagnose/Hypothese: Verteiler1+3+5+6 werden nur alle 2 Stunden oder zumindest nicht stündlich *regelmäßig mit einer neuen Filmliste versorgt.

    Nachtrag - Gerade entdeckt, dass auch Tabellen möglich sind. Also hier die Zusammenfassung:

    06.02.2018 - Uhrzeit der Filmliste / Ladezeit der kompletten Filmliste in MV

    Testreihe Verteiler1 Verteiler2 Verteiler3 Verteiler4 Verteiler5 Verteiler6 Vert.MVW
    16:55-17:10 16:17 16:17 15:23 16:17
    18:30-18:43 17:34 / 23s 18:15 / 17s 17:34 / 113s 18:15 / 18s 17:34 / 38s 17:34 / 32s 18:15 / 21s
    19:43-19:58 19:24 / 379s 19:24 / 8s 19:24 / 146s 19:24 / 9s 19:24 / 27s 19:24 / 24s 19:24 / 8s
    20:28-20:34 19:24 / 26s 20:16 / 10s 19:24 / 22s 20:16 / 10s 19:24 / 14s 19:24 / 18s 20:16 / 10s

    Edit *



  • Hallo @alex ,
    Hier noch eine exemplarische Ping-Statistik der Verteilserver.

    07.02.2018 21:10-21:32 - Pingstatistik der Verteilserver mit 100 Paketen á 32 Bytes

    Server IP Verlust Minimum Maximum Mittelwert
    verteiler1.mediathekview.de 5.1.76.111 3% 25ms 1614ms 217ms
    verteiler2.mediathekview.de 185.26.156.61 0% 13ms 28ms 15ms
    verteiler3.mediathekview.de 5.1.76.111 1% 28ms 826ms 146ms
    verteiler4.mediathekview.de 185.26.156.62 0% 13ms 37ms 16ms
    verteiler5.mediathekview.de 5.1.76.111 0% 13ms 348ms 67ms
    verteiler6.mediathekview.de 5.1.76.111 0% 13ms 181ms 33ms
    verteiler.mediathekviewweb.de ohne ICMP-ECHO 5.9.142.220 100%

    Ergänzung
    08.02.2018 18:17 - Pingstatistik mit 100 Paketen á 32 Bytes

    Server IP Verlust Minimum Maximum Mittelwert
    verteiler.mediathekviewweb.de mit ICMP-ECHO 5.9.142.220 0% 25ms 233ms 38ms

    Ergänzung
    08.02.2018 21:51 - Pingstatistik mit 100 Paketen á 32 Bytes

    Server IP Verlust Minimum Maximum Mittelwert
    verteiler.mediathekviewweb.de mit ICMP-ECHO 5.9.142.220 0% 26ms 255ms 31ms


  • Ich habe mir mal erlaubt ICMP durchzulassen. Magst du die Ping Tests nochmal mit verteiler.mediathekviewweb.de versuchen?

    Mir ist aufgefallen, dass der Ping unter Windoof ungleichmäßigere Ergebnisse liefert als der von Linux. Hier mal mit Linux:

    verteiler1.mediathekview.de ping statistics —
    100 packets transmitted, 100 received, 0% packet loss, time 9979ms
    rtt min/avg/max/mdev = 10.854/21.862/120.139/18.621 ms

    verteiler2.mediathekview.de ping statistics —
    100 packets transmitted, 100 received, 0% packet loss, time 9981ms
    rtt min/avg/max/mdev = 11.236/18.177/118.071/17.492 ms

    verteiler3.mediathekview.de ping statistics —
    100 packets transmitted, 100 received, 0% packet loss, time 9974ms
    rtt min/avg/max/mdev = 10.862/20.071/130.134/17.992 ms

    verteiler4.mediathekview.de ping statistics —
    100 packets transmitted, 100 received, 0% packet loss, time 9980ms
    rtt min/avg/max/mdev = 11.251/17.222/117.879/15.221 ms

    verteiler5.mediathekview.de ping statistics —
    100 packets transmitted, 100 received, 0% packet loss, time 9972ms
    rtt min/avg/max/mdev = 11.044/34.003/255.367/41.818 ms

    verteiler6.mediathekview.de ping statistics —
    100 packets transmitted, 100 received, 0% packet loss, time 9977ms
    rtt min/avg/max/mdev = 10.834/21.481/98.270/15.557 ms

    verteiler.mediathekviewweb.de ping statistics —
    100 packets transmitted, 100 received, 0% packet loss, time 9975ms
    rtt min/avg/max/mdev = 24.072/29.820/95.444/9.806 ms



  • Hallo @bagbag ,
    so war das nicht gemeint. Ich finde es vollkommen verständlich, Deinen Server nicht auf pings reagieren zu lassen. Ich hatte das nur der Vollständigkeit halber mit in der Liste aufgeführt. Nach meinem persönlichen Eindruck hält man sich damit zumindest ein paar Einbruchsversuche vom Hals. Außerdem scheint Dein Server ja auch recht performant zu sein; das ist jedenfalls mein Eindruck, wenn ich Deine WEB-Seite aufrufe: Alles immer sofort da!

    Ja, mit Windoof und ping hast Du bestimmt recht. Scheint auch etwas tageszeitabhängig zu sein. M.E. betriff das ja vor allem die Server, die unter 5.1.76.111 gehostet sind, das sind auch die, die nicht gleichmäßig mit aktuellen Filmlisten versorgt wurden. Ob da überhaupt ein Zusammenhang mit den ping-Antwortzeiten besteht, weiss ich natürlich nicht.

    Hier noch der ping-Test von meiner Seite um 18:17 beendet (hab das auch oben in der Tabelle ergänzt):
    Ping für mediathekviewweb.de [5.9.142.220] mit 32 Bytes Daten:
    Ping-Statistik für 5.9.142.220:
    Pakete: Gesendet = 100, Empfangen = 100, Verloren = 0 (0% Verlust),
    Ca. Zeitangaben in Millisek.:
    Minimum = 25ms, Maximum = 233ms, Mittelwert = 38ms

    Von mir aus, kannst Du die ping-response gerne wieder abschalten.

    Einen schönen Abend
    Jo



  • Alles gut 😀 Es war nur aus, weil es dafür in pfSense standardmäßig keine Pass-Rule gibt.

    Falls es dich interessiert: Mittlerweile läuft MVW nebst einem Crawler und vielen privaten Dingen auf einem dedizierten Server (insgesamt 12 VMs, eine davon Docker mit 4 Containern).

    Zur Prime Time (etwa 20:00 Uhr) hat MVW Traffic-Peaks von 80 Mbit/s.

    0_1518113340400_Screenshot-2018-2-8 host01 - Proxmox Virtual Environment.png



  • @bagbag
    Danke für Deine Infos. Das klingt nach einem kleinen Rechenzentrum 💼



  • @all, die es interessiert.

    Hier die Ergebnisse von ein paar heutigen Tests, ob auf allen Verteilservern die gleiche Version der aktuellen Filmliste vorhanden ist.

    Testlauf Resultat Verteiler1 Verteiler2 Verteiler3 Verteiler4 Verteiler5 Verteiler6 Vert.MVW
    20180210 11:40 ✔ 11:22 11:22 11:22 11:22 11:22 11:22 11:22
    20180210 12:30 ✔ 12:15 12:15 12:15 12:15 12:15 12:15 12:15
    20180210 13:30 /
    20180210 14:32 ✔ 14:15 14:15 14:15 14:15 14:15 14:15 14:15
    20180210 15:30 ✔ 15:19 15:19 15:19 15:19 15:19 15:19 15:19
    20180210 16:40 ✔ 16:15 16:15 16:15 16:15 16:15 16:15 16:15
    20180210 17:55 ✔ 17:23 17:23 17:23 17:23 17:23 17:23 17:23
    20180210 18:25 ✔ 18:17 18:17 18:17 18:17 18:17 18:17 18:17
    20180210 19:30 ✔ 19:20 19:20 19:20 19:20 19:20 19:20 19:20
    20180210 20:30 ✔ 20:16 20:16 20:16 20:16 20:16 20:16 20:16
    20180210 21:33 ✔ 21:24 21:24 21:24 21:24 21:24 21:24 21:24
    20180210 22:24 ✔ 22:15 22:15 22:15 22:15 22:15 22:15 22:15
    20180210 23:31 ✔ 23:21 23:21 23:21 23:21 23:21 23:21 23:21

    Legende - Resultat:

    • ✔ : alle Versionen gleich und jünger als eine Stunde
    • >1h : alle Versionen gleich und älter als eine Stunde
    • <1h> : mindestens eine Version jünger als 1h, andere abweichend
    • / : nicht getestet

    Das sieht im Gegensatz zu vor vier Tagen sehr gut aus! Auch das Laden der aktuellen Filmliste in MV ging von jedem der Verteilserver bei jedem Test immer flott, d.h. 7-15 Sekunden. Super, dass das jetzt so gut funktioniert.

    @alex, musstest Du viel anpassen oder hat sich das "selber repariert"😉? Nachtrag Ich finde es einfach interessant, warum etwas funktioniert und noch mehr, wenn es nicht funktioniert wie es soll und was man dagegen tun kann.


Anmelden zum Antworten
 

39
Online

1.3k
Benutzer

1.2k
Themen

6.6k
Beiträge

Es scheint als hättest du die Verbindung zu MediathekView-Forum verloren, bitte warte während wir versuchen sie wieder aufzubauen.