[CRAWLER] Fimliste Aktualisierungsintervall

[Jo Grothe]

Liebe Entwickler,
habe gerade entdeckt, dass seit gestern (*16.11.2017 ?) das Aktualisierungsintervall der Filmliste 1h beträgt (*vorher 2h, außer nachts zwischen 00:00 und 04:00). SUPER. Fehlt nur noch, dass MV sich darauf einstellt. So weit ich verstanden habe, sucht MV beim Starten eine neue Filmliste, wenn die lokal vorhandene älter als 3h ist. Das neue Kriterium könnte ja unter den Umständen auf z.B. 70min reduziert werden (d.h. 60min für die stündlichen Aktualisierungen + 10min für Unterschiede in der Laufzeit von MSearch und die Kopiervorgänge auf die Verteilserver).

EDIT *
EDIT2 “1 Stunde” aus Titel entfernt

[MenchenSued]

@jo-grothe Ist nicht jedermanns Sache. Mir wäre es z.B. lieber, es würde nicht automatisch geladen, denn ich filtere neue Sendungen und wenn ich mal vergesse, die durchzuschauen und MV neu starte, sind sie durch noch neuere überschrieben. Wenn schon, dann einstellbar (nur manuell oder Zeit).

[Georg-J]

@menchensued sagte in [CRAWLER] Fimliste Aktualisierungsintervall 1 Stunde:

Mir wäre es z.B. lieber, es würde nicht automatisch geladen, denn ich filtere neue Sendungen und wenn ich mal vergesse, die durchzuschauen und MV neu starte, sind sie durch noch neuere überschrieben. Wenn schon, dann einstellbar (nur manuell oder Zeit).

Das ist mir auch lieber und aus diesem Grund von mir auch so konfiguriert: “Filmliste nur manuell laden”

[Jo Grothe]

@menchensued Ja, einstellbar in der Konfiguration wäre auch nach meinem Geschmack.

[Jo Grothe]

Liebe Entwickler,
leider ist das Aktualisierungsintervall der aktuellen Filmliste seit heute morgen (28.11.2017 06:00) wieder nur noch 2 Stunden. Hat die neuerliche Umstellung eher technische oder eher praktische Gründe? Konnte auf GitHub nichts Erhellendes dazu finden.
Ansonsten ist das aktuelle MSearch 3.1.37 wirklich sehr erfolgreich: 11 Tage im Einsatz, rekordverdächtig! :arrow_upper_right: Tolle Leistung!

[Jo Grothe]

Liebe Entwickler,
hat sich da etwas verändert? Das Akualisierungsintervall der Filmliste hat sich nach meinen Erkenntnissen auf 4 Stunden erhöht.

Versuche mir automatisiert vom Server “https://archiv.mediathekviewweb.de/” mit wget alle 20 Minuten eine neue “Filmliste-akt.xz” zu holen, sofern sie erneuert wurde. Das sind meine Ergebnisse für heute 28.11.2017 bis 23:00:

“Filmliste-akt - 20171128-062100.xz” - delta: ~7 h zur letzten vom Vortag
“Filmliste-akt - 20171128-082200.xz” - delta: ~2 h zur letzten
“Filmliste-akt - 20171128-102100.xz” - delta: ~2 h zur letzten
“Filmliste-akt - 20171128-142700.xz” - delta: ~4 h zur letzten
“Filmliste-akt - 20171128-182600.xz” - delta: ~4 h zur letzten
“Filmliste-akt - 20171128-222400.xz” - delta: ~4 h zur letzten

Oder benutze ich den falschen Server? Immerhin steht der auch in der offiziellen Liste der Verteilserver.

[Jo Grothe]

@jo-grothe
Ergänzung: Habe das jetzt mal genauer untersucht. Stand 29.11.2017 10:40
Die Verteilserver “http://verteilerX.mediathekview.de/Filmliste-akt.xz” (X=1…6) sind mit ihren “Filmliste-akt.xz” alle auf dem Stand vom 29.11.2017 09:15 (laut Anzeige in MV), nur die “Filmliste-akt.xz” vom “https://archiv.mediathekviewweb.de/Filmliste-akt.xz” liefert 29.11.2017 06:17.
Das scheint also eher ein Verteilproblem auf genau diesen einen Server zu sein. MVW scheint auch nicht diese Filmliste zu benutzen, da laut Anzeige seine vom 29.11.2017 09:16 stammt. Bis auf den 1-Minuten-Unterschied in der Uhrzeitangabe scheint das die gleiche Filmliste zu sein, die auch MV benutzt.

[vitusson]

@jo-grothe sagte in [CRAWLER] Fimliste Aktualisierungsintervall:

Oder benutze ich den falschen Server? Immerhin steht der auch in der offiziellen Liste der Verteilserver.

Nicht als Verteiler, archiv.mediathekviewweb.de ist dort auskommentiert.
Und wie der Name schon sagt, es ist der ARCHIV Server. Warum also willst du ausgerechnet von dort eine aktuelle Liste bekommen und nutzt nicht einen der 6 verteiler.* ?

[Jo Grothe]

@vitusson sagte in [CRAWLER] Fimliste Aktualisierungsintervall:

Nicht als Verteiler, archiv.mediathekviewweb.de ist dort auskommentiert.

Ja, sehe ich jetzt auch. War heute vormittag beim Verfassen des Posts m.E. noch nicht so. (* akt.xml 29-Nov-2017 12:10)

Warum also willst du ausgerechnet von dort eine aktuelle Liste bekommen und nutzt nicht einen der 6 verteiler.* ?

Mache ich jetzt auch so. Bis vorgestern hatte das eben funktioniert und ich war erstaunt, als das nicht mehr klappte.

Edit *

[Georg-J]

@jo-grothe sagte in [CRAWLER] Fimliste Aktualisierungsintervall:

War heute vormittag beim Verfassen des Posts m.E. noch nicht so.

Das sieht so aus. Um 11:10 Uhr wurde die res.mediathekview.de/akt.xml zuletzt geändert/hochgeladen.
“Last-Modified: Wed, 29 Nov 2017 12:10:35 GMT”

[Jo Grothe]

@georg-j
Dann wundere ich mich einfach, dass die Änderung hier nicht kommuniziert wurde.

[Nicklas2751]

@jo-grothe sagte in [CRAWLER] Fimliste Aktualisierungsintervall:

@georg-j
Dann wundere ich mich einfach, dass die Änderung hier nicht kommuniziert wurde.

Warum sollen wir solche interen Änderungen denn kommunizieren?

Oder anders gefragt was bringt dir diese Information?

(Bitte nicht falsch verstehen ich wunder mich nur wofür die Anwender diese Information gebrauchen könnten. Ich bin ja selbst nicht nur Entwickler sondern auch Anwender und habe diese Information nie vermisst.)

[Ein ehemaliger Benutzer]

Moin, meine akt. Liste von 13:17 Uhr. Seitdem keine Aktualisierung

[MenchenSued]

@nicklas2751 sagte in [CRAWLER] Fimliste Aktualisierungsintervall:

Oder anders gefragt was bringt dir diese Information?

Sorry @nicklas2751, aber da muss ich @Jo-Grothe recht geben. Ob 1 oder 2 Stunden ist mir persönlich egal, aber ich sitze auch nicht 24 Stunden am Rechner und drücke alle 10 Minuten auf den Filmliste Laden Knopf. Wenn es keinen Grund für eine zufällige oder seltenen Aktualisierung gibt, so sollten die User wenigstens wissen, wann sich ein Aufruf von MV lohnt. Es könnte ja sein, dass jeder einzelne Crawlerlauf Geld kostet und die Admins sich daher entschieden haben, ihn nur zweimal am Tag laufen zu lassen. Dann sollte das aber auch so kommuniziert werden.

[Nicklas2751]

@menchensued Ok, danke das kann ich verstehen.

@alex Das ist dein Thema.

[Jo Grothe]

Nur zur Info:
Datum und Uhrzeit der letzten Filmliste (auf jedem Verteilserver 1-6):
29.11.2017 13:17 (MV)
29.11.2017 13:18 (MVW)
Bei mir ist es jetzt:
29.11.2017 17:45

[bagbag]

Ich habe MVW auf ein neuen Server umgezogen und der alte läuft heute aus. Leider habe ich verpennt den Mirror rechtzeitig umzuziehen, weshalb Alex ihm auskommentiert hat.

Auch wenn die URL mit archiv beginnt, die Filmliste ist trotzdem immer aktuell (gewesen), und wird es auch bald wieder sein. Archiv ist die subdomain, weil da ursprünglich nur das Archiv war und erst im Nachhinein der mirror dazu kam.

[DocML]

@Jo-Grothe,
die Filmliste ist jetzt wieder aktuell.
Gruß M.L

[Jo Grothe]

@bagbag , danke für Aufklärung.

[vitusson]

@nicklas2751 sagte in [CRAWLER] Fimliste Aktualisierungsintervall:

@jo-grothe sagte in [CRAWLER] Fimliste Aktualisierungsintervall:

@georg-j
Dann wundere ich mich einfach, dass die Änderung hier nicht kommuniziert wurde.

Warum sollen wir solche interen Änderungen denn kommunizieren?

Oder anders gefragt was bringt dir diese Information?

Es gibt einfach Leute die mit Nachdruck irgendeine Nadel im Heuhaufen suchen die nicht richtig funktioniert, auch wenn sie unwichtig ist. Und jede Stunde neue Filmlisten brauchen, man fragt sich nur wann die das alles gucken, wenn sie den ganzen Tag vor dem Rechner sitzen und F5 drücken.
my2¢ SCNR