[CRAWLER] Fimliste Aktualisierungsintervall

[Jo Grothe]

@jo-grothe
Ergänzung: Habe das jetzt mal genauer untersucht. Stand 29.11.2017 10:40
Die Verteilserver “http://verteilerX.mediathekview.de/Filmliste-akt.xz” (X=1…6) sind mit ihren “Filmliste-akt.xz” alle auf dem Stand vom 29.11.2017 09:15 (laut Anzeige in MV), nur die “Filmliste-akt.xz” vom “https://archiv.mediathekviewweb.de/Filmliste-akt.xz” liefert 29.11.2017 06:17.
Das scheint also eher ein Verteilproblem auf genau diesen einen Server zu sein. MVW scheint auch nicht diese Filmliste zu benutzen, da laut Anzeige seine vom 29.11.2017 09:16 stammt. Bis auf den 1-Minuten-Unterschied in der Uhrzeitangabe scheint das die gleiche Filmliste zu sein, die auch MV benutzt.

[vitusson]

@jo-grothe sagte in [CRAWLER] Fimliste Aktualisierungsintervall:

Oder benutze ich den falschen Server? Immerhin steht der auch in der offiziellen Liste der Verteilserver.

Nicht als Verteiler, archiv.mediathekviewweb.de ist dort auskommentiert.
Und wie der Name schon sagt, es ist der ARCHIV Server. Warum also willst du ausgerechnet von dort eine aktuelle Liste bekommen und nutzt nicht einen der 6 verteiler.* ?

[Jo Grothe]

@vitusson sagte in [CRAWLER] Fimliste Aktualisierungsintervall:

Nicht als Verteiler, archiv.mediathekviewweb.de ist dort auskommentiert.

Ja, sehe ich jetzt auch. War heute vormittag beim Verfassen des Posts m.E. noch nicht so. (* akt.xml 29-Nov-2017 12:10)

Warum also willst du ausgerechnet von dort eine aktuelle Liste bekommen und nutzt nicht einen der 6 verteiler.* ?

Mache ich jetzt auch so. Bis vorgestern hatte das eben funktioniert und ich war erstaunt, als das nicht mehr klappte.

Edit *

[Georg-J]

@jo-grothe sagte in [CRAWLER] Fimliste Aktualisierungsintervall:

War heute vormittag beim Verfassen des Posts m.E. noch nicht so.

Das sieht so aus. Um 11:10 Uhr wurde die res.mediathekview.de/akt.xml zuletzt geändert/hochgeladen.
“Last-Modified: Wed, 29 Nov 2017 12:10:35 GMT”

[Jo Grothe]

@georg-j
Dann wundere ich mich einfach, dass die Änderung hier nicht kommuniziert wurde.

[Nicklas2751]

@jo-grothe sagte in [CRAWLER] Fimliste Aktualisierungsintervall:

@georg-j
Dann wundere ich mich einfach, dass die Änderung hier nicht kommuniziert wurde.

Warum sollen wir solche interen Änderungen denn kommunizieren?

Oder anders gefragt was bringt dir diese Information?

(Bitte nicht falsch verstehen ich wunder mich nur wofür die Anwender diese Information gebrauchen könnten. Ich bin ja selbst nicht nur Entwickler sondern auch Anwender und habe diese Information nie vermisst.)

[Ein ehemaliger Benutzer]

Moin, meine akt. Liste von 13:17 Uhr. Seitdem keine Aktualisierung

[MenchenSued]

@nicklas2751 sagte in [CRAWLER] Fimliste Aktualisierungsintervall:

Oder anders gefragt was bringt dir diese Information?

Sorry @nicklas2751, aber da muss ich @Jo-Grothe recht geben. Ob 1 oder 2 Stunden ist mir persönlich egal, aber ich sitze auch nicht 24 Stunden am Rechner und drücke alle 10 Minuten auf den Filmliste Laden Knopf. Wenn es keinen Grund für eine zufällige oder seltenen Aktualisierung gibt, so sollten die User wenigstens wissen, wann sich ein Aufruf von MV lohnt. Es könnte ja sein, dass jeder einzelne Crawlerlauf Geld kostet und die Admins sich daher entschieden haben, ihn nur zweimal am Tag laufen zu lassen. Dann sollte das aber auch so kommuniziert werden.

[Nicklas2751]

@menchensued Ok, danke das kann ich verstehen.

@alex Das ist dein Thema.

[Jo Grothe]

Nur zur Info:
Datum und Uhrzeit der letzten Filmliste (auf jedem Verteilserver 1-6):
29.11.2017 13:17 (MV)
29.11.2017 13:18 (MVW)
Bei mir ist es jetzt:
29.11.2017 17:45

[bagbag]

Ich habe MVW auf ein neuen Server umgezogen und der alte läuft heute aus. Leider habe ich verpennt den Mirror rechtzeitig umzuziehen, weshalb Alex ihm auskommentiert hat.

Auch wenn die URL mit archiv beginnt, die Filmliste ist trotzdem immer aktuell (gewesen), und wird es auch bald wieder sein. Archiv ist die subdomain, weil da ursprünglich nur das Archiv war und erst im Nachhinein der mirror dazu kam.

[DocML]

@Jo-Grothe,
die Filmliste ist jetzt wieder aktuell.

Gruß M.L

[Jo Grothe]

@bagbag , danke für Aufklärung.

[vitusson]

@nicklas2751 sagte in [CRAWLER] Fimliste Aktualisierungsintervall:

@jo-grothe sagte in [CRAWLER] Fimliste Aktualisierungsintervall:

@georg-j
Dann wundere ich mich einfach, dass die Änderung hier nicht kommuniziert wurde.

Warum sollen wir solche interen Änderungen denn kommunizieren?

Oder anders gefragt was bringt dir diese Information?

Es gibt einfach Leute die mit Nachdruck irgendeine Nadel im Heuhaufen suchen die nicht richtig funktioniert, auch wenn sie unwichtig ist. Und jede Stunde neue Filmlisten brauchen, man fragt sich nur wann die das alles gucken, wenn sie den ganzen Tag vor dem Rechner sitzen und F5 drücken.
my2¢ SCNR

[bagbag]

Der Mirror ist nun auch umgezogen und unter https://verteiler.mediathekviewweb.de/ zu finden.
Jetzt auch mit veteiler als subdomain, um nicht wieder den Eindruck zu vermitteln, das sei nur ein Archiv (auch, wenn das dort weiterhin zu finden ist).

[Georg-J]

@bagbag sagte in [CRAWLER] Fimliste Aktualisierungsintervall:

Jetzt auch mit veteiler als subdomain, um nicht wieder den Eindruck zu vermitteln, das sei nur ein Archiv (auch, wenn das dort weiterhin zu finden ist).

Ab 2017/05 erhalte ich den Fehler “403 Verboten” beim Zugriff auf https://verteiler.mediathekviewweb.de/archiv/2017/05/

[bagbag]

Behoben, mit Dank an @alex, der das übernommen hat.