Allgemeine Fragen zu den Filmlisten/Crawlern

[FrankyDoo]

Mir ist heute aufgefallen, dass ich auf dem Windows-Rechner mit der MV-Version 11 keine Filmlisten zu geraden Stunden laden kann. Dieses Problem tauchte bisher so noch nie auf. Auf Geräten mit neueren MV-Versionen (13.0.6, oder 13.2.1) klappt das Laden der Filmlisten zu graden Stunden jedoch problemlos.

Wird diese Problem bei der MV-Version 11 weiterhin bestehen? (hinsichtlich der BR-Beiträge dürfte das ja problematisch sein, da ja nur zu geraden Stunden in den Listen vollständig verfügbar).

Und noch eine Frage zu den Filmlisten, die hier zu finden sind:
https://verteiler.mediathekviewweb.de/
Was hat es beispielsweise mit folgenden Listen auf sich:
Filmliste-akt.bz2 (30360781)
Filmliste-akt.gz (42592229)

Ich denke, dass sich die Zahlen auf die Anzahl der Filmbeiträge in den Listen bezieht. Falls ja, wie kommen diese großen Listen zustande? Welche Beiträge sind dort enthalten, die in den “normalen” Listen fehlen?

[DaDirnbocher]

@FrankyDoo sagte in Allgemeine Fragen zu den Filmlisten/Crawlern:

https://verteiler.mediathekviewweb.de/
Was hat es beispielsweise mit folgenden Listen auf sich:
Filmliste-akt.bz2 (30360781)
Filmliste-akt.gz (42592229)

Rein von der Endung her sind das einfach nur unterschiedlicher Packer (bzip2, gzip), die halt - vermutlich - unterschiedliche Ergebnisse in der Komprimierung liefern. Und die Zahlen würde ich als Filegröße der komprimierten Files verstehen.

[FrankyDoo]

noch ein Update:
Hatte auf dem Rechner mit der MV-Version 13.2.1 gegen 15 Uhr die Filmliste neu geladen. Zu meinem Erstaunen bekam ich die Filmliste von 13:17 Uhr. Um 15:21 Uhr ein neuer Versuch. Dachte, dass sich entweder nix ändern würde (also wieder die Liste von 13:17 Uhr) oder schon eine Liste von 15:x Uhr da sei. Doch beim Lade-Versuch um 15:21 Uhr erhielt ich die Liste von 14:15 Uhr.
Irgendeine Erklärung?
Auf dem Rechner mit der MV-Version 11 bekomme ich nachwievor keine Listen zu geraden Stunden (beim Versuch um 15:21 Uhr erhielt ich die Liste von 13:17 Uhr).

Ist es allgemein möglich, eine Liste zu geraden Stunden zu bekommen (wo BR vollständig enthalten ist), die man dann manuell laden kann? Bis gestern war das ja kein Problem, da unter “https://archiv.mediathekview.de/” die Listen von 14:52 Uhr enthalten sind. Doch wie es scheint, wurde da heute umgestellt. Hier erscheint nun eine Liste von 13:52 Uhr. Bleibt das so oder ist das nur eine Ausnahme?

[MenchenSued]

@FrankyDoo
In den letzten Tagen habe ich auf oft die ungerade Liste bekommen, obwohl ich erst um 45 Minuten nach der geraden Stunde aktualisiert hatte. Manchmal musste ich zweimal direkt hintereinander aktualisieren, bekam beim ersten Mal die ungerade und dann die gerade Liste. Kann ich mir aber nicht erklären, da derzeit nur ein Server in der XML-Datei steht. Und an einigen Tagen kam wie schon erwähnt immer nur die ungerade Liste, kann also durchaus sein, dass sich der gerade Server verhakt.

[FrankyDoo]

Wie ich gerade gesehen habe, wurde für heute die Filmliste von 13:52 durch eine Liste von 14:52 Uhr ausgetauscht. Somit dürften auch in Zukunft Listen der geraden Stunden zum Download und manuellen Laden bereit stehen.

[styroll]

@FrankyDoo sagte: Und noch eine Frage zu den Filmlisten, die hier zu finden sind:
Index of /

Dieses Verzeichnis ist überhaupt nicht für den (direkten) User-Zugriff gedacht. Es ist mein Fehler, dass ich dieses Verzeichnis in einem anderen Kontext (und in einem anderen Thread) erwähnt hatte (in der Zwischenzeit gibt es schon abenteuerliche Mutmassungen).

[DerReisende77]

@MenchenSued sagte in Allgemeine Fragen zu den Filmlisten/Crawlern:

@FrankyDoo
In den letzten Tagen habe ich auf oft die ungerade Liste bekommen, obwohl ich erst um 45 Minuten nach der geraden Stunde aktualisiert hatte. Manchmal musste ich zweimal direkt hintereinander aktualisieren, bekam beim ersten Mal die ungerade und dann die gerade Liste. Kann ich mir aber nicht erklären, da derzeit nur ein Server in der XML-Datei steht. Und an einigen Tagen kam wie schon erwähnt immer nur die ungerade Liste, kann also durchaus sein, dass sich der gerade Server verhakt.

Der einzelne Server ist ein Load balancer über die dahinter befindlichen Verteiler. Grundsätzlich sollte nicht direkt auf einen Verteiler zugegriffen werden.

[MenchenSued]

@DerReisende77 sagte in Allgemeine Fragen zu den Filmlisten/Crawlern:

Der einzelne Server ist ein Load balancer über die dahinter befindlichen Verteiler.

Irgenwo passt da etwas nicht. Eben um 19:00 Uhr bekam ich beim ersten manuellen Update die alte Liste von 17:15 Uhr, beim gleich darauf folgenden Versuch die Liste von 18:15 Uhr. Nach weiteren Versuchen bekam ich beim 5. und 6. Versuch wieder die Liste von 17:15 Uhr. Sollte @alex vielleicht mal nachsehen, warum die Server hinter dem Verteilserver nachdieseln?

[DerReisende77]

@MenchenSued hab ihm schon bescheid gesagt

[MenchenSued]

@DerReisende77 Merci.