Filmliste aktualisiert nicht

[Collector]

Bei mir ist es auch so, dass immer nur die Liste vom 10.03. 6:15 geladen wird.
Gestern Abend ging es noch, da konnte ich noch eine aktuelle Liste laden.

[mvsfsvm]

@DerReisende77 sagte in Filmliste aktualisiert nicht:

@mvsfsvm sagte in Filmliste aktualisiert nicht:

Die veraltete Liste vom 10.03. 6:15 bekommt man immer dann, wenn man beim Laden der Liste auf verteiler.mediathekviewweb.de landet.

Das ist falsch. Ich habe vorhin von allen verteilern die alte liste bekommen. Und in dem von @herbivore genannten Zeitfenster hat der mediathekviewweb verteiler auch die aktuelle liste geliefert.

Ja da hab ich auch gerade die veraltete Liste bekommen. Gestern Abend war das noch anders. Da bekam ich nur von verteiler.mediathekviewweb.de die alte Liste und das bei jedem Ladeversuch.

Aktuell gibts auch wieder einmal leere Differenzlisten. Warum meckert MV bei denen, dass es die Liste nicht laden kann?

[DerReisende77]

@mvsfsvm das mvw Problem gestern war ein anderes und sollte nach Arbeit von @bagbag nun dauerhaft behoben sein.
Zu den diff listen: gibt es irgendwo eine exception?

[Collector]

ist hier was kaputt?

https://verteiler.mediathekviewweb.de/archiv/2019/03/

Index of /archiv/2019/03/

…/
2019-03-01-filme.xz 12-Mar-2019 18:28 26895080
2019-03-02-filme.xz 12-Mar-2019 18:28 26909884
2019-03-03-filme.xz 12-Mar-2019 18:28 26964084
2019-03-04-filme.xz 12-Mar-2019 18:28 27117104
2019-03-05-filme.xz 12-Mar-2019 18:28 26964260
2019-03-06-filme.xz 12-Mar-2019 18:28 27140776
2019-03-07-filme.xz 12-Mar-2019 18:28 26952796
2019-03-08-filme.xz 12-Mar-2019 18:28 27127816
2019-03-09-filme.xz 12-Mar-2019 18:28 26961548
2019-03-10-filme.xz 12-Mar-2019 18:28 27159836

Wo sind die Dateien vom 11.03 und 12.03 ?

[DerReisende77]

@Collector du hast dir schon die Zeit genommen ein paar Zeilen oben zuesen oder?
Dann hättest du gesehen daß es offensichtlich gerade Probleme mit den Listen gibt. Und das wird sich dann wohl auch auf das Archiv auswirken…

[Kobold57]

@herbivore sagte in Filmliste aktualisiert nicht:

@Alibaba, @Manfred-Gräbig: Eure Diskrepanz erklärt sich daraus, dass es mit den Listen zu ungeraden Stunden klappt und den Listen zu geraden Stunden nicht. Man muss also aktuell auf den passenden Zeitpunkt achten: von ca. 30-45 Minuten nach der vollen ungeraden Stunde an bis ca. 30 Minuten nach der vollen geraden Stunde.

@alex: Auch in diesem Fall würden die Kopfschmerztabletten Linderung bringen, weil man dann unabhängig vom Zeitpunkt die passende Liste laden könnte

Tatsächlich, mit dem Tipp klappt das tatsächlich. Herzlichzen Dank fürs Ausprobieren.

Ist eigentlich schon bekannt, was da sowaohl bei MV, aber auch bei MVW schiefläuft? Bei MVW ist der Fehler ja nicht mal mit solch einem Trick zu überbrücken. Und ist denn mit einer Abhilfe zu rechnen?

[mvsfsvm]

@DerReisende77 sagte in Filmliste aktualisiert nicht:

Zu den diff listen: gibt es irgendwo eine exception?

Hmm, weiß nicht. Im Log finde ich jedenfalls nichts. Jedenfalls hat hier MV 13.2.1 bei leeren Diff-Listen (enthalten nur die Felddefinitionen) schon immer gemeckert, dass sie nicht geladen werden können, selbst wenn die von der lokalen Platte geladen wurden.

Es folg der relevante Abschnitt vom Laden der leeren Liste aus dem Protokoll:

[INFO ] 2019-03-12 19:56:59.848 [FilmeImportierenDateiThread] mediathek.filmlisten.ImportFilmliste - Filmliste laden von: D:\Downloads\MediathekView\Filmlisten\Filmliste-diff (5).xz
[INFO ] 2019-03-12 19:56:59.848 [FilmeImportierenDateiThread] mSearch.filmlisten.reader.FilmListReader - Liste Filme lesen von: D:\Downloads\MediathekView\Filmlisten\Filmliste-diff (5).xz
[INFO ] 2019-03-12 19:56:59.861 [FilmeImportierenDateiThread] mSearch.daten.DatenFilm - Creating SQL indices
[INFO ] 2019-03-12 19:56:59.862 [FilmeImportierenDateiThread] mSearch.daten.DatenFilm - Finished creating SQL indices
[INFO ] 2019-03-12 19:56:59.862 [FilmeImportierenDateiThread] mSearch.filmlisten.reader.FilmListReader - Liste Filme gelesen am: 12.03.2019, 19:56
[INFO ] 2019-03-12 19:56:59.862 [FilmeImportierenDateiThread] mSearch.filmlisten.reader.FilmListReader -   erstellt am: 
[INFO ] 2019-03-12 19:56:59.862 [FilmeImportierenDateiThread] mSearch.filmlisten.reader.FilmListReader -   Anzahl Filme: 0
[INFO ] 2019-03-12 19:56:59.862 [FilmeImportierenDateiThread] mediathek.filmlisten.FilmeLaden - 
[INFO ] 2019-03-12 19:56:59.862 [FilmeImportierenDateiThread] mediathek.filmlisten.FilmeLaden - Liste Kompl. gelesen am: 12.03.2019, 19:56
[INFO ] 2019-03-12 19:56:59.862 [FilmeImportierenDateiThread] mediathek.filmlisten.FilmeLaden -   Liste Kompl erstellt am: 
[INFO ] 2019-03-12 19:56:59.863 [FilmeImportierenDateiThread] mediathek.filmlisten.FilmeLaden -   Anzahl Filme: 662589
[INFO ] 2019-03-12 19:56:59.922 [FilmeImportierenDateiThread] mediathek.filmlisten.FilmeLaden - 
[INFO ] 2019-03-12 19:56:59.923 [FilmeImportierenDateiThread] mediathek.filmlisten.FilmeLaden - Filmliste laden war fehlerhaft, alte Liste wird wieder geladen
[INFO ] 2019-03-12 19:56:59.925 [FilmeImportierenDateiThread] mSearch.filmlisten.reader.FilmListReader - Liste Filme lesen von: C:\Users\Thomas\.mediathek3\filme.json

Ach ja die Meldung lautete genau: Das Laden der Filmliste hat nicht geklappt. Die Meldungen im Protokoll sehen mir nicht danach aus, als ob das Laden der Liste nicht geklappt hat. MV hat da schon erkannt, dass in der Liste 0 Filme stehen.

[Kobold57]

@Kobold57 sagte in Filmliste aktualisiert nicht:

@herbivore sagte in Filmliste aktualisiert nicht:

@Alibaba, @Manfred-Gräbig: Eure Diskrepanz erklärt sich daraus, dass es mit den Listen zu ungeraden Stunden klappt und den Listen zu geraden Stunden nicht. Man muss also aktuell auf den passenden Zeitpunkt achten: von ca. 30-45 Minuten nach der vollen ungeraden Stunde an bis ca. 30 Minuten nach der vollen geraden Stunde.

Tatsächlich, mit dem Tipp klappt das tatsächlich. Herzlichzen Dank fürs Ausprobieren.

Offenbar nicht ganz…:

Ich versuche es später nochmal, denn getsern Abend gab es aktuelle Listen um 21:30 Uhr und um 23:15 Uhr.

[jkrieger]

@Kobold57
Heute hat Verteiler auch eine Liste von 21.38, interessanterweise mit einem Datum von 20.57. Fragt sich, woher er dann immer die uralte Liste holt…

Mit Uhrzeit 21.36 ist jetzt wieder der alte Schrott drin, jedenfalls eine Datei der selben Länge.

[Kobold57]

@jkrieger
Die Liste von 21:38 Uhr habe ich dann ca. 22:15 Uhr auch laden können. Da scheint es irgendwo ganz gewaltig zu haken. Und wenn ich bei MVW schaue, hat sich dort seit Sonntag morgens um 06:16 Uhr nichts verändert. Dort sind auch keine Filme vorhanden, die ich mittlerweile über eine jeweils aktuelle Liste bei MV anschauen/runterladen konnte.

[cuantro]

Hat heue abend hat es mal kurzzeitig geklappt. Jetzt leider wieder nicht mehr. Kann man eigentlich den Einstellungen den Server auswählen?

[mddawson]

Ich habe gerade die 12.03.2019 23:15 Filmliste heruntergeladen. Beachten Sie, dass die Zeit auf dem Bild für Australien steht.

[Angelina]

Bei mir gings grad; interessanter fand ich bei mir die Daten
23:15 Uhr kommt hin (hab den Nockherberg geladen), aber das Alter…

[herbivore]

@all: Die erste gerade Liste heute morgen war aktuell, laut Dateidatum und vor allem auch laut Header: “13.03.2019, 06:16”. Das spricht dafür, dass das Problem gelöst ist.

[Kobold57]

@Angelina sagte in Filmliste aktualisiert nicht:

Bei mir gings grad; interessanter fand ich bei mir die Daten
23:15 Uhr kommt hin (hab den Nockherberg geladen), aber das Alter…

Moin.

Das “Alter” dürfte für die Zeit stehen, die seit deiner letzten Aktualisierung der Filmliste verstrichen ist. Kommt wahrscheinlich aus dem Englischen und hat was mit “alternate” oder so zu tun.

Jetzt hoffe ich nur noch, dass @bagbag auch das Webangebot MediathekViewWeb wieder hinbekommt, um dass es ja ursprünglich in meinem Eröffnungspost ging. Das ist nämlich seit dem 10.03.2019 um 06:16 Uhr immer noch unverändert.

[DerReisende77]

So damit das Philosophieren über das Alter und die Verfügbarkeit der Filmlisten aufhört folgendes Update:

Wir hatten die Tage als das Problem offenbar wurde ungebetenen Besuch aus China. Ein Großteil des “Angriffes” lief über den load balancer der diese auch grösstenteils bravourös abgeblockt hat.
Leider sieht es gerade so aus als ob die crawler und Verteiler dadurch etwas durcheinander gekommen sind.
Alex und bagbag arbeiten mit Hochdruck daran das System wieder zu stabilisieren. Bis dahin kann es noch zu Fehlern mit den Listen kommen.
Und sollte jemand Pornos in den Filmlisten entdecken darf er die behalten bzw. Bescheid geben damit wir die auch laden können
Sobald die Integrität der Systeme vollständig wiederhergestellt ist wird auch bagbag wieder aktuelle filmlisten bei sich anbieten.

Und falls jemand nun Angst bekommt: nein, es ist nicht möglich über die Filmliste Schadcode zu transportieren. MV client liest und konvertiert die Angaben darin und führt keine Befehle aus der Liste aus.

Das einzige offene Problem ist derzeit die asynchronität der Listen. Daran wird gearbeitet.

[Eva]

@DerReisende77
Vielen Dank für die Info!

@Alex und @bagbag
1000 Dank für Eure engagierte Arbeit und viel Erfolg!

[Kobold57]

@Eva sagte in Filmliste aktualisiert nicht:

@DerReisende77
Vielen Dank für die Info!

@Alex und @bagbag
1000 Dank für Eure engagierte Arbeit und viel Erfolg!

Dem Dank kann ich mich nur vorbehaltlos anschließen. Herzlichen Dank fürs Engagement!

[herbivore]

@alex: Leider scheinen die Angriffe bzw. daraus resultierenden Probleme noch nicht zu Ende bzw. wieder aufgeflammt zu sein. Die letzte Liste ist von gestern 23:xx. Es gab keine Liste von heute 5:xx und auch keine von 6:xx. Insofern scheinen im Moment leider beide Crawler betroffen zu sein.

Edit: Die Liste von 7:xx ist jetzt vorhanden.

[Kobold57]

@herbivore sagte in Filmliste aktualisiert nicht:

@alex: Leider scheinen die Angriffe bzw. daraus resultierenden Probleme noch nicht zu Ende bzw. wieder aufgeflammt zu sein. Die letzte Liste ist von gestern 23:xx. Es gab keine Liste von heute 5:xx und auch keine von 6:xx. Insofern scheinen im Moment leider beide Crawler betroffen zu sein.

Edit: Die Liste von 7:xx ist jetzt vorhanden.

Bei MV hatte ich heute keine Probleme bis jetzt. Bei MVW gab es heute aktuelle Listen von 09:16, 12:16 und 15:16 Uhr. Seither ist bis jetzt keine Aktualisierung erfolgt, allerdings vermisse ich auch keine der Sendungen, die heute ausgestrahlt wurden und in den Mediatheken der Sender verfügbar sind.
Vielleicht hat @bagbag die Aktualisierungen jetzt auch anders eingestellt und sie erfolgen unregelmäßig, wenn es auch was zu aktualisieren gibt. Oder die “Reparaturarbeiten” sind noch nicht komplett abgeschlossen?

Ich warte geduldig. Ich bin ja noch jung, ich habe Zeit!

Edit: Nachdem MVW eben vorübergehend nicht zu erreichen war, ist dort jetzt die Filmliste von 20:49 Uhr eingestellt - eine völlig atypische Zeit. Dafür klappt jetzt das Laden der Filmliste bei MV nicht. Daraus schließe ich, dass noch am Problem gearbeitet wird.