ZDF-Crawler findet seit längerem Sendungen nur lückenhaft
-
Mindestens seit Ende November übersieht der ZDF-Crawler immer wieder Sendungen. Mal erscheinen Beiträge in den Filmlisten, dann wieder länger nicht. Dies macht es leider immer häufiger nötig, wiederholt nach einzelnen Sendungen zu suchen, bis diese schließlich bei MV oder MVW auftauchen.
Das erste Mal ist mir das bei dem Fernsehfilm “WACH” (damaliger Ausstrahlungstermin: 18/09/2018, 00:05h // Depublikation: 15/12/2018) aufgefallen. Der Film war meistens nicht in der Filmliste, was auch zu einer entsprechenden Meldung geführt hat. Ich habe ihn dann gegen Ende der Publikationsfrist wiederholbar in der letzten Filmliste jeden Tages erwischt und herunterladen können.
Aktuell lässt sich der Fehler gut bei den Serien “The Team II” und “Greyzone” reproduzieren.
Bei “The Team II” fehlt bei meinen Stichproben regelmäßig die 2. Episode (“The Team II (2)”). Vor einiger Zeit war es aber auch schon die 1. Folge.
Bei “Greyzone” war es im Dezember häufig der Fall, dass lediglich “Darum geht’s” in den Filmlisten erschien. Dann fehlte eine Zeit lang die 1. Episode, danach waren alle Episoden bis auf die letzten vier vorhanden. Aktuell fehlt die 10. Folge, was auch vor einigen Stunden zu einem entsprechenden Posting führte.
Daher meine Bitte und zwei Fragen:
-
Mir scheint es sinnvoll, die Ankündigung vom Oktober 2018 “Filmlistenprobleme behoben und aktuell kein ORF & ZDF Probleme” zu entfernen oder mindestens zu modifizieren. Die Aussage ist wenigstens in Teilen verwirrend und sachlich falsch. User, die das Forum ernsthaft nutzen - also erst lesen, dann posten - vermuten ansonsten den Fehler bei sich selbst.
-
Ist das Problem den Entwicklern schon bekannt und wird u.U. bereits daran gearbeitet? Ich habe per Suche keinen Hinweis darauf gefunden.
-
Gibt es ein Muster, um Filmlisten zu finden, die möglichst komplett sind? “The Team II” ist nach momentanem Stand nicht mehr lange online und mich kostet dieses trail-and-error-Spiel zu viel Zeit.
Mir ist klar, dass alternative Möglichkeiten des Downloads existieren. Es gibt andere Software, mit der sich die Dateien herunterladen lassen, und häufig auch in diesem Forum (etwa hier) hilfsbereite Menschen, die die fehlenden mp4-URLs posten. Ihnen sei gedankt - ebenso wie allen anderen, die sich hier konstruktiv einbringen.
Ich nutze in meinem seit über vier Jahren angehäuften Archiv allerdings sehr gern die Info-Dateien zu den Sendungen. Wenn ich also etwas anderes als MV verwende, muss ich die Info-txt jedes Mal händisch nachbauen, was recht zeitintensiv ist.
Vielleicht führt mein Beitrag ja zu einer Verbesserung des Crawlers. Mich würde das freuen!
–
(Nachtrag: Während ich den Text geschrieben habe, erschien eine neue Filmliste. In ihr ist nun die 2. Episode von “The Team II” dabei, es fehlt aber dafür jetzt der 3. Teil. Dummerweise habe ich diesen vorher nicht heruntergeladen…) -
-
@Benem sagte in ZDF-Crawler findet seit längerem Sendungen nur lückenhaft:
es fehlt aber dafür jetzt der 3. Teil.
Mich würde ja interessieren, welche Filmiiste Du davor hattest.
-
@DaDirnbocher sagte in ZDF-Crawler findet seit längerem Sendungen nur lückenhaft:
@Benem sagte in ZDF-Crawler findet seit längerem Sendungen nur lückenhaft:
es fehlt aber dafür jetzt der 3. Teil.
Mich würde ja interessieren, welche Filmiiste Du davor hattest.
Die Filmliste am Ende meines Postings war die von 23:15h. Das weiß ich genau. Da fehlte - ebenso wie jetzt gerade - die 3. Episode.
Die Liste, die in MVW zu Anfang meines Schreibens vorlag - und nach der Du fragst - muss dann ja, vorausgesetzt die Angaben hier stimmen noch, diejenige von ca 22:15h sein.
Vielen Dank Dir auch für den Link zu dem Posting, in dem letztlich erklärt wird, wie man sich die Video-URLS selbst erstellt. Für mich ist die Info allerdings unnötig.
Wie ich bereits zu Anfang deutlich geschrieben habe, kann ich mir da selbst helfen. Ich kenne und nutze das hier häufig erwähnte Programm JDownloader2 und das Add-on VideoDownloadHelper. Auch habe ich die Beiträge hier im Forum gelesen, in denen die Video-URLs dankenswerterweise genannt werden. Eines dieser Postings habe ich ja sogar verlinkt.
Mir geht es in meinem Beitrag generell um den Hinweis auf einen Fehler bei dem Crawler für das ZDF. Wenn der gefixt wäre, würden sich so manche Nachfragen nicht ergeben. Bis dahin scheint mir der Hinweis darauf, dass es mit dem ZDF keine Probleme gibt, als falsch. Und ganz persönlich geht es mir darum, die Bequemlichkeit zu haben, MV zu nutzen und die Info-Datei nicht selbst erstellen zu müssen.
-
Dieser Beitrag wurde gelöscht!
-
@DaDirnbocher sagte in ZDF-Crawler findet seit längerem Sendungen nur lückenhaft:
@Benem https://forum.mediathekview.de/topic/2128/zdf-erst-ab-11-uhr-vorhanden/3
Danke für den Link zum Thread.
Aber soweit ich die Diskussion darin verstehe, ist sie für die von mir angesprochene Problematik irrelevant. Es geht dort darum, dass neue Sendungen, konkret diejenigen des Vortages, erst mit einigen Stunden Verspätung in der Filmliste erscheinen.
In meinem Beitrag geht es hingegen um Sendungen, die seit Monaten in der ZDF-Mediathek stehen. In den MV-Filmlisten dagegen erscheinen sie manchmal und verschwinden dann aber auch wieder aus diesen, ohne dass ich ein Muster erkennen kann.
Zudem ist das in dem Thread erwähnte Ticket bereits seit 7 Tagen geschlossen. Ich schließe daraus, dass der von mir erwähnte Fehler nicht von dem sowieso inzwischen beseitigten Bug verursacht werden kann. Verwirrend ist allerdings, dass in dem Thread das Issue noch als “open” gekennzeichnet ist. Bei Github selbst ist es aber als “Closed” und “Fertig” gelabelt.
-
@Benem sagte in ZDF-Crawler findet seit längerem Sendungen nur lückenhaft:
@DaDirnbocher sagte in ZDF-Crawler findet seit längerem Sendungen nur lückenhaft:
@Benem https://forum.mediathekview.de/topic/2128/zdf-erst-ab-11-uhr-vorhanden/3
Danke für den Link zum Thread.
Aber soweit ich die Diskussion darin verstehe, ist sie für die von mir angesprochene Problematik irrelevant.
Vielleicht ist es so. Vielleicht nicht. Nachdem ich die Ursache Deines Fehlers nicht kenne, kann ich nicht sagen, ob es dieselbe Ursache ist.
Es geht dort darum, dass neue Sendungen, konkret diejenigen des Vortages, erst mit einigen Stunden Verspätung in der Filmliste erscheinen.
Nein. Es geht dort darum, dass der ZDF-Crawler (zunächst nicht nachvollziehbar) zu manchen Stunden mehr Sendungen fand als zu anderen Stunden, was genau zu solchen Beobachtungen …
In den MV-Filmlisten dagegen erscheinen sie manchmal und verschwinden dann aber auch wieder aus diesen, ohne dass ich ein Muster erkennen kann.
geführt hat.
Ursprünglich gabs sogar die Theorie, dass ZDF nur in ungeraden Listen enthalten wäre.
Zudem ist das in dem Thread erwähnte Ticket bereits seit 7 Tagen geschlossen. Ich schließe daraus, dass der von mir erwähnte Fehler nicht von dem sowieso inzwischen beseitigten Bug verursacht werden kann. Verwirrend ist allerdings, dass in dem Thread das Issue noch als “open” gekennzeichnet ist. Bei Github selbst ist es aber als “Closed” und “Fertig” gelabelt.
“Fertig” kann z.B: heißen, “der Programmcode ist fertig”, dass muss noch nicht heißen, dass er auch schon in Produktion übernommen wurde.
-
@Benem sagte: Bei “The Team II” fehlt bei meinen Stichproben regelmäßig die 2. Episode (“The Team II (2)”). […] Die Liste, die in MVW zu Anfang meines Schreibens vorlag - und nach der Du fragst - muss dann ja, vorausgesetzt die Angaben hier stimmen noch, diejenige von ca 22:15h sein. […] Während ich den Text geschrieben habe, erschien eine neue Filmliste. In ihr ist nun die 2. Episode von “The Team II” dabei, es fehlt aber dafür jetzt der 3. Teil.
Ich hab da gerade noch die Liste von gestern 20:30 Uhr geladen, da fehlte der Teil 3 von “The Team II” auch (schon), so auch in der archivierten Liste von gestern (14.1.2019), in jener vom 13.1. / 12.1. / 11.1. / 10.1. / 9.1.
Der Teil 2 (wie auch Teil 1 und 4) war in diesen Listen jedoch immer da…
Weiter zurück hab ich die Listen nicht angeschaut, da gem. GitHub-Ticket frühstens ab dem 9.1. die Änderungen am Crawler sich auf die Listen ausgewirkt haben dürften.
-
Vielen Dank für Deine Info! Ich verstehe sie so, dass der oben diskutierte Bugfix im Crawler inzwischen produktiv gegangen ist. Somit scheint es ein anderes Problem zu sein.
Ich bin mir aber sehr sicher, dass zu Beginn meines Eröffungspostings die 2. Episode fehlte. Und das auch schon die Tage zuvor. Allerdings ist vielleicht zu berücksichtigen, dass ich MV regelmäßig etwa alle zwei Tage und zwar nachts starte. Das sollte sich auf die Listengenerierung aber nicht auswirken, oder?
-
Hallo @Benem,
ich bin mir nicht sicher, ob die Änderungen an dem Crawler schon produktiv sind. Bisher konnte ich noch keine definitive Aussage dazu finden, sondern nur begründete Vermutungen. Ich halte es daher für möglich, dass dein Problem das gleiche ist, wie in den bereits genannten Threads ZDF Sendungen möglicherweise wieder nur in ungeraden Listen? und ZDF erst ab 11 Uhr vorhanden?. Eine abschließende Aussage kann vermutlich nur @pidoubleyou treffen.
… Filmliste. In ihr ist nun die 2. Episode von “The Team II” dabei, es fehlt aber dafür jetzt der 3. Teil. Dummerweise habe ich diesen vorher nicht heruntergeladen…
Für das Problem, dass eine schon mal gelistete Sendung in einer folgenden Liste nicht mehr vorhanden ist, gibt es den Workaround, die Filmliste manuell zu laden und dabei (jedes Mal) den Haken bei alte Liste nicht löschen, nur erweitern zu setzen.Gleichzeitig wird dadurch das Problem mit den fälschlich als neu angezeigten Einträgen nach einiger Zeit mehr und mehr abgeschwächt. Ich persönlich mache das seit längerem und hatte auch auf einem älteren Rechner mit (nur) 4GB noch keine Probleme damit. Dass dadurch auch Einträge in der Liste bleiben, deren Videos gar nicht mehr verfügbar sind, stört mich persönlich nicht, da ich fast immer den Haken “nur Neue” gesetzt habe.
herbivore
-
Ja, vielen Dank auch Dir für den Tipp.
Ich glaube, ich habe ihn schon mal von Dir woanders gelesen. Bisher schreckt mich noch ab, dass ich dann jedes Mal den Haken setzen muss. Noch ein Klick mehr, noch eine weitere Behinderung meines Workflows. Aber vielleicht werde ich damit doch anfangen müssen. Ich mag halt keine chronischen Workarounds…
Leicht OT: Vielen Dank mal hier für all Deine bisherigen Beiträge im Forum! Ich lese sie immer sehr gern und habe schon einiges gelernt. Vor allem bist Du einer der Wenigen hier, die nicht mit ihrem unfreundlichen Verhalten negativ auffallen, sondern vielmehr durch Deine Hilfsbereitschaft. Das Forum braucht mehr solcher User!
-
@styroll sagte in ZDF-Crawler findet seit längerem Sendungen nur lückenhaft:
Ich hab da gerade noch die Liste von gestern 20:30 Uhr geladen, da fehlte der Teil 3 von “The Team II” auch (schon), so auch in der archivierten Liste von gestern (14.1.2019), in jener vom 13.1. / 12.1. / 11.1. / 10.1. / 9.1.
Und in der vom 1.1. auch schon und wie ich in meiner Frage oben verlinkt habe, wurde die 3. Folge schon am 6.12. vermisst. Darum hätte mich ja interessiert, in welcher Liste die Folge gesehen wurde.
-
Aber das habe ich Dir doch schon versucht, oben zu beantworten. Als ich mit meinem ersten Posting fertig war, stand unten auf der Site von MVW (wo ich immer prüfe, ob ein MV-Start lohnt): “Filmliste zuletzt um 23:15 Uhr aktualisiert.”
Da ich an dem Text weniger als 60 Minuten geschrieben habe, muss die gesuchte Liste eigentlich diejenige davor gewesen sein, weil ich zu Beginn meines Schreibens meine Angaben überprüft habe. Bei stündlicher Aktualisierung durch die Crawler (s.o.), müsste es dann die Liste von etwa 22h gewesen sein. Allerdings beobachte ich diesen Vormittag das Aktualisierungsintervall von MVW und musste feststellen, dass um 12:03h immer noch folgendes angezeigt wurde: “Filmliste zuletzt um 09:16 Uhr aktualisiert.”
Insofern scheint die Filmliste dort nicht nicht stündlich aktualisiert zu werden.
Weiter eingrenzen kann ich die Angabe für Dich nicht. Es muss die letzte Aktualisierung vor 23h bei MVW gewesen sein.
Allerdings verstehe ich leider auch nicht den Hintergrund Deiner Frage. Unter https://archiv.mediathekview.de/ liegt pro Tag nur eine Filmliste. Da hilft eine Uhrzeit zum gestrigen Tag auch wenig.
Aber ich werde heute Nacht mal einige der alten Listen testen. Vielleicht finde ich ja eine komplette.
Danke für Deine Mühe hier!
-
@DaDirnbocher sagte: Und in der vom 1.1. auch schon und wie ich in meiner Frage oben verlinkt habe, wurde die 3. Folge schon am 6.12. vermisst.
Ich legte den Fokus auf die archivierten Listen der vergangenen Tage, in die potenziell die Änderungen am Crawler eingeflossen sind (das Ticket ist “closed” und es gibt keinen Pull Request). Dass der Teil 3 schon vorher fehlte, ist korrekt (hab ja selbst eine Lösung im besagten und von dir verlinkten Post geschildert).
Zudem wurde klar, dass der Teil 2 – zumindest in den von mir erwähnten Listen – nicht fehlte.Darum hätte mich ja interessiert, in welcher Liste die Folge gesehen wurde.
Da hast du natürlich recht. Ohne die Angabe des genauen Datums/Zeitpunkts der Filmlisten (und evtl. von wo geladen) kann man solche Probleme nicht reproduzieren. Da helfen Angaben wie “müsste” und “scheint” wenig…
-
@Benem sagte in ZDF-Crawler findet seit längerem Sendungen nur lückenhaft:
Allerdings verstehe ich leider auch nicht den Hintergrund Deiner Frage.
Im Grund wissen wir alle hier in dem Thread zu wenig. Wir wissen nicht, ob das ZDF-Problem für das es einen Bugfix gibt, auch Dein Problem ist. Wir wissen nicht, ob der Fix schon aktiv und falls ja, seit wann er aktiv ist.
Wir spekulieren alle. Jeder interpretiert Deine Beobachtungen auf seine eigene Art und Weise und gewichtet die einzelnen Aspekte aus Deinen Schilderungen für die eigene Bewertung. Und daraus zieht jeder seine Schlüsse, die dann teilweise auch unterschiedlich sind.
Jedes Detail, das konkreter ist, das fassbarer ist, hilft, den Anteil der Spekulation zu reduzieren und die potentielle Hilfe konkreter und treffsicherer werden zu lassen.
Und die Info in welcher Liste, Folge 3 (noch) drinnen war, würde unter Umständen eine Indikation ergeben, ob der Bugfix zum ZDF-Crawler a) schon aktiv ist b) ob er wirkt und c) eine Lösung für Dein Problem ist.
Also im Grunde eine ganz zentrale Information, Dir bei Deinem Problem weiterzuhelfen.
Aber wie @styroll zu Recht sagt …
Da helfen Angaben wie “müsste” und “scheint” wenig…
-
Besteht für einen User von MVW überhaupt eine Möglichkeit, Deine Fragen zu beantworten?
Mir ist nicht ersichtlich, woher der MVW-Server die Filmliste wann geladen hat. Ich sehe immer nur eine Angabe wie: “Filmliste zuletzt um 09:16 Uhr aktualisiert.” (so gerade aktuell). Unter Umständen hat der Server eine Liste geladen, die mehrere Tage alt ist - und dann vielleicht auch noch aus einer inoffiziellen Quelle. Der User sieht nur, wann sie aktualisiert wurde. Mehr nicht.
Die ganze Diskussion hier hat den Fokus verloren. Ich kann die fehlende Episode händisch herunterladen. Habe ich jetzt mehrfach geschrieben.
Mir ging es ursprünglich um drei Dinge:
Ich wollte lediglich auf einen Fehler aufmerksam machen und fragen, ob der schon bekannt und in Bearbeitung ist. Das war hilfreich gemeint. Eine Antwort kann momentan - falls überhaupt - wohl nur @pidoubleyou definitiv geben.
Dann wollte ich, dass der u.U. irreführende “Sticky Post” modifiziert wird, um User nicht zu verwirren. Ist mir inzwischen egal. Ich kann es einschätzen. Dachte halt nur an Neulinge, die sich eher auf so etwas verlassen.
Und dann hatte ich nach einem Muster gefragt, um das Problem zu umschiffen. Das haben wir ja jetzt auch umfassend geklärt. Es scheint kein Muster bekannt zu sein. Ich warte daher noch etwas ab und greife sonst zu anderen Mitteln.
Falls ich eine Filmliste mit allen Episoden finde, werde ich sie hier benennen.
-
@Benem sagte: Mir ist nicht ersichtlich, woher der MVW-Server die Filmliste wann geladen hat.
Mir auch nicht, aber für MV sehe ich das beim Starten des Programms in meinem Netzwerkfilter (auch wenn die Verteil-Server alle die gleiche Liste liefern sollten):
Filmliste laden von: verteiler2.mediathekview.de@Benem sagte: Ich sehe immer nur eine Angabe wie: “Filmliste zuletzt um 09:16 Uhr aktualisiert.” (so gerade aktuell). Unter Umständen hat der Server eine Liste geladen, die mehrere Tage alt ist.
Das würde aber null Sinn machen und wohl eher auf ein Problem hinweisen. Und. v.a. sieht man ja in der Filmliste sofort, wenn aktuelle Filme fehlen, da – aus welchen Gründen auch immer – eine nicht-aktuelle Filmliste geladen wurde.
Die “MVW-Filmliste” z.B. von 09:16 entspricht der MV-Filmliste von 09:15 Uhr, du hast da also immer eine (irrelevante) Minute Latenz. MVW muss selbst nämlich die Filmliste noch aufbereiten.@Benem sagte: Ich wollte lediglich auf einen Fehler aufmerksam machen und fragen, ob der schon bekannt und in Bearbeitung ist. Das war hilfreich gemeint.
Das hab ich auch nie anders verstanden…
@Benem sagte: Dann wollte ich, dass der u.U. irreführende “Sticky Post” modifiziert wird, um User nicht zu verwirren.
Da bin ich ganz bei dir. Es beginnt schon damit, dass man 3 Probleme in einen Thread packt…
Leider scheinen das die Admins und Mods nicht von sich aus zu merken und reagieren auch selten auf entsprechende Hinweise. Ich würde nicht mal die Überschrift verstehen, wenn ich die Probleme nicht 1:1 mitgekriegt hätte…Es heisst auch schon seit “ewig”:
[Offizeller Client] MediathekViewWeb, obwohl ich schon zu Beginn gemeldet hatte, dass in der Bezeichnung dieser Forenkategorie ein “i” fehlt…@Benem sagte: Und dann hatte ich nach einem Muster gefragt, um das Problem zu umschiffen. […] Es scheint kein Muster bekannt zu sein
Das stimmt ja wohl so nicht, du kannst dich bloss mit dem Vorschlag von @herbivore nicht anfreunden…
EDIT:
@Benem sagte weiter unten: am Ende wirst Du unfair oder sprachlich unpräzise.
Ziemlich bizarr, wenn du meinst, dass deine erste Aussage…
“Und dann hatte ich nach einem Muster gefragt, um das Problem zu umschiffen”
… mit deiner zweiten Aussage gleichzusetzen ist:
“Ich habe danach gefragt, ob ein Muster für das Auftreten des Fehlers bekannt ist”
-
Kann das mal bitte jemand von euch Admins ändern!?
Danke für den Hinweis!
Gruß
-
@styroll sagte in ZDF-Crawler findet seit längerem Sendungen nur lückenhaft:
@Benem sagte: Und dann hatte ich nach einem Muster gefragt, um das Problem zu umschiffen. […] Es scheint kein Muster bekannt zu sein
Das stimmt ja wohl so nicht, du kannst dich bloss mit dem Vorschlag von @herbivore nicht anfreunden…
Danke nochmals für Deine Antwort, aber am Ende wirst Du unfair oder sprachlich unpräzise.
Ich habe danach gefragt, ob ein Muster für das Auftreten des Fehlers bekannt ist. Mögliche Muster wären:
-
Jede zweite Filmliste hat solche Lücken,
-
der Fehler tritt immer in der letzten Liste des Tages auf,
-
etc.pp.
Ein Muster - also ein regelmäßig wiederkehrendes Strukturprinzip - wurde von niemandem identifiziert.
Was @herbivore getan hat, war eine Lösung zu präsentieren, die sicherlich effektiv ist, aber ein etwaiges Fehlermuster lediglich überdeckt. Es stimmt, dass man mit seinem Vorgehen das Problem lösen kann. Was allerdings überhaupt nicht stimmt, ist, dass man sich damit an das Muster anpasst. Das aber genau wollte ich, um so nicht das Problem zu lösen, sondern ihm aus dem Weg zu gehen (“umschiffen” in meinem Posting). Letztlich suchte ich eine Lösung, die nicht bloß effektiv (wirksam), sondern auch effizient (wirksam bei geringem Mitteleinsatz) ist.
Ich hatte gehofft, dass ein Muster bekannt ist, um die eine passende Liste zu finden - @herbivore hingegen hat vorgeschlagen, einfach alle Listen geladen zu behalten.
Ein Vergleich: Wenn Du eine löchrige Folie als Dach hast, kannst Du das eindringen von Regen sicherlich verhindern, indem Du viele weitere löchrige Folien übereinanderlegst. Das ist nur eine Frage der Menge. Ich hatte gehofft, dass es eine Lösung mit nur einer Folie gibt und danach gefragt, welche das wohl sein könnte.
So, das dreht sich hier alles nur noch um sich selbst… Ich steige in Kürze aus.
Wenn ich heute Nacht eine Liste ohne diesen Fehler finde, poste ich das hier.
-
-
@Benem: Auch wenn ich deinen Wunsch voll verstehen kann, sei zu meiner Ehrenrettung kurz gesagt, dass mein Vorschlag etwas besser ist, als er in deinem Bild erscheint, weil dadurch ein Loch, das einmal geschlossen wurde, nie mehr aufreißt. Die Folien werden also eher verschweißt, als nur übereinandergelegt. Aber klar, es bleibt ein Workaround.
