ZDF-Crawler findet seit längerem Sendungen nur lückenhaft
-
Dieser Beitrag wurde gelöscht!
-
@DaDirnbocher sagte in ZDF-Crawler findet seit längerem Sendungen nur lückenhaft:
@Benem https://forum.mediathekview.de/topic/2128/zdf-erst-ab-11-uhr-vorhanden/3
Danke für den Link zum Thread.
Aber soweit ich die Diskussion darin verstehe, ist sie für die von mir angesprochene Problematik irrelevant. Es geht dort darum, dass neue Sendungen, konkret diejenigen des Vortages, erst mit einigen Stunden Verspätung in der Filmliste erscheinen.
In meinem Beitrag geht es hingegen um Sendungen, die seit Monaten in der ZDF-Mediathek stehen. In den MV-Filmlisten dagegen erscheinen sie manchmal und verschwinden dann aber auch wieder aus diesen, ohne dass ich ein Muster erkennen kann.
Zudem ist das in dem Thread erwähnte Ticket bereits seit 7 Tagen geschlossen. Ich schließe daraus, dass der von mir erwähnte Fehler nicht von dem sowieso inzwischen beseitigten Bug verursacht werden kann. Verwirrend ist allerdings, dass in dem Thread das Issue noch als “open” gekennzeichnet ist. Bei Github selbst ist es aber als “Closed” und “Fertig” gelabelt.
-
@Benem sagte in ZDF-Crawler findet seit längerem Sendungen nur lückenhaft:
@DaDirnbocher sagte in ZDF-Crawler findet seit längerem Sendungen nur lückenhaft:
@Benem https://forum.mediathekview.de/topic/2128/zdf-erst-ab-11-uhr-vorhanden/3
Danke für den Link zum Thread.
Aber soweit ich die Diskussion darin verstehe, ist sie für die von mir angesprochene Problematik irrelevant.
Vielleicht ist es so. Vielleicht nicht. Nachdem ich die Ursache Deines Fehlers nicht kenne, kann ich nicht sagen, ob es dieselbe Ursache ist.
Es geht dort darum, dass neue Sendungen, konkret diejenigen des Vortages, erst mit einigen Stunden Verspätung in der Filmliste erscheinen.
Nein. Es geht dort darum, dass der ZDF-Crawler (zunächst nicht nachvollziehbar) zu manchen Stunden mehr Sendungen fand als zu anderen Stunden, was genau zu solchen Beobachtungen …
In den MV-Filmlisten dagegen erscheinen sie manchmal und verschwinden dann aber auch wieder aus diesen, ohne dass ich ein Muster erkennen kann.
geführt hat.
Ursprünglich gabs sogar die Theorie, dass ZDF nur in ungeraden Listen enthalten wäre.
Zudem ist das in dem Thread erwähnte Ticket bereits seit 7 Tagen geschlossen. Ich schließe daraus, dass der von mir erwähnte Fehler nicht von dem sowieso inzwischen beseitigten Bug verursacht werden kann. Verwirrend ist allerdings, dass in dem Thread das Issue noch als “open” gekennzeichnet ist. Bei Github selbst ist es aber als “Closed” und “Fertig” gelabelt.
“Fertig” kann z.B: heißen, “der Programmcode ist fertig”, dass muss noch nicht heißen, dass er auch schon in Produktion übernommen wurde.
-
@Benem sagte: Bei “The Team II” fehlt bei meinen Stichproben regelmäßig die 2. Episode (“The Team II (2)”). […] Die Liste, die in MVW zu Anfang meines Schreibens vorlag - und nach der Du fragst - muss dann ja, vorausgesetzt die Angaben hier stimmen noch, diejenige von ca 22:15h sein. […] Während ich den Text geschrieben habe, erschien eine neue Filmliste. In ihr ist nun die 2. Episode von “The Team II” dabei, es fehlt aber dafür jetzt der 3. Teil.
Ich hab da gerade noch die Liste von gestern 20:30 Uhr geladen, da fehlte der Teil 3 von “The Team II” auch (schon), so auch in der archivierten Liste von gestern (14.1.2019), in jener vom 13.1. / 12.1. / 11.1. / 10.1. / 9.1.
Der Teil 2 (wie auch Teil 1 und 4) war in diesen Listen jedoch immer da…
Weiter zurück hab ich die Listen nicht angeschaut, da gem. GitHub-Ticket frühstens ab dem 9.1. die Änderungen am Crawler sich auf die Listen ausgewirkt haben dürften.
-
Vielen Dank für Deine Info! Ich verstehe sie so, dass der oben diskutierte Bugfix im Crawler inzwischen produktiv gegangen ist. Somit scheint es ein anderes Problem zu sein.
Ich bin mir aber sehr sicher, dass zu Beginn meines Eröffungspostings die 2. Episode fehlte. Und das auch schon die Tage zuvor. Allerdings ist vielleicht zu berücksichtigen, dass ich MV regelmäßig etwa alle zwei Tage und zwar nachts starte. Das sollte sich auf die Listengenerierung aber nicht auswirken, oder?
-
Hallo @Benem,
ich bin mir nicht sicher, ob die Änderungen an dem Crawler schon produktiv sind. Bisher konnte ich noch keine definitive Aussage dazu finden, sondern nur begründete Vermutungen. Ich halte es daher für möglich, dass dein Problem das gleiche ist, wie in den bereits genannten Threads ZDF Sendungen möglicherweise wieder nur in ungeraden Listen? und ZDF erst ab 11 Uhr vorhanden?. Eine abschließende Aussage kann vermutlich nur @pidoubleyou treffen.
… Filmliste. In ihr ist nun die 2. Episode von “The Team II” dabei, es fehlt aber dafür jetzt der 3. Teil. Dummerweise habe ich diesen vorher nicht heruntergeladen…
Für das Problem, dass eine schon mal gelistete Sendung in einer folgenden Liste nicht mehr vorhanden ist, gibt es den Workaround, die Filmliste manuell zu laden und dabei (jedes Mal) den Haken bei alte Liste nicht löschen, nur erweitern zu setzen.Gleichzeitig wird dadurch das Problem mit den fälschlich als neu angezeigten Einträgen nach einiger Zeit mehr und mehr abgeschwächt. Ich persönlich mache das seit längerem und hatte auch auf einem älteren Rechner mit (nur) 4GB noch keine Probleme damit. Dass dadurch auch Einträge in der Liste bleiben, deren Videos gar nicht mehr verfügbar sind, stört mich persönlich nicht, da ich fast immer den Haken “nur Neue” gesetzt habe.
herbivore
-
Ja, vielen Dank auch Dir für den Tipp.
Ich glaube, ich habe ihn schon mal von Dir woanders gelesen. Bisher schreckt mich noch ab, dass ich dann jedes Mal den Haken setzen muss. Noch ein Klick mehr, noch eine weitere Behinderung meines Workflows. Aber vielleicht werde ich damit doch anfangen müssen. Ich mag halt keine chronischen Workarounds…
Leicht OT: Vielen Dank mal hier für all Deine bisherigen Beiträge im Forum! Ich lese sie immer sehr gern und habe schon einiges gelernt. Vor allem bist Du einer der Wenigen hier, die nicht mit ihrem unfreundlichen Verhalten negativ auffallen, sondern vielmehr durch Deine Hilfsbereitschaft. Das Forum braucht mehr solcher User!
-
@styroll sagte in ZDF-Crawler findet seit längerem Sendungen nur lückenhaft:
Ich hab da gerade noch die Liste von gestern 20:30 Uhr geladen, da fehlte der Teil 3 von “The Team II” auch (schon), so auch in der archivierten Liste von gestern (14.1.2019), in jener vom 13.1. / 12.1. / 11.1. / 10.1. / 9.1.
Und in der vom 1.1. auch schon und wie ich in meiner Frage oben verlinkt habe, wurde die 3. Folge schon am 6.12. vermisst. Darum hätte mich ja interessiert, in welcher Liste die Folge gesehen wurde.
-
Aber das habe ich Dir doch schon versucht, oben zu beantworten. Als ich mit meinem ersten Posting fertig war, stand unten auf der Site von MVW (wo ich immer prüfe, ob ein MV-Start lohnt): “Filmliste zuletzt um 23:15 Uhr aktualisiert.”
Da ich an dem Text weniger als 60 Minuten geschrieben habe, muss die gesuchte Liste eigentlich diejenige davor gewesen sein, weil ich zu Beginn meines Schreibens meine Angaben überprüft habe. Bei stündlicher Aktualisierung durch die Crawler (s.o.), müsste es dann die Liste von etwa 22h gewesen sein. Allerdings beobachte ich diesen Vormittag das Aktualisierungsintervall von MVW und musste feststellen, dass um 12:03h immer noch folgendes angezeigt wurde: “Filmliste zuletzt um 09:16 Uhr aktualisiert.”
Insofern scheint die Filmliste dort nicht nicht stündlich aktualisiert zu werden.
Weiter eingrenzen kann ich die Angabe für Dich nicht. Es muss die letzte Aktualisierung vor 23h bei MVW gewesen sein.
Allerdings verstehe ich leider auch nicht den Hintergrund Deiner Frage. Unter https://archiv.mediathekview.de/ liegt pro Tag nur eine Filmliste. Da hilft eine Uhrzeit zum gestrigen Tag auch wenig.
Aber ich werde heute Nacht mal einige der alten Listen testen. Vielleicht finde ich ja eine komplette.
Danke für Deine Mühe hier!
-
@DaDirnbocher sagte: Und in der vom 1.1. auch schon und wie ich in meiner Frage oben verlinkt habe, wurde die 3. Folge schon am 6.12. vermisst.
Ich legte den Fokus auf die archivierten Listen der vergangenen Tage, in die potenziell die Änderungen am Crawler eingeflossen sind (das Ticket ist “closed” und es gibt keinen Pull Request). Dass der Teil 3 schon vorher fehlte, ist korrekt (hab ja selbst eine Lösung im besagten und von dir verlinkten Post geschildert).
Zudem wurde klar, dass der Teil 2 – zumindest in den von mir erwähnten Listen – nicht fehlte.Darum hätte mich ja interessiert, in welcher Liste die Folge gesehen wurde.
Da hast du natürlich recht. Ohne die Angabe des genauen Datums/Zeitpunkts der Filmlisten (und evtl. von wo geladen) kann man solche Probleme nicht reproduzieren. Da helfen Angaben wie “müsste” und “scheint” wenig…
-
@Benem sagte in ZDF-Crawler findet seit längerem Sendungen nur lückenhaft:
Allerdings verstehe ich leider auch nicht den Hintergrund Deiner Frage.
Im Grund wissen wir alle hier in dem Thread zu wenig. Wir wissen nicht, ob das ZDF-Problem für das es einen Bugfix gibt, auch Dein Problem ist. Wir wissen nicht, ob der Fix schon aktiv und falls ja, seit wann er aktiv ist.
Wir spekulieren alle. Jeder interpretiert Deine Beobachtungen auf seine eigene Art und Weise und gewichtet die einzelnen Aspekte aus Deinen Schilderungen für die eigene Bewertung. Und daraus zieht jeder seine Schlüsse, die dann teilweise auch unterschiedlich sind.
Jedes Detail, das konkreter ist, das fassbarer ist, hilft, den Anteil der Spekulation zu reduzieren und die potentielle Hilfe konkreter und treffsicherer werden zu lassen.
Und die Info in welcher Liste, Folge 3 (noch) drinnen war, würde unter Umständen eine Indikation ergeben, ob der Bugfix zum ZDF-Crawler a) schon aktiv ist b) ob er wirkt und c) eine Lösung für Dein Problem ist.
Also im Grunde eine ganz zentrale Information, Dir bei Deinem Problem weiterzuhelfen.
Aber wie @styroll zu Recht sagt …
Da helfen Angaben wie “müsste” und “scheint” wenig…
-
Besteht für einen User von MVW überhaupt eine Möglichkeit, Deine Fragen zu beantworten?
Mir ist nicht ersichtlich, woher der MVW-Server die Filmliste wann geladen hat. Ich sehe immer nur eine Angabe wie: “Filmliste zuletzt um 09:16 Uhr aktualisiert.” (so gerade aktuell). Unter Umständen hat der Server eine Liste geladen, die mehrere Tage alt ist - und dann vielleicht auch noch aus einer inoffiziellen Quelle. Der User sieht nur, wann sie aktualisiert wurde. Mehr nicht.
Die ganze Diskussion hier hat den Fokus verloren. Ich kann die fehlende Episode händisch herunterladen. Habe ich jetzt mehrfach geschrieben.
Mir ging es ursprünglich um drei Dinge:
Ich wollte lediglich auf einen Fehler aufmerksam machen und fragen, ob der schon bekannt und in Bearbeitung ist. Das war hilfreich gemeint. Eine Antwort kann momentan - falls überhaupt - wohl nur @pidoubleyou definitiv geben.
Dann wollte ich, dass der u.U. irreführende “Sticky Post” modifiziert wird, um User nicht zu verwirren. Ist mir inzwischen egal. Ich kann es einschätzen. Dachte halt nur an Neulinge, die sich eher auf so etwas verlassen.
Und dann hatte ich nach einem Muster gefragt, um das Problem zu umschiffen. Das haben wir ja jetzt auch umfassend geklärt. Es scheint kein Muster bekannt zu sein. Ich warte daher noch etwas ab und greife sonst zu anderen Mitteln.
Falls ich eine Filmliste mit allen Episoden finde, werde ich sie hier benennen.
-
@Benem sagte: Mir ist nicht ersichtlich, woher der MVW-Server die Filmliste wann geladen hat.
Mir auch nicht, aber für MV sehe ich das beim Starten des Programms in meinem Netzwerkfilter (auch wenn die Verteil-Server alle die gleiche Liste liefern sollten):
Filmliste laden von: verteiler2.mediathekview.de@Benem sagte: Ich sehe immer nur eine Angabe wie: “Filmliste zuletzt um 09:16 Uhr aktualisiert.” (so gerade aktuell). Unter Umständen hat der Server eine Liste geladen, die mehrere Tage alt ist.
Das würde aber null Sinn machen und wohl eher auf ein Problem hinweisen. Und. v.a. sieht man ja in der Filmliste sofort, wenn aktuelle Filme fehlen, da – aus welchen Gründen auch immer – eine nicht-aktuelle Filmliste geladen wurde.
Die “MVW-Filmliste” z.B. von 09:16 entspricht der MV-Filmliste von 09:15 Uhr, du hast da also immer eine (irrelevante) Minute Latenz. MVW muss selbst nämlich die Filmliste noch aufbereiten.@Benem sagte: Ich wollte lediglich auf einen Fehler aufmerksam machen und fragen, ob der schon bekannt und in Bearbeitung ist. Das war hilfreich gemeint.
Das hab ich auch nie anders verstanden…
@Benem sagte: Dann wollte ich, dass der u.U. irreführende “Sticky Post” modifiziert wird, um User nicht zu verwirren.
Da bin ich ganz bei dir. Es beginnt schon damit, dass man 3 Probleme in einen Thread packt…
Leider scheinen das die Admins und Mods nicht von sich aus zu merken und reagieren auch selten auf entsprechende Hinweise. Ich würde nicht mal die Überschrift verstehen, wenn ich die Probleme nicht 1:1 mitgekriegt hätte…Es heisst auch schon seit “ewig”:
[Offizeller Client] MediathekViewWeb, obwohl ich schon zu Beginn gemeldet hatte, dass in der Bezeichnung dieser Forenkategorie ein “i” fehlt…@Benem sagte: Und dann hatte ich nach einem Muster gefragt, um das Problem zu umschiffen. […] Es scheint kein Muster bekannt zu sein
Das stimmt ja wohl so nicht, du kannst dich bloss mit dem Vorschlag von @herbivore nicht anfreunden…
EDIT:
@Benem sagte weiter unten: am Ende wirst Du unfair oder sprachlich unpräzise.
Ziemlich bizarr, wenn du meinst, dass deine erste Aussage…
“Und dann hatte ich nach einem Muster gefragt, um das Problem zu umschiffen”
… mit deiner zweiten Aussage gleichzusetzen ist:
“Ich habe danach gefragt, ob ein Muster für das Auftreten des Fehlers bekannt ist”
-
Kann das mal bitte jemand von euch Admins ändern!?
Danke für den Hinweis!
Gruß
-
@styroll sagte in ZDF-Crawler findet seit längerem Sendungen nur lückenhaft:
@Benem sagte: Und dann hatte ich nach einem Muster gefragt, um das Problem zu umschiffen. […] Es scheint kein Muster bekannt zu sein
Das stimmt ja wohl so nicht, du kannst dich bloss mit dem Vorschlag von @herbivore nicht anfreunden…
Danke nochmals für Deine Antwort, aber am Ende wirst Du unfair oder sprachlich unpräzise.
Ich habe danach gefragt, ob ein Muster für das Auftreten des Fehlers bekannt ist. Mögliche Muster wären:
-
Jede zweite Filmliste hat solche Lücken,
-
der Fehler tritt immer in der letzten Liste des Tages auf,
-
etc.pp.
Ein Muster - also ein regelmäßig wiederkehrendes Strukturprinzip - wurde von niemandem identifiziert.
Was @herbivore getan hat, war eine Lösung zu präsentieren, die sicherlich effektiv ist, aber ein etwaiges Fehlermuster lediglich überdeckt. Es stimmt, dass man mit seinem Vorgehen das Problem lösen kann. Was allerdings überhaupt nicht stimmt, ist, dass man sich damit an das Muster anpasst. Das aber genau wollte ich, um so nicht das Problem zu lösen, sondern ihm aus dem Weg zu gehen (“umschiffen” in meinem Posting). Letztlich suchte ich eine Lösung, die nicht bloß effektiv (wirksam), sondern auch effizient (wirksam bei geringem Mitteleinsatz) ist.
Ich hatte gehofft, dass ein Muster bekannt ist, um die eine passende Liste zu finden - @herbivore hingegen hat vorgeschlagen, einfach alle Listen geladen zu behalten.
Ein Vergleich: Wenn Du eine löchrige Folie als Dach hast, kannst Du das eindringen von Regen sicherlich verhindern, indem Du viele weitere löchrige Folien übereinanderlegst. Das ist nur eine Frage der Menge. Ich hatte gehofft, dass es eine Lösung mit nur einer Folie gibt und danach gefragt, welche das wohl sein könnte.
So, das dreht sich hier alles nur noch um sich selbst… Ich steige in Kürze aus.
Wenn ich heute Nacht eine Liste ohne diesen Fehler finde, poste ich das hier.
-
-
@Benem: Auch wenn ich deinen Wunsch voll verstehen kann, sei zu meiner Ehrenrettung kurz gesagt, dass mein Vorschlag etwas besser ist, als er in deinem Bild erscheint, weil dadurch ein Loch, das einmal geschlossen wurde, nie mehr aufreißt. Die Folien werden also eher verschweißt, als nur übereinandergelegt. Aber klar, es bleibt ein Workaround.
-
@herbivore
Ich fürchte - ohne es tatsächlich ausprobiert zu haben -, dass die Folien doch irgendwann aufreißen werden: Wenn jeden Tag neue Schichten auf das Dach geschweißt werden, bricht das Haus irgendwann unter der Last zusammen - sprich: die angesammelten Listen werden zu viel Speicher verbrauchen. Dann muss - so wieder nur eine Annahme meinerseits - von Zeit zu Zeit “tabula rasa” gemacht werden, also wieder nur mit einer Liste/Folie angefangen werden.Wie ich oben bereits deutlich geschrieben habe, ziehe ich das ja auch in Betracht. Nur schöner als effektive Lösungen, finde ich halt die effizienten.
-
Hallo @Benem,
ich glaube du überschätzt das Problem. Dadurch, dass ich den Workaround (täglich) anwende, sehe ich, welches Datum die neuen Einträge vom ZDF haben. Abgesehen von Wiederholungen, die beim ZDF oft mit dem Erstausstrahlungsdatum versehen sind, das dann entsprechend lange zurückliegt, sind fast alle Einträge von jeweils heute oder gestern und eher selten von vorgestern oder gar noch davor. Die Lücken werden also nach meiner Beobachtung sehr schnell und wohl auch vollständig geschlossen. Ich hoffe das hilft dir weiter!
herbivore
PS: Was @MenchenSued im folgenden Beitrag schreibt, deckt sich mit meinen Beobachtungen zur Gesamtsituation und bestätigt diese. Nur dass ich die Einträge, die schon einmal da waren, gar nicht wieder (fälschlich) als neu angezeigt bekommen.
-
Beim ZDF hat sich einiges beruhigt. Habe ich noch vor Wochen jeden Tag mehrere 100 Sendungen als NEU angezeigt bekommen, ist es jetzt nur noch eine Handvoll. Vermisst habe ich bisher aber nichts. Heute ist mir aufgefallen, dass zwischen gestern und heute ca. 10.000 Sendungen weniger in der Liste stehen, vermutlich ist ein Sender gerade gewaltig am Ausmisten doppelter Einträge.
-
@herbivore sagte in ZDF-Crawler findet seit längerem Sendungen nur lückenhaft:
Für das Problem, dass eine schon mal gelistete Sendung in einer folgenden Liste nicht mehr vorhanden ist, gibt es den Workaround, die Filmliste manuell zu laden und dabei (jedes Mal) den Haken bei alte Liste nicht löschen, nur erweitern zu setzen.
Was mich ja interessieren würde: ist das ein allgemeiner Hinweis für einen Workaround für das “Problem, dass eine schon mal gelistete Sendung in einer folgenden Liste nicht mehr vorhanden ist,”, oder würde der Workaround im konkreten Beispiel von der 3. Episode vom The Team II auch helfen?
Oder konkreter: kannst Du aus Deiner erweiterten Filmliste diese Episode runterladen?
