ZDF-Crawler findet seit längerem Sendungen nur lückenhaft
-
Hallo @Benem,
ich bin mir nicht sicher, ob die Änderungen an dem Crawler schon produktiv sind. Bisher konnte ich noch keine definitive Aussage dazu finden, sondern nur begründete Vermutungen. Ich halte es daher für möglich, dass dein Problem das gleiche ist, wie in den bereits genannten Threads ZDF Sendungen möglicherweise wieder nur in ungeraden Listen? und ZDF erst ab 11 Uhr vorhanden?. Eine abschließende Aussage kann vermutlich nur @pidoubleyou treffen.
… Filmliste. In ihr ist nun die 2. Episode von “The Team II” dabei, es fehlt aber dafür jetzt der 3. Teil. Dummerweise habe ich diesen vorher nicht heruntergeladen…
Für das Problem, dass eine schon mal gelistete Sendung in einer folgenden Liste nicht mehr vorhanden ist, gibt es den Workaround, die Filmliste manuell zu laden und dabei (jedes Mal) den Haken bei alte Liste nicht löschen, nur erweitern zu setzen.Gleichzeitig wird dadurch das Problem mit den fälschlich als neu angezeigten Einträgen nach einiger Zeit mehr und mehr abgeschwächt. Ich persönlich mache das seit längerem und hatte auch auf einem älteren Rechner mit (nur) 4GB noch keine Probleme damit. Dass dadurch auch Einträge in der Liste bleiben, deren Videos gar nicht mehr verfügbar sind, stört mich persönlich nicht, da ich fast immer den Haken “nur Neue” gesetzt habe.
herbivore
-
Ja, vielen Dank auch Dir für den Tipp.
Ich glaube, ich habe ihn schon mal von Dir woanders gelesen. Bisher schreckt mich noch ab, dass ich dann jedes Mal den Haken setzen muss. Noch ein Klick mehr, noch eine weitere Behinderung meines Workflows. Aber vielleicht werde ich damit doch anfangen müssen. Ich mag halt keine chronischen Workarounds…
Leicht OT: Vielen Dank mal hier für all Deine bisherigen Beiträge im Forum! Ich lese sie immer sehr gern und habe schon einiges gelernt. Vor allem bist Du einer der Wenigen hier, die nicht mit ihrem unfreundlichen Verhalten negativ auffallen, sondern vielmehr durch Deine Hilfsbereitschaft. Das Forum braucht mehr solcher User!
-
@styroll sagte in ZDF-Crawler findet seit längerem Sendungen nur lückenhaft:
Ich hab da gerade noch die Liste von gestern 20:30 Uhr geladen, da fehlte der Teil 3 von “The Team II” auch (schon), so auch in der archivierten Liste von gestern (14.1.2019), in jener vom 13.1. / 12.1. / 11.1. / 10.1. / 9.1.
Und in der vom 1.1. auch schon und wie ich in meiner Frage oben verlinkt habe, wurde die 3. Folge schon am 6.12. vermisst. Darum hätte mich ja interessiert, in welcher Liste die Folge gesehen wurde.
-
Aber das habe ich Dir doch schon versucht, oben zu beantworten. Als ich mit meinem ersten Posting fertig war, stand unten auf der Site von MVW (wo ich immer prüfe, ob ein MV-Start lohnt): “Filmliste zuletzt um 23:15 Uhr aktualisiert.”
Da ich an dem Text weniger als 60 Minuten geschrieben habe, muss die gesuchte Liste eigentlich diejenige davor gewesen sein, weil ich zu Beginn meines Schreibens meine Angaben überprüft habe. Bei stündlicher Aktualisierung durch die Crawler (s.o.), müsste es dann die Liste von etwa 22h gewesen sein. Allerdings beobachte ich diesen Vormittag das Aktualisierungsintervall von MVW und musste feststellen, dass um 12:03h immer noch folgendes angezeigt wurde: “Filmliste zuletzt um 09:16 Uhr aktualisiert.”
Insofern scheint die Filmliste dort nicht nicht stündlich aktualisiert zu werden.
Weiter eingrenzen kann ich die Angabe für Dich nicht. Es muss die letzte Aktualisierung vor 23h bei MVW gewesen sein.
Allerdings verstehe ich leider auch nicht den Hintergrund Deiner Frage. Unter https://archiv.mediathekview.de/ liegt pro Tag nur eine Filmliste. Da hilft eine Uhrzeit zum gestrigen Tag auch wenig.
Aber ich werde heute Nacht mal einige der alten Listen testen. Vielleicht finde ich ja eine komplette.
Danke für Deine Mühe hier!
-
@DaDirnbocher sagte: Und in der vom 1.1. auch schon und wie ich in meiner Frage oben verlinkt habe, wurde die 3. Folge schon am 6.12. vermisst.
Ich legte den Fokus auf die archivierten Listen der vergangenen Tage, in die potenziell die Änderungen am Crawler eingeflossen sind (das Ticket ist “closed” und es gibt keinen Pull Request). Dass der Teil 3 schon vorher fehlte, ist korrekt (hab ja selbst eine Lösung im besagten und von dir verlinkten Post geschildert).
Zudem wurde klar, dass der Teil 2 – zumindest in den von mir erwähnten Listen – nicht fehlte.Darum hätte mich ja interessiert, in welcher Liste die Folge gesehen wurde.
Da hast du natürlich recht. Ohne die Angabe des genauen Datums/Zeitpunkts der Filmlisten (und evtl. von wo geladen) kann man solche Probleme nicht reproduzieren. Da helfen Angaben wie “müsste” und “scheint” wenig…
-
@Benem sagte in ZDF-Crawler findet seit längerem Sendungen nur lückenhaft:
Allerdings verstehe ich leider auch nicht den Hintergrund Deiner Frage.
Im Grund wissen wir alle hier in dem Thread zu wenig. Wir wissen nicht, ob das ZDF-Problem für das es einen Bugfix gibt, auch Dein Problem ist. Wir wissen nicht, ob der Fix schon aktiv und falls ja, seit wann er aktiv ist.
Wir spekulieren alle. Jeder interpretiert Deine Beobachtungen auf seine eigene Art und Weise und gewichtet die einzelnen Aspekte aus Deinen Schilderungen für die eigene Bewertung. Und daraus zieht jeder seine Schlüsse, die dann teilweise auch unterschiedlich sind.
Jedes Detail, das konkreter ist, das fassbarer ist, hilft, den Anteil der Spekulation zu reduzieren und die potentielle Hilfe konkreter und treffsicherer werden zu lassen.
Und die Info in welcher Liste, Folge 3 (noch) drinnen war, würde unter Umständen eine Indikation ergeben, ob der Bugfix zum ZDF-Crawler a) schon aktiv ist b) ob er wirkt und c) eine Lösung für Dein Problem ist.
Also im Grunde eine ganz zentrale Information, Dir bei Deinem Problem weiterzuhelfen.
Aber wie @styroll zu Recht sagt …
Da helfen Angaben wie “müsste” und “scheint” wenig…
-
Besteht für einen User von MVW überhaupt eine Möglichkeit, Deine Fragen zu beantworten?
Mir ist nicht ersichtlich, woher der MVW-Server die Filmliste wann geladen hat. Ich sehe immer nur eine Angabe wie: “Filmliste zuletzt um 09:16 Uhr aktualisiert.” (so gerade aktuell). Unter Umständen hat der Server eine Liste geladen, die mehrere Tage alt ist - und dann vielleicht auch noch aus einer inoffiziellen Quelle. Der User sieht nur, wann sie aktualisiert wurde. Mehr nicht.
Die ganze Diskussion hier hat den Fokus verloren. Ich kann die fehlende Episode händisch herunterladen. Habe ich jetzt mehrfach geschrieben.
Mir ging es ursprünglich um drei Dinge:
Ich wollte lediglich auf einen Fehler aufmerksam machen und fragen, ob der schon bekannt und in Bearbeitung ist. Das war hilfreich gemeint. Eine Antwort kann momentan - falls überhaupt - wohl nur @pidoubleyou definitiv geben.
Dann wollte ich, dass der u.U. irreführende “Sticky Post” modifiziert wird, um User nicht zu verwirren. Ist mir inzwischen egal. Ich kann es einschätzen. Dachte halt nur an Neulinge, die sich eher auf so etwas verlassen.
Und dann hatte ich nach einem Muster gefragt, um das Problem zu umschiffen. Das haben wir ja jetzt auch umfassend geklärt. Es scheint kein Muster bekannt zu sein. Ich warte daher noch etwas ab und greife sonst zu anderen Mitteln.
Falls ich eine Filmliste mit allen Episoden finde, werde ich sie hier benennen.
-
@Benem sagte: Mir ist nicht ersichtlich, woher der MVW-Server die Filmliste wann geladen hat.
Mir auch nicht, aber für MV sehe ich das beim Starten des Programms in meinem Netzwerkfilter (auch wenn die Verteil-Server alle die gleiche Liste liefern sollten):
Filmliste laden von: verteiler2.mediathekview.de@Benem sagte: Ich sehe immer nur eine Angabe wie: “Filmliste zuletzt um 09:16 Uhr aktualisiert.” (so gerade aktuell). Unter Umständen hat der Server eine Liste geladen, die mehrere Tage alt ist.
Das würde aber null Sinn machen und wohl eher auf ein Problem hinweisen. Und. v.a. sieht man ja in der Filmliste sofort, wenn aktuelle Filme fehlen, da – aus welchen Gründen auch immer – eine nicht-aktuelle Filmliste geladen wurde.
Die “MVW-Filmliste” z.B. von 09:16 entspricht der MV-Filmliste von 09:15 Uhr, du hast da also immer eine (irrelevante) Minute Latenz. MVW muss selbst nämlich die Filmliste noch aufbereiten.@Benem sagte: Ich wollte lediglich auf einen Fehler aufmerksam machen und fragen, ob der schon bekannt und in Bearbeitung ist. Das war hilfreich gemeint.
Das hab ich auch nie anders verstanden…
@Benem sagte: Dann wollte ich, dass der u.U. irreführende “Sticky Post” modifiziert wird, um User nicht zu verwirren.
Da bin ich ganz bei dir. Es beginnt schon damit, dass man 3 Probleme in einen Thread packt…
Leider scheinen das die Admins und Mods nicht von sich aus zu merken und reagieren auch selten auf entsprechende Hinweise. Ich würde nicht mal die Überschrift verstehen, wenn ich die Probleme nicht 1:1 mitgekriegt hätte…Es heisst auch schon seit “ewig”:
[Offizeller Client] MediathekViewWeb, obwohl ich schon zu Beginn gemeldet hatte, dass in der Bezeichnung dieser Forenkategorie ein “i” fehlt…@Benem sagte: Und dann hatte ich nach einem Muster gefragt, um das Problem zu umschiffen. […] Es scheint kein Muster bekannt zu sein
Das stimmt ja wohl so nicht, du kannst dich bloss mit dem Vorschlag von @herbivore nicht anfreunden…
EDIT:
@Benem sagte weiter unten: am Ende wirst Du unfair oder sprachlich unpräzise.
Ziemlich bizarr, wenn du meinst, dass deine erste Aussage…
“Und dann hatte ich nach einem Muster gefragt, um das Problem zu umschiffen”
… mit deiner zweiten Aussage gleichzusetzen ist:
“Ich habe danach gefragt, ob ein Muster für das Auftreten des Fehlers bekannt ist”
-
Kann das mal bitte jemand von euch Admins ändern!?
Danke für den Hinweis!
Gruß
-
@styroll sagte in ZDF-Crawler findet seit längerem Sendungen nur lückenhaft:
@Benem sagte: Und dann hatte ich nach einem Muster gefragt, um das Problem zu umschiffen. […] Es scheint kein Muster bekannt zu sein
Das stimmt ja wohl so nicht, du kannst dich bloss mit dem Vorschlag von @herbivore nicht anfreunden…
Danke nochmals für Deine Antwort, aber am Ende wirst Du unfair oder sprachlich unpräzise.
Ich habe danach gefragt, ob ein Muster für das Auftreten des Fehlers bekannt ist. Mögliche Muster wären:
-
Jede zweite Filmliste hat solche Lücken,
-
der Fehler tritt immer in der letzten Liste des Tages auf,
-
etc.pp.
Ein Muster - also ein regelmäßig wiederkehrendes Strukturprinzip - wurde von niemandem identifiziert.
Was @herbivore getan hat, war eine Lösung zu präsentieren, die sicherlich effektiv ist, aber ein etwaiges Fehlermuster lediglich überdeckt. Es stimmt, dass man mit seinem Vorgehen das Problem lösen kann. Was allerdings überhaupt nicht stimmt, ist, dass man sich damit an das Muster anpasst. Das aber genau wollte ich, um so nicht das Problem zu lösen, sondern ihm aus dem Weg zu gehen (“umschiffen” in meinem Posting). Letztlich suchte ich eine Lösung, die nicht bloß effektiv (wirksam), sondern auch effizient (wirksam bei geringem Mitteleinsatz) ist.
Ich hatte gehofft, dass ein Muster bekannt ist, um die eine passende Liste zu finden - @herbivore hingegen hat vorgeschlagen, einfach alle Listen geladen zu behalten.
Ein Vergleich: Wenn Du eine löchrige Folie als Dach hast, kannst Du das eindringen von Regen sicherlich verhindern, indem Du viele weitere löchrige Folien übereinanderlegst. Das ist nur eine Frage der Menge. Ich hatte gehofft, dass es eine Lösung mit nur einer Folie gibt und danach gefragt, welche das wohl sein könnte.
So, das dreht sich hier alles nur noch um sich selbst… Ich steige in Kürze aus.
Wenn ich heute Nacht eine Liste ohne diesen Fehler finde, poste ich das hier.
-
-
@Benem: Auch wenn ich deinen Wunsch voll verstehen kann, sei zu meiner Ehrenrettung kurz gesagt, dass mein Vorschlag etwas besser ist, als er in deinem Bild erscheint, weil dadurch ein Loch, das einmal geschlossen wurde, nie mehr aufreißt. Die Folien werden also eher verschweißt, als nur übereinandergelegt. Aber klar, es bleibt ein Workaround.
-
@herbivore
Ich fürchte - ohne es tatsächlich ausprobiert zu haben -, dass die Folien doch irgendwann aufreißen werden: Wenn jeden Tag neue Schichten auf das Dach geschweißt werden, bricht das Haus irgendwann unter der Last zusammen - sprich: die angesammelten Listen werden zu viel Speicher verbrauchen. Dann muss - so wieder nur eine Annahme meinerseits - von Zeit zu Zeit “tabula rasa” gemacht werden, also wieder nur mit einer Liste/Folie angefangen werden.Wie ich oben bereits deutlich geschrieben habe, ziehe ich das ja auch in Betracht. Nur schöner als effektive Lösungen, finde ich halt die effizienten.
-
Hallo @Benem,
ich glaube du überschätzt das Problem. Dadurch, dass ich den Workaround (täglich) anwende, sehe ich, welches Datum die neuen Einträge vom ZDF haben. Abgesehen von Wiederholungen, die beim ZDF oft mit dem Erstausstrahlungsdatum versehen sind, das dann entsprechend lange zurückliegt, sind fast alle Einträge von jeweils heute oder gestern und eher selten von vorgestern oder gar noch davor. Die Lücken werden also nach meiner Beobachtung sehr schnell und wohl auch vollständig geschlossen. Ich hoffe das hilft dir weiter!
herbivore
PS: Was @MenchenSued im folgenden Beitrag schreibt, deckt sich mit meinen Beobachtungen zur Gesamtsituation und bestätigt diese. Nur dass ich die Einträge, die schon einmal da waren, gar nicht wieder (fälschlich) als neu angezeigt bekommen.
-
Beim ZDF hat sich einiges beruhigt. Habe ich noch vor Wochen jeden Tag mehrere 100 Sendungen als NEU angezeigt bekommen, ist es jetzt nur noch eine Handvoll. Vermisst habe ich bisher aber nichts. Heute ist mir aufgefallen, dass zwischen gestern und heute ca. 10.000 Sendungen weniger in der Liste stehen, vermutlich ist ein Sender gerade gewaltig am Ausmisten doppelter Einträge.
-
@herbivore sagte in ZDF-Crawler findet seit längerem Sendungen nur lückenhaft:
Für das Problem, dass eine schon mal gelistete Sendung in einer folgenden Liste nicht mehr vorhanden ist, gibt es den Workaround, die Filmliste manuell zu laden und dabei (jedes Mal) den Haken bei alte Liste nicht löschen, nur erweitern zu setzen.
Was mich ja interessieren würde: ist das ein allgemeiner Hinweis für einen Workaround für das “Problem, dass eine schon mal gelistete Sendung in einer folgenden Liste nicht mehr vorhanden ist,”, oder würde der Workaround im konkreten Beispiel von der 3. Episode vom The Team II auch helfen?
Oder konkreter: kannst Du aus Deiner erweiterten Filmliste diese Episode runterladen?
-
@herbivore sagte in ZDF-Crawler findet seit längerem Sendungen nur lückenhaft:
Eine abschließende Aussage kann vermutlich nur @pidoubleyou treffen.
Die Probleme mit den unvollständigen Filmlisten beim ZDF sind gelöst. Dadurch sind auch viele alte ZDF-Einträge endlich wieder in der Filmliste aufgenommen worden.
Mir ist ebenfalls bereits aufgefallen, dass einige wenige Teile von Serien wie “The Team” oder “Greyzone” nicht in der Liste vorhanden sind. Bei meinen Testläufen werden diese Einträge korrekt gefunden, in den Logs des Crawlers ist aktuell auch nichts auffälliges zu finden.
-
Hallo @DaDirnbocher,
grundsätzlich bewirkt der Workaround nur, dass Einträge, die einmal aufgetaucht sind, auf Dauer vorhanden bleiben. Deren Video-Url wird normalerweise spätestens dann nicht mehr funktionieren, wenn die Sendung aus der Mediathek genommen wird. Gerade beim ZDF kommt es aber häufiger vor, dass die Video-Urls schon vorher nicht mehr funktionieren, weil diese eine Art “Versionsnummer”(*) enthalten, die aus Gründen, die ich noch nicht herausbekommen habe, gerne mal hochgesetzt wird. Davon abgesehen funktionieren aber die meisten Video-Urls genau so lange, wie die Sendung in der Mediathek steht. Und zwar auch dann, wenn der entsprechende Eintrag in der aktuellen MV-Filmliste gerade fehlt. Man hat also durch den Workaround einen echten Gewinn.
kannst Du aus Deiner erweiterten Filmliste diese Episode runterladen?
In meiner Liste befinden sich mittlerweile vier Einträge mit dem Titel “The Team II (3) - Vierteilige europäische Krimireihe”. Und zwar mit den Versionsnummern 3 bis 5(**), wobei allerdings mittlerweile 6 aktuell ist. Insofern lautet die Antwort: Nein, ohne Änderung nicht, aber mit auf 6 geänderter Versionsnummer, ja, dann funktioniert die Url.
herbivore
(*) Mit Versionsnummer meine ich schlicht die Zahl vor dem letzten Slash.
(**) Versionsnummern 3 bis 5 wären nur drei Einträge, aber es gibt zwei Einträge mit der Versionsnummer 3, jedoch mit unterschiedlichen Auflösungen, nämlich 2328k_p35v14.mp4 und 1496k_p13v14.mp4. Letztere wurde geliefert, bevor die automatische Umsetzung angepasst wurde, siehe ZDF geänderte Auflösung?. Da sieht man dann auch schön, wie lange ich den Workaround schon ohne Unterbrechung nutze.
-
@herbivore sagte in ZDF-Crawler findet seit längerem Sendungen nur lückenhaft:
Insofern lautet die Antwort: Nein, ohne Änderung nicht, aber mit auf 6 geänderter Versionsnummer, ja, dann funktioniert die Url.
Gut, bestätigt meine Vermutung. Der Workaround liefert - in dem Fall - nur eine “Basis-URL”, wo man dann noch rausfinden muss, wie die aktuelle Version lautet (könnte ja schon 7 oder 8 oder … sein)
Sollte man halt wissen, wenn man sich für den Workaround entscheidet.
Alternativ könnte man sich - in so einem Fall - eine zum Ausstrahlungstermin zeitlich nahe Filmliste (z.B. vom 10.11.) holen, dort findet man die URL mit einem 4er und kann die dann auch auf den 6er ändern. Damit hätte man sich die laufenden manuellen Importe mit “Liste erweitern” gespart. (In dem Fall immerhin > 2 Monate seit ZDF-Ausstrahlungstermin)
Ausserdem ergibt sich noch ein weiterer Aspekt, den ich momentan noch nicht einordnen kann. Du erwähnst, dass Du Einträge mit 3-5 hast, aber lt. diesem Post ist seit mindestens 6. Dezember 2018 (wenn nicht sogar früher) die Version mit 6 aktuell.
Heisst das jetzt, dass MV die 6er Version nie gefunden hat? Dagegen spricht, dass @Benem ja noch einen Eintrag gesehen hat, dass muss dann ja wohl einer mit 6 gewesen sein.
Oder - und das wäre die Schlussfolgerung aus @Benem s Beobachtung - lässt Dein System - um in eurem Folienvergleich zu bleiben - trotzdem noch Lücken? Du importierst ja meines WIssens auch nicht alle Listen, insofern könnte die 6er Version ja zufällig in einer nicht importierten Liste gewesen sein.
Müßte man dann nicht sagen, dass es wohl beim Erweitern sinnvoll wäre, immer alle verfügbaren Listen zu importieren? -
Hallo @DaDirnbocher,
die kurze Antwort ist, nein, man muss keineswegs irgendwelche Klimzüge machen. Ich verwende den Workaround die ganze Zeit und Lücken sind mir wie gesagt bisher keine aufgefallen. Im konkreten Fall vermutlich, weil ich The Team auf Arte gesehen habe, aber sonst guck ich viel vom ZDF und wenns mehr als Einzelfälle wären, hätte mir das auffallen müssen.
Für eine substanziellere Antworte werde ich mir mal alle Listen anschauen, die ich importiert habe. Die hab ich alle noch.
herbivore
-
Hallo an alle,
ich hatte ja zugesagt, dass ich mich melde, wenn ich eine Filmliste finde, die die 3. Episode von “The Team II” enthält.
In dieser Nacht habe ich bis jetzt jede neue Filmliste per MV geladen (23:15h, 05:19h, 07:16h) keine enthielt die 3. Episode.
Ich habe mir allerdings noch 20 zufällige Filmlisten zurück bis zum Sendetermin von https://verteiler.mediathekviewweb.de/ heruntergeladen und nach der Folge gesucht. Die neueste Liste, die Episode 3 enthielt, war diejenige vom 21/11/2018, 14:14h. Dort fehlte dann allerdings die 1. und 2. Folge der Serie.
Na ja, ich habe mir nun anhand der alten Filmliste die Info-Datei gebastelt und durch Anpassung der Versionsnummer in der URL eine gültige Film-URL bekommen.
Ich hoffe, ich habe damit einen Beitrag zur Lösung des Problems geleistet.
