ZDF-Crawler findet seit längerem Sendungen nur lückenhaft
-
@styroll sagte in ZDF-Crawler findet seit längerem Sendungen nur lückenhaft:
@Benem sagte: Und dann hatte ich nach einem Muster gefragt, um das Problem zu umschiffen. […] Es scheint kein Muster bekannt zu sein
Das stimmt ja wohl so nicht, du kannst dich bloss mit dem Vorschlag von @herbivore nicht anfreunden…
Danke nochmals für Deine Antwort, aber am Ende wirst Du unfair oder sprachlich unpräzise.
Ich habe danach gefragt, ob ein Muster für das Auftreten des Fehlers bekannt ist. Mögliche Muster wären:
-
Jede zweite Filmliste hat solche Lücken,
-
der Fehler tritt immer in der letzten Liste des Tages auf,
-
etc.pp.
Ein Muster - also ein regelmäßig wiederkehrendes Strukturprinzip - wurde von niemandem identifiziert.
Was @herbivore getan hat, war eine Lösung zu präsentieren, die sicherlich effektiv ist, aber ein etwaiges Fehlermuster lediglich überdeckt. Es stimmt, dass man mit seinem Vorgehen das Problem lösen kann. Was allerdings überhaupt nicht stimmt, ist, dass man sich damit an das Muster anpasst. Das aber genau wollte ich, um so nicht das Problem zu lösen, sondern ihm aus dem Weg zu gehen (“umschiffen” in meinem Posting). Letztlich suchte ich eine Lösung, die nicht bloß effektiv (wirksam), sondern auch effizient (wirksam bei geringem Mitteleinsatz) ist.
Ich hatte gehofft, dass ein Muster bekannt ist, um die eine passende Liste zu finden - @herbivore hingegen hat vorgeschlagen, einfach alle Listen geladen zu behalten.
Ein Vergleich: Wenn Du eine löchrige Folie als Dach hast, kannst Du das eindringen von Regen sicherlich verhindern, indem Du viele weitere löchrige Folien übereinanderlegst. Das ist nur eine Frage der Menge. Ich hatte gehofft, dass es eine Lösung mit nur einer Folie gibt und danach gefragt, welche das wohl sein könnte.
So, das dreht sich hier alles nur noch um sich selbst… Ich steige in Kürze aus.
Wenn ich heute Nacht eine Liste ohne diesen Fehler finde, poste ich das hier.
-
-
@Benem: Auch wenn ich deinen Wunsch voll verstehen kann, sei zu meiner Ehrenrettung kurz gesagt, dass mein Vorschlag etwas besser ist, als er in deinem Bild erscheint, weil dadurch ein Loch, das einmal geschlossen wurde, nie mehr aufreißt. Die Folien werden also eher verschweißt, als nur übereinandergelegt. Aber klar, es bleibt ein Workaround.
-
@herbivore
Ich fürchte - ohne es tatsächlich ausprobiert zu haben -, dass die Folien doch irgendwann aufreißen werden: Wenn jeden Tag neue Schichten auf das Dach geschweißt werden, bricht das Haus irgendwann unter der Last zusammen - sprich: die angesammelten Listen werden zu viel Speicher verbrauchen. Dann muss - so wieder nur eine Annahme meinerseits - von Zeit zu Zeit “tabula rasa” gemacht werden, also wieder nur mit einer Liste/Folie angefangen werden.Wie ich oben bereits deutlich geschrieben habe, ziehe ich das ja auch in Betracht. Nur schöner als effektive Lösungen, finde ich halt die effizienten.
-
Hallo @Benem,
ich glaube du überschätzt das Problem. Dadurch, dass ich den Workaround (täglich) anwende, sehe ich, welches Datum die neuen Einträge vom ZDF haben. Abgesehen von Wiederholungen, die beim ZDF oft mit dem Erstausstrahlungsdatum versehen sind, das dann entsprechend lange zurückliegt, sind fast alle Einträge von jeweils heute oder gestern und eher selten von vorgestern oder gar noch davor. Die Lücken werden also nach meiner Beobachtung sehr schnell und wohl auch vollständig geschlossen. Ich hoffe das hilft dir weiter!
herbivore
PS: Was @MenchenSued im folgenden Beitrag schreibt, deckt sich mit meinen Beobachtungen zur Gesamtsituation und bestätigt diese. Nur dass ich die Einträge, die schon einmal da waren, gar nicht wieder (fälschlich) als neu angezeigt bekommen.
-
Beim ZDF hat sich einiges beruhigt. Habe ich noch vor Wochen jeden Tag mehrere 100 Sendungen als NEU angezeigt bekommen, ist es jetzt nur noch eine Handvoll. Vermisst habe ich bisher aber nichts. Heute ist mir aufgefallen, dass zwischen gestern und heute ca. 10.000 Sendungen weniger in der Liste stehen, vermutlich ist ein Sender gerade gewaltig am Ausmisten doppelter Einträge.
-
@herbivore sagte in ZDF-Crawler findet seit längerem Sendungen nur lückenhaft:
Für das Problem, dass eine schon mal gelistete Sendung in einer folgenden Liste nicht mehr vorhanden ist, gibt es den Workaround, die Filmliste manuell zu laden und dabei (jedes Mal) den Haken bei alte Liste nicht löschen, nur erweitern zu setzen.
Was mich ja interessieren würde: ist das ein allgemeiner Hinweis für einen Workaround für das “Problem, dass eine schon mal gelistete Sendung in einer folgenden Liste nicht mehr vorhanden ist,”, oder würde der Workaround im konkreten Beispiel von der 3. Episode vom The Team II auch helfen?
Oder konkreter: kannst Du aus Deiner erweiterten Filmliste diese Episode runterladen?
-
@herbivore sagte in ZDF-Crawler findet seit längerem Sendungen nur lückenhaft:
Eine abschließende Aussage kann vermutlich nur @pidoubleyou treffen.
Die Probleme mit den unvollständigen Filmlisten beim ZDF sind gelöst. Dadurch sind auch viele alte ZDF-Einträge endlich wieder in der Filmliste aufgenommen worden.
Mir ist ebenfalls bereits aufgefallen, dass einige wenige Teile von Serien wie “The Team” oder “Greyzone” nicht in der Liste vorhanden sind. Bei meinen Testläufen werden diese Einträge korrekt gefunden, in den Logs des Crawlers ist aktuell auch nichts auffälliges zu finden.
-
Hallo @DaDirnbocher,
grundsätzlich bewirkt der Workaround nur, dass Einträge, die einmal aufgetaucht sind, auf Dauer vorhanden bleiben. Deren Video-Url wird normalerweise spätestens dann nicht mehr funktionieren, wenn die Sendung aus der Mediathek genommen wird. Gerade beim ZDF kommt es aber häufiger vor, dass die Video-Urls schon vorher nicht mehr funktionieren, weil diese eine Art “Versionsnummer”(*) enthalten, die aus Gründen, die ich noch nicht herausbekommen habe, gerne mal hochgesetzt wird. Davon abgesehen funktionieren aber die meisten Video-Urls genau so lange, wie die Sendung in der Mediathek steht. Und zwar auch dann, wenn der entsprechende Eintrag in der aktuellen MV-Filmliste gerade fehlt. Man hat also durch den Workaround einen echten Gewinn.
kannst Du aus Deiner erweiterten Filmliste diese Episode runterladen?
In meiner Liste befinden sich mittlerweile vier Einträge mit dem Titel “The Team II (3) - Vierteilige europäische Krimireihe”. Und zwar mit den Versionsnummern 3 bis 5(**), wobei allerdings mittlerweile 6 aktuell ist. Insofern lautet die Antwort: Nein, ohne Änderung nicht, aber mit auf 6 geänderter Versionsnummer, ja, dann funktioniert die Url.
herbivore
(*) Mit Versionsnummer meine ich schlicht die Zahl vor dem letzten Slash.
(**) Versionsnummern 3 bis 5 wären nur drei Einträge, aber es gibt zwei Einträge mit der Versionsnummer 3, jedoch mit unterschiedlichen Auflösungen, nämlich 2328k_p35v14.mp4 und 1496k_p13v14.mp4. Letztere wurde geliefert, bevor die automatische Umsetzung angepasst wurde, siehe ZDF geänderte Auflösung?. Da sieht man dann auch schön, wie lange ich den Workaround schon ohne Unterbrechung nutze.
-
@herbivore sagte in ZDF-Crawler findet seit längerem Sendungen nur lückenhaft:
Insofern lautet die Antwort: Nein, ohne Änderung nicht, aber mit auf 6 geänderter Versionsnummer, ja, dann funktioniert die Url.
Gut, bestätigt meine Vermutung. Der Workaround liefert - in dem Fall - nur eine “Basis-URL”, wo man dann noch rausfinden muss, wie die aktuelle Version lautet (könnte ja schon 7 oder 8 oder … sein)
Sollte man halt wissen, wenn man sich für den Workaround entscheidet.
Alternativ könnte man sich - in so einem Fall - eine zum Ausstrahlungstermin zeitlich nahe Filmliste (z.B. vom 10.11.) holen, dort findet man die URL mit einem 4er und kann die dann auch auf den 6er ändern. Damit hätte man sich die laufenden manuellen Importe mit “Liste erweitern” gespart. (In dem Fall immerhin > 2 Monate seit ZDF-Ausstrahlungstermin)
Ausserdem ergibt sich noch ein weiterer Aspekt, den ich momentan noch nicht einordnen kann. Du erwähnst, dass Du Einträge mit 3-5 hast, aber lt. diesem Post ist seit mindestens 6. Dezember 2018 (wenn nicht sogar früher) die Version mit 6 aktuell.
Heisst das jetzt, dass MV die 6er Version nie gefunden hat? Dagegen spricht, dass @Benem ja noch einen Eintrag gesehen hat, dass muss dann ja wohl einer mit 6 gewesen sein.
Oder - und das wäre die Schlussfolgerung aus @Benem s Beobachtung - lässt Dein System - um in eurem Folienvergleich zu bleiben - trotzdem noch Lücken? Du importierst ja meines WIssens auch nicht alle Listen, insofern könnte die 6er Version ja zufällig in einer nicht importierten Liste gewesen sein.
Müßte man dann nicht sagen, dass es wohl beim Erweitern sinnvoll wäre, immer alle verfügbaren Listen zu importieren? -
Hallo @DaDirnbocher,
die kurze Antwort ist, nein, man muss keineswegs irgendwelche Klimzüge machen. Ich verwende den Workaround die ganze Zeit und Lücken sind mir wie gesagt bisher keine aufgefallen. Im konkreten Fall vermutlich, weil ich The Team auf Arte gesehen habe, aber sonst guck ich viel vom ZDF und wenns mehr als Einzelfälle wären, hätte mir das auffallen müssen.
Für eine substanziellere Antworte werde ich mir mal alle Listen anschauen, die ich importiert habe. Die hab ich alle noch.
herbivore
-
Hallo an alle,
ich hatte ja zugesagt, dass ich mich melde, wenn ich eine Filmliste finde, die die 3. Episode von “The Team II” enthält.
In dieser Nacht habe ich bis jetzt jede neue Filmliste per MV geladen (23:15h, 05:19h, 07:16h) keine enthielt die 3. Episode.
Ich habe mir allerdings noch 20 zufällige Filmlisten zurück bis zum Sendetermin von https://verteiler.mediathekviewweb.de/ heruntergeladen und nach der Folge gesucht. Die neueste Liste, die Episode 3 enthielt, war diejenige vom 21/11/2018, 14:14h. Dort fehlte dann allerdings die 1. und 2. Folge der Serie.
Na ja, ich habe mir nun anhand der alten Filmliste die Info-Datei gebastelt und durch Anpassung der Versionsnummer in der URL eine gültige Film-URL bekommen.
Ich hoffe, ich habe damit einen Beitrag zur Lösung des Problems geleistet.
-
Hallo @herbivore,
Danke für Deine umfangreiche Darstellung. Sie bestätigt mich darin, dass bei diesem Workaround für mich persönlich Aufwand und Nutzen in keinem rationalem Verhältnis stehen.
Statt einfach das Programm zu starten und nach kurzem Warten mit der Suche loszulegen, müsste ich nun vorher jedes Mal noch zweimal klicken, einen Haken setzen und dann das Laden der Liste initiieren.
Im Ergebnis hätte ich wohl oft Sendungen in der Liste, zu denen mehrere Einträge bestehen. Da müsste ich dann noch in einem zusätzlichen Arbeitsschritt (der zugegebenermaßen nicht lange dauert) eine Auswahl treffen, bevor ich an den Download gehen kann. Und trotz all der Mühe könnte es immer noch passieren - wie in diesem Beispiel -, dass keiner der in MV angebotenen Einträge funktioniert und ich dann genau das machen müsste, was ich auch ohne all den vorherigen Aufwand erledigen könnte: Die URL selbst zu konstruieren oder ein anderes Programm dazu zu verwenden.
Ich glaube Dir, dass dieser Fall hier eher eine Ausnahme darstellt und Deine Methode sicherlich häufig zielführend ist. Aber “häufig” ist mir zu wenig für den Aufwand. Vor allem, wo ich davon ausgehe, dass das Problem mit den Lücken beim ZDF bald behoben ist.
Benem
–
P.S.:So, jetzt habe ich widersprochen, was in diesem Forum anscheinend inakzeptabel ist. Aber vielleicht ist es auch die Tatsache, dass ich höflich war, die provoziert. Oder kann es eine verhältnismäßig saubere Orthographie sein?
Ihr könnt mich jetzt jedenfalls wieder mit negativen Bewertungen bedenken. Das ist ja auch besonders mutig und konstruktiv, sich so mit den Argumenten von jemandem auseinanderzusetzen, der auf einen Fehler aufmerksam macht und um (Ab)hilfe bittet. Wieso sollte man was tippen, wenn man auch einfach per Klick destruktiv sein kann? Ist ja auch so schön anonym hier… Keiner sieht, von wem man warum abgewertet wurde. Shoot the messenger!
Hineingegangen bin ich in diese Diskussion mit einem “Ansehen” von 10 und bin nun bei null. Und da ist sicherlich noch nicht Schluss, weil ich den Trollen nun auch noch den Spiegel vor das Gesicht halte.
Hoffentlich ist das anderen Leuten, die sich einbringen wollen, eine Lehre: Lest in diesem Forum, man kann was lernen. Aber verschwendet keine Zeit mit aktivem Engagement. Das lohnt nicht. Irgendeinem wird schon irgendetwas nicht gefallen und euch abwerten. Und wenn ihr nicht erkennt, woran das liegt: Euer Problem!
Vielleicht schreibe ich noch etwas Generelleres dazu, aber wahrscheinlich werde ich aus Angst vor Kritik wohl vorher gesperrt. Ich wüsste nur zu gern, ob es die Leute waren, die sich hier ansonsten recht freundlich gegeben haben - oder ob in dem Thread Leute rumrandalieren, die ansonsten nichts zur Diskussion beigetragen haben, aber die ihnen eingeräumten Rechte gnadenlos missbrauchen.
Schade. War vor Jahren mal eine richtig gute Community hier.
-
Hallo @pidoubleyou,
vorweg: Danke für Deine Zeit und Mühe, die Du hier in dieses tolle Projekt steckst, und auch für die Freundlichkeit, mit der Du Fragen beantwortest (ich wüsste zu gern, wie Du es in dieser toxischen Umgebung aushältst…)
Aber darum soll es nicht gehen. Ich möchte noch einen letzten Beitrag zur Problemlösung leisten:
Bei meinen Testläufen werden diese Einträge korrekt gefunden, in den Logs des Crawlers ist aktuell auch nichts auffälliges zu finden.
Das finde ich interessant. Ich habe jetzt die Nacht durchgearbeitet und nebenbei alle Filmlisten von 23:15h bis 09:15h per MV geladen. In keiner war der 3. Teil von “The Team II” oder Episode 10 von “Greyzone”. Da scheinen die Testläufe folglich das Crawlerverhalten nicht korrekt wiederzugeben…
Während des Herunterladens alter Filmlisten, in denen ich nach den fehlenden Sendungen gesucht habe, fand ich in https://verteiler.mediathekviewweb.de/ etwas, das da sicherlich nicht hingehört. Vielleicht ist das ja ein Hinweis auf die Fehlerquelle: Im Verzeichnis “dl/” liegt ein kompletter Download des 3. Teils von “The Team” - als mp4. Falls da nicht ein Mensch seine Privatdownloads öffentlich lagert, besteht möglicherweise ein Zusammenhang zu dem Fehlen des entsprechenden Beitrags in der Filmliste. Nur so eine Idee…
Ich habe einen Screenshot vom Verzeichnis gemacht, will allerdings nicht noch mehr auf die Datei aufmerksam machen. Falls Du das Bild brauchst, weil die Datei verschwunden ist (aus rechtlichen Gründen sicherlich sinnvoll), melde Dich.
Eine ähnliche “smoking gun” habe ich für die 10. Episode von “Greyzone” auf dem Server leider nicht gefunden.
Und noch ein “minor bug” (sollte ich eigentlich nicht machen, das kostet Ansehen!): Die Info-txt zur 2. Episode von “The Team II” (aus der ich die Info-Datei zur Folge 3 gebaut habe) enthält unter “Größe [MB]:” die Angabe “1 von 2226”. Normalerweise fehlt das "1 von ". Wobei ich gar nicht weiß, ob das Deine Baustelle ist…
Benem
-
Hallo @Benem,
es ist natürlich deine Entscheidung, ob du den Workaround nutzen willst oder nicht. Ich fahre gut damit und werden ihn weiterhin nutzen. In erster Linie, um fälschlich als neu angezeigte Einträge zu vermeiden. Der Gewinn, nicht immer und immer wieder die gleichen Einträge durchsehen zu müssen, übersteigt für mich bei weitem den Aufwand.
Dass es durch den Workaround mehrfache Einträge geben kann, stört mich nicht und ich merke davon in der Regel nicht mal was, weil ich fast immer den Haken bei “nur Neue” gesetzt habe und die veralteten mehrfachen Einträge gerade nicht neu sind. Ehrlich gesagt waren mir mehrfache Einträge bisher noch gar nicht aufgefallen.
Beim ZDF kann es dir auch mit einer aktuellen Liste passieren, dass die Versionsnummer veraltet ist, das ist kein Effekt des Workarounds. Und die Lösung ist normalerweise trivial: einfach die Versionsnummer um eins erhöhen. Mit Workaround hat man diese Option immer. Ohne Workaround fehlt der Eintrag - darum geht es ja in diesem Thread - ganz und es geht erst die nicht triviale Suche in einer passenden Filmliste los. Das ist in meinen Augen vermeidbarer und lästiger Aufwand.
Im Grunde ist es so: Für alle in der aktuellen Liste vorhandenen Einträge ist der Workaround mindestens genauso gut wie einfach die aktuelle Liste zu laden; in Bezug auf die fälschlich als neu angezeigten sogar besser. Für alle in der aktuellen Liste fehlenden Einträge ist der Workaround besser.
Es gibt aus meiner Sicht und nach meiner Erfahrung durch den Workaround keine Nachteile, außerdem den zusätzlichen zwei Klicks. Alles ist mindestens genauso gut wie die aktuelle Liste zu laden. Aber in Bezug auf (deutlich) weniger fälschlich als neu angezeigte Einträge und weniger fehlende Einträge gibt es klare Vorteile.
Trotzdem bleibt es dabei: Es ist deine Entscheidung.
herbivore
PS: Ich habe dich nicht abgewertet, habe überhaupt noch niemanden abgewertet und werde das auch zukünftig nicht tun. Ich sehe das wie du, dass Abwertungen eher Frust erzeugen, als eine sinnvolle Steuerungswirkung zu entfalten.
Wenn man negative Bewertungen deaktivieren könnte, würde das dem Forum sicher gut tun. Mindestens solle aber für alle Benutzer sichtbar sein, wer einen Beitrag abgewertet hat.
Davon unabhängig finde ich, dass der Ton im Forum, von einzelnen Ausrutscher und manchmal auch einzelnen Themen abgesehen, insgesamt viel freundlicher und konstruktiver geworden ist. Früher war es mal so, wie du sagst, aber insgesamt ist es spürbar besser geworden, was mich sehr freut.
-
Hallo @DaDirnbocher,
jetzt noch wie versprochen die lange Antwort auf deine Frage. Das Ergebnis meiner Untersuchungen ist:
Auch der Workaround kann natürlich nicht zaubern. Aber er ist in Bezug auf die verfügbaren Einträge nie schlechter als nur die aktuelle Liste zu verwenden.
Wenn in den verwendeten Listen die gesuchte Url nie enthalten war/ist, dann hat man eben auch ohne Workaround das Nachsehen. Und das war bei den Listen, die ich verwendet habe, tatsächlich der Fall (siehe unten). Die 6er Url war in keiner der Listen, die ich verwendet habe, enthalten.
Das bedeutet aber nun nicht, dass mal alle je veröffentlichten Listen importieren müsste. Gab es überhaupt je eine Liste mit einer 6er Url? Vielleicht nicht (oder zumindest nur ganz kurz) und dann würde man einem Phantom nachjagen. Ich kann nur nochmal sagen, dass mir keine (verbliebenen) Lücken aufgefallen sind.
Umgekehrt spricht nämlich alles dafür, dass wäre in mindestens einer der geladenen Listen die 6er Url enthalten gewesen, sie unter Verwendung des Workaround immer noch vorhanden wäre. Denn die anderen in den Listen jemals aufgetauchten Urls sind auch alle noch drin. Und eine zu niedrige Versionsnummer beim ZDF kann man m.E. sowieso nicht wirklich als echte Lücke betrachten, so einfach, wie man das beheben kann.
Untersucht habe ich alle meine Listen von Anfang (20180607) bis Ende (20190116). Eingefügt habe ich nur den relevanten Bereich. Davor und danach steht immer <nicht gefunden>. Die meisten Listen sind von vormittags zwischen 6 und 10 Uhr. Die genaue Uhrzeit könnte ich nachliefern, glaube aber, dass braucht es nicht.
…
Filmliste-akt.20181207: <nicht gefunden>
Filmliste-akt.20181206: <nicht gefunden>
Filmliste-akt.20181205: <nicht gefunden>
Filmliste-akt.20181204: gefunden mit Versionsnummer 5
Filmliste-akt.20181203: gefunden mit Versionsnummer 5
Filmliste-akt.20181202: gefunden mit Versionsnummer 5
Filmliste-akt.20181201: gefunden mit Versionsnummer 5
Filmliste-akt.20181130: gefunden mit Versionsnummer 5
Filmliste-akt.20181129: gefunden mit Versionsnummer 5
Filmliste-akt.20181128: gefunden mit Versionsnummer 5
Filmliste-akt.20181127: gefunden mit Versionsnummer 5
Filmliste-akt.20181126: gefunden mit Versionsnummer 5
Filmliste-akt.20181125: gefunden mit Versionsnummer 5
Filmliste-akt.20181124: gefunden mit Versionsnummer 5
Filmliste-akt.20181123: gefunden mit Versionsnummer 5
Filmliste-akt.20181122: gefunden mit Versionsnummer 5
Filmliste-akt.20181121: gefunden mit Versionsnummer 5
Filmliste-akt.20181120: gefunden mit Versionsnummer 5
Filmliste-akt.20181119: gefunden mit Versionsnummer 5
Filmliste-akt.20181118: gefunden mit Versionsnummer 5
Filmliste-akt.20181117: gefunden mit Versionsnummer 5
Filmliste-akt.20181116: <nicht gefunden>
Filmliste-akt.20181115: gefunden mit Versionsnummer 5
Filmliste-akt.20181114: gefunden mit Versionsnummer 4
Filmliste-akt.20181113: gefunden mit Versionsnummer 4
Filmliste-akt.20181112: gefunden mit Versionsnummer 4
Filmliste-akt.20181111: gefunden mit Versionsnummer 4
Filmliste-akt.20181110: gefunden mit Versionsnummer 3
Filmliste-akt.20181109: gefunden mit Versionsnummer 3
Filmliste-akt.20181108: gefunden mit Versionsnummer 3
Filmliste-akt.20181107: gefunden mit Versionsnummer 3
Filmliste-akt.20181106: gefunden mit Versionsnummer 3
Filmliste-akt.20181105: gefunden mit Versionsnummer 3
Filmliste-akt.20181104: gefunden mit Versionsnummer 3
Filmliste-akt.20181103: gefunden mit Versionsnummer 3
Filmliste-akt.20181102: gefunden mit Versionsnummer 3
Filmliste-akt.20181101: gefunden mit Versionsnummer 3
Filmliste-akt.20181031: gefunden mit Versionsnummer 3
Filmliste-akt.20181030: gefunden mit Versionsnummer 3
Filmliste-akt.20181029: gefunden mit Versionsnummer 3
Filmliste-akt.20181028: gefunden mit Versionsnummer 3
Filmliste-akt.20181027: gefunden mit Versionsnummer 3
Filmliste-akt.20181026: gefunden mit Versionsnummer 3
Filmliste-akt.20181025: gefunden mit Versionsnummer 3
Filmliste-akt.20181024: gefunden mit Versionsnummer 3
Filmliste-akt.20181023: gefunden mit Versionsnummer 3
Filmliste-akt.20181022: gefunden mit Versionsnummer 3 (1496k_p13v14)
Filmliste-akt.20181021: gefunden mit Versionsnummer 3 (1496k_p13v14)
Filmliste-akt.20181020: gefunden mit Versionsnummer 3 (1496k_p13v14)
Filmliste-akt.20181019: <nicht gefunden>
Filmliste-akt.20181018: <nicht gefunden>
Filmliste-akt.20181017: <nicht gefunden>
…herbivore
-
@herbivore sagte in ZDF-Crawler findet seit längerem Sendungen nur lückenhaft:
Davon unabhängig finde ich, dass der Ton im Forum, von einzelnen Ausrutscher und manchmal auch einzelnen Themen abgesehen, insgesamt viel freundlicher und konstruktiver geworden ist. Früher war es mal so, wie du sagst, aber insgesamt ist es spürbar besser geworden, was mich sehr freut.
Dem kann ich nur beipflichten, und zwar jedem einzelnen Wort. Ja, gelegentlich verlasse ich auch mal eine Diskussion, weil ich glaube, daß man fruchtlosem Streit ruhig mal aus dem Weg gehen kann. Aber ich würde mir auch wünschen, daß der Anteil derer, die mit einer positiven Einstellung hier posten, sich noch drastisch erhöht. Aber @herbivore hat recht, das Klima hat sich schon sehr verbessert. Und das hat auch den nützlichen Informationsgehalt hier deutlich verbessert.
Und letzteres ist, glaube ich, sehr wichtig. Für den Einsteiger braucht es ein paar Momente, bis sie lernen, daß dieses Projekt von ganz spezieller Natur ist - von Freiwilligen erzeugt und am Laufen gehalten, permanent einem sehr beweglichen Ziel hinterherhastend, mit einer anspruchsvollen Architektur, die sich - wie man hier immer wieder lesen kann - dem unbedarften Anwender nicht unbedingt gleich erschließt. Und dann hat man eben auch immer wieder mit einer nicht wirklich nachvollziehbaren Anspruchshaltung bestimmter Anwender zu tun. Dazu kommt dann noch ganz am Rande die Erfahrung, daß die Sender auch nicht unbedingt mit Enthusiasmus auf dieses Projekt reagieren …
-
Ich mache mir die Sache mittlerweile viel leichter. (Finde ich.) Dank meiner lahmen Leitung kommt es relativ oft vor, daß ein ausgewählter Download, wenn er dann starten soll, nichts mehr findet. Ich habe es auch gelegentlich erlebt, daß mitten im Download die Datei plötzlich verschwindet. Dann hole ich mir die URL, setze die Versionsnummer um eins höher und übergebe das Problem an Wget, meinen traditionellen Download-Terrier für alles, das eine URL hat. Es ist auch schon vorgekommen, daß ich die Versionsnummer nochmal um 1 oder 2 erhöhen muß, aber so habe ich diese Eigenart der ZDF-Mediathek noch immer umschiffen können. Insbesondere klappt das auch mit dem Vervollständigen eines abgebrochenen Downloads.
(Ich bin da übrigens einem Phänomen auf der Spur, das ich hier mal beschreiben möchte, das ich aber noch nicht vollständig analysiert habe: Gelegentlich wird nach Unterbrechungen eine Downloaddatei länger als sie sein sollte. Die läßt sich dann meist nur bis zu einem bestimmten Punkt abspielen. Bei näherer Betrachtung - die ich noch genauer machen muß - scheint es so, als hätte MV versucht, die Datei anzustückeln, bekommt aber vom Server nicht den teilweisen Download, sondern die ganze Datei von Anfang an, stückelt das Stück aber so an als gehöre es dorthin. Der Verdacht wäre dann, daß einzelne Server den teilweisen Download nicht unterstützen, das aber nicht richtig kommunizieren. Ich werde auch mal zusehen, bei welchen Servern das passiert. Das kann aber dauern, denn es kommt gottseidank nicht so sehr oft vor.)
-
Die Diskussion hier läuft etwas aus dem Ruder.
Wegen zweier Serien bei denen mal etwas gefehlt hat direkt von einem generellen Problem beim ZDF crawler auszugehen finde ich seltsam. Alle Sendungen wird ein Crawler niemals finden, dafür ändern die Sender viel zu viel und es gibt zu viele Sendungen bei denen die Daten in der Mediathek nicht stimmen oder wichtige Informationen fehlen.
Der ZDF Crawler bedient sicht der ZDF API, wenn dort ein Film nicht auftaucht wurde dort Murks gemacht, und wenn er aber auftaucht und nicht in der Filmliste landet Fehlt meist einfach eine wichtige Information. An einem Konkreten Beispiel kann man dann mal gucken warum, wie hier auch geschehen, aber deshalb ist nicht gleich der ganze Sender “lückenhaft”.
Die Diskussion um mögliche Workarounds mit Ratespielchen und ähnlichen könnt ihr gerne in einem direkten Chat weiter führen, hier bläht das aber nur den Thread unnötig weiter auf.
Sollte mal wieder eine Sendung fehlen: Anleitung - Fehlende Sendung melden beachten da: Nicht beachtung der Anleitung
-
@Benem sagte in ZDF-Crawler findet seit längerem Sendungen nur lückenhaft:
Während des Herunterladens alter Filmlisten, in denen ich nach den fehlenden Sendungen gesucht habe, fand ich in https://verteiler.mediathekviewweb.de/ etwas, das da sicherlich nicht hingehört. Vielleicht ist das ja ein Hinweis auf die Fehlerquelle: Im Verzeichnis “dl/” liegt ein kompletter Download des 3. Teils von “The Team” - als mp4. Falls da nicht ein Mensch seine Privatdownloads öffentlich lagert, besteht möglicherweise ein Zusammenhang zu dem Fehlen des entsprechenden Beitrags in der Filmliste. Nur so eine Idee…
Das war weder die Fehlerquelle noch waren darin Privatdownloads
Aber um das Projekt nicht zu gefährden (daran habe ich tatsächlich schlicht nicht gedacht), habe ich das mal entfernt. Ich danke dir für den Fingerzeig
