Filmliste verstetigen, damit keine Filme fälschlich als neu angezeigt werden
-
@styroll sagte in Filmliste verstetigen, damit keine Filme fälschlich als neu angezeigt werden:
Meine Vermutung war ja, dass die erste Aussage von @pidoubleyou zutrifft, es scheint jedoch die zweite zu sein, d.h. das Entfernen depublizierter Sendungen klappt generell nicht mehr zuverlässig:
Das allein sollte aber nicht dazu führen, dass diese Sendungen massenhaft als neu auftauchen.
-
@mvsfsvm sagte: Das allein sollte aber nicht dazu führen, dass diese Sendungen massenhaft als neu auftauchen.
Das hat auch niemand behauptet…
Mir ging es um einen anderen Aspekt, auf den sich dann auch @pidoubleyou bezogen hast…
-
@mvsfsvm sagte in Filmliste verstetigen, damit keine Filme fälschlich als neu angezeigt werden:
Das allein sollte aber nicht dazu führen, dass diese Sendungen massenhaft als neu auftauchen.
Ist das wirklich so? Oder sind es nicht eher nur ein paar Filme, die als neu erscheinen?
Vielleicht sollten wir erst einmal den Begriff NEU erklären. Das ist eine Funktion innerhalb der MV Anwendung und kommt durch direkten Vergleich der heruntergeladenen alten und neuen Filmliste zustande. Es gibt mehrere Ursachen dafür, dass so eine neue Sendung erkannt wird
- Die Sendung wurde mal irgendwann nicht mehr beim Sender gefunden und später erneut gefunden.
- Die alte Filmliste ist nicht komplett. Früher musste man bis 10:30 Uhr warten, bevor ein kompletter Suchlauf über alle Sender enthalten waren. Keine Ahnung, ob das heute noch so ist.
- Die Sender basteln an ihrer eigenen Mediathek herum. Eventuell verändern sich sehr viele Parameter, wie der Speicherort, der Name der Sendung oder das Thema. Da wird es für eine einfache Software schwierig, das Böse vom Guten zu trennen. Vorzugsweise erscheinen einige Sendungen dann erneut oder doppelt ohne das Risiko, dass eine Sendung fälschlicherweise wieder gelöscht wird.
Falls einzelne Sendungen fast täglich wieder erscheinen, würde sich ein eigener Beitrag lohnen, um hier bessere Kriterien zu finden. Mir ist beispielsweise recht häufig die Sendung “Sitzung ZDF-Fernsehrat” aufgefallen, aber da es sich nur um einige wenige Einträge handelt, hat mich das bisher nicht gestört.
-
@menchensued sagte in Filmliste verstetigen, damit keine Filme fälschlich als neu angezeigt werden:
@mvsfsvm sagte in Filmliste verstetigen, damit keine Filme fälschlich als neu angezeigt werden:
Das allein sollte aber nicht dazu führen, dass diese Sendungen massenhaft als neu auftauchen.
Ist das wirklich so? Oder sind es nicht eher nur ein paar Filme, die als neu erscheinen?
Massenhaft war vielleicht etwas übertrieben, aber alle paar Tage (genauer kann ich das jetzt nicht sagen) sind das schon mehr als ein paar Filme. Zum Teil, aber nicht immer, sind es hauptsächlich Sendungen eines Senders. Beim letzten Mal waren es die vom HR.
Vielleicht sollten wir erst einmal den Begriff NEU erklären. Das ist eine Funktion innerhalb der MV Anwendung und kommt durch direkten Vergleich der heruntergeladenen alten und neuen Filmliste zustande. Es gibt mehrere Ursachen dafür, dass so eine neue Sendung erkannt wird
- Die Sendung wurde mal irgendwann nicht mehr beim Sender gefunden und später erneut gefunden.
- Die alte Filmliste ist nicht komplett. Früher musste man bis 10:30 Uhr warten, bevor ein kompletter Suchlauf über alle Sender enthalten waren. Keine Ahnung, ob das heute noch so ist.
- Die Sender basteln an ihrer eigenen Mediathek herum. Eventuell verändern sich sehr viele Parameter, wie der Speicherort, der Name der Sendung oder das Thema. Da wird es für eine einfache Software schwierig, das Böse vom Guten zu trennen. Vorzugsweise erscheinen einige Sendungen dann erneut oder doppelt ohne das Risiko, dass eine Sendung fälschlicherweise wieder gelöscht wird.
1 und 2 können es eher nicht sein, da ich immer nur manuell lade und u. a. genau deshalb die alte Filmliste nur erweitern lasse.
Falls einzelne Sendungen fast täglich wieder erscheinen, würde sich ein eigener Beitrag lohnen, um hier bessere Kriterien zu finden. Mir ist beispielsweise recht häufig die Sendung “Sitzung ZDF-Fernsehrat” aufgefallen, aber da es sich nur um einige wenige Einträge handelt, hat mich das bisher nicht gestört.
Es sind mir da schon immer wieder einzelne Sendung aufgefallen, die da immer wieder mal als neu auftauchen, warum auch immer. Konkret etwas nennen kann ich jetzt aber nichts. So etwas fällt mir beim Durchsehen der Liste auf und die Einzelheiten sind schnell wieder vergessen.
-
@mvsfsvm sagte in Filmliste verstetigen, damit keine Filme fälschlich als neu angezeigt werden:
Beim letzten Mal waren es die vom HR.
Ja, BR und HR hatten Probleme.
-
Hallo zusammen,
es freut mich, dass etwas Bewegung in die Sache gekommen ist. Deshalb möchte ich zur Unterstützung auch weiter aktuelle Beispiele liefern.
Heute waren (diesmal ohne meine üblichen Filter, sondern nur beschränkt auf Videos mit mindestens 14 Minuten Länge) knapp über 100 Einträge von ARTE als neu markiert, obwohl sie älter als drei Wochen waren.
Die meisten waren einigermaßen gleichverteilt zwischen 2.2.2018 und 26.5.2018 (alle Stichproblen broken). Von den restlichen waren fünfzehn vom Mai 2017 (fast alle waren “28 Minuten”, alle Stichproben broken), drei vom Mai 2016 (“Jordskott”, broken) und eins vom November 2015 (Mythos Einstein, online). Also immer einigermaßen zusammenhängende Bereiche unterbrochen von größeren zeitlichen Lücken, die zum Teil genau ein Jahr groß sind.
Hier nun ein paar konkrete Beispiele:
Ich hoffe, das hilft.
herbivore
-
@herbivore sagte in Filmliste verstetigen, damit keine Filme fälschlich als neu angezeigt werden:
Heute waren (diesmal ohne meine üblichen Filter, sondern nur beschränkt auf Videos mit mindestens 14 Minuten Länge) knapp über 100 Einträge von ARTE als neu markiert, obwohl sie älter als drei Wochen waren.
Die meisten waren einigermaßen gleichverteilt zwischen 2.2.2018 und 26.5.2018 (alle Stichproblen broken). Von den restlichen waren fünfzehn vom Mai 2017 (fast alle waren “28 Minuten”, alle Stichproben broken), drei vom Mai 2016 (“Jordskott”, broken) und eins vom November 2015 (Mythos Einstein, online). Also immer einigermaßen zusammenhängende Bereiche unterbrochen von größeren zeitlichen Lücken, die zum Teil genau ein Jahr groß sind.
Kann ich absolut nicht reproduzieren. ich habe hier genau eine ältere Sendung vom 22.11.15 als NEU markiert, alles andere ist 10.6.
-
Hallo vitusson,
das finde ich nicht per se verwunderlich. Wenn die Sendungen in jeder Filmliste enthalten wären (oder nie in der Filmliste wären), würden sie ja nicht (fälschlich) als neu angezeigt werden. Die fälschlich als neu angezeigten entstehen ja gerade dadurch, dass sie nur manchmal fälschlich da sind bzw. nur manchmal fälschlich nicht. Und damit natürlich in “meiner” Liste vorhanden seinen können und in “deiner” noch nicht oder nicht mehr.
Von wann die Filmliste ist, in denen die o.g. Beispiele enthalten sind, kann ich nicht ganz exakt sagen, aber doch ziemlich genau eingrenzen; meine filme.json ist von 07:03 (MESZ) und mithin dürfte die bewusste Filmliste max. eine Stunde älter sein.
Ich weiß ja nicht, ob die Filmlisten zumindest eine Zeit lang archiviert werden. Falls ja, wäre es sicher interessant, wenn jemand, der Zugriff auf das Archiv hat, schauen könnte, in welchen bzw. wie vielen Listen die genannten Beispiele enthalten sind.
Ob die Filme aktuell auch bei mir nicht mehr enthalten wären, kann ich momentan leider nicht sagen, da ich aktuell den Workaround verwende, die (lokale) Filmliste nur zu erweitern.
Ich hoffe, dass meine (neuen) Angaben reichen, um die Sache (weiter) einzugrenzen.
herbivore
-
@herbivore sagte in Filmliste verstetigen, damit keine Filme fälschlich als neu angezeigt werden:
Ich weiß ja nicht, ob die Filmlisten zumindest eine Zeit lang archiviert werden
Schau mal hier, dort findest Du alle täglichen Filmlisten der letzten Jahre
-
Hallo MenchenSued,
vielen Dank für den Hinweis.
Ich hab mal aus dem Archiv die Listen vom 9. und vom 10. und zusätzlich die aktuelle Filmliste runtergeladen, also vorgestern, gestern und heute. Alle Urls aus meinem gestrigen Beitrag finden sich in der Filmliste von gestern und heute, aber nicht von vorgestern. Insofern ist also zumindest untermauert, dass diese bei mir (fälschlich) als neu angezeigt wurden.
Warum dies bei vitusson nicht der Fall war, lässt sich dadurch aber nicht genau klären. Am angegeben Ort gibt es eine Filmliste pro Tag und das sicher für die allermeisten Fälle ausreichend. Für den Unterschied zwischen vitusson und mir bräuchte man aber wohl ein Archiv der stündlichen Listen. Irgendwo habe ich z.B. gelesen, dass es mal den Fall gab, dass sich die Filmlisten der geraden und der ungeraden Stunden systematisch unterschieden haben. So etwas könnte z.B. der Grund für den Unterschied zwischen vitusson und mir sein.
Aber es geht hier ja auch nicht unbedingt, um diesen Unterschied, sondern eher um die Frage, warum die oben genannten Videos am 10. wieder in (fälschlich) in der Liste aufgetaucht sind. Ich hoffe, das könnt ihr klären und die Ursache beheben.
herbivore
-
Hallo zusammen,
heute kam es wieder ganz arg. Viele alte/abgelaufene Sendungen von ARTE, BR und RBB. Aber irgendwie ist auch lokal nicht alles so, wie ich es erwartet hätte. Dazu hätte ich gerne gewusst, worauf der der Haken “nur erweitern” überhaupt wirkt. Er befindet sich ja in der Groupbox “manuell Laden”. Wirkt er also nur auf den Button “Filme jetzt laden” in dieser Groupbox? Oder auch auf den Button “Filme jetzt laden” in der Groupbox “automatisch laden”? Bitte keine Vermutungen, sondern nur, wer es sicher weiß.
Ich habe nämlich den Radiobutton auf “manuell laden” gestellt, drücke aber anschließend den Button “Filme jetzt laden” in der Groupbox “automatisch laden”. Ich hatte nun vermutet, dass der Haken “nur erweitern” trotzdem wirkt (und nur etwas irreführend platziert ist). Irre ich mich da?
Jedenfalls sank die Anzahl der angezeigten Filme - immer wenn ich darauf geachtet habe - nie, sondern stieg stetig.
Trotzdem fehlte in der (von mir archivierten) filme.json von gestern der davon definitive vorhandene o.g. Jordskott Eintrag, was ja bei “nur erweitern” eigentlich nicht der Fall sein dürfte. Entsprechen wurde er heute schon wieder - neben vielen anderen mir bekannt vorkommenden Einträgen - als neu angezeigt.
Komisch ist auch, dass meine filme.json von heute anscheinend weniger Einträge (243996) hat, als die gerade eben zum Vergleich heruntergeladene aktuelle Filmliste (244114). Das könnte allerdings daran liegen, dass die aktuelle Filmliste nicht exakt die heute morgen eingespielte ist. Trotzdem müsste bei mehreren Tagen “nur erweitern” die Zahl der Einträge in filme.json eigentlich wesentlich höher sein, als die der aktuellen Filmliste.
Ich kann leider nicht ausschließlich, dass ich doch irgendwann mal den Haken vergessen habe. Trotzdem passt da für mich im Moment einiges nicht zusammen. Ich werden versuchen, jetzt konsequent alles zu archivieren,sowohl die Filmlisten, die ich einspiele, als auch immer die filme.json-Datei nach dem Einspielen. Und dann wieder melden, was ich beobachte.
Auch wenn ich das im Moment etwas verwirrend finde, stellt es dennoch nicht alles in Frage, was ich oben geschrieben habe. Denn in den archivierten Filmlisten finden sich ja z.B. meine Angaben trotz des Einwandes von vitusson bestätigt. Der Wunsch nach Verstetigung der Filmliste(n) bleibt also weiterhin aktuell.
herbivore
-
Hallo zusammen,
ich konnte mich die letzten Tage leider nicht melden, da es massive Probleme mit meinem PC gab. Ich musste deshalb zeitweise aufs Notebook ausweichen, ohne Zugriff auf den Stand auf dem PC zu haben, was meinen Plan, alle Änderungen lückenlos aufzuzeichnen, leider gründlich durcheinander gebracht hat.
Trotzdem hat sich nun alles geklärt, was mich im letzten Beitrag verwundert hatte. Es ist nämlich wohl tatsächlich so, dass der Haken bei “nur erweitern” sich nur auf den “Jetzt laden” Button in derselben Groupbox bezieht.(*)
Entsprechend habe ich die Filmliste die ganze Zeit normal aktualisiert und eben nicht nur erweitert, wie ich eigentlich dachte. Dadurch erklärt sich auch, warum Einträge, die definitiv vorhanden waren, doch wieder als neu angezeigt wurden, eben weil sie zwischenzeitlich doch wohl wieder rausgeflogen waren. Die Tatsache, dass sie in einer testweise kurz danach geladenen Filmliste gleich wieder vorhanden waren, zeigt eben das Problem, dass die Filmliste nicht so stetig ist, wie sie sein könnte und sollte.
Und wenn es tatsächlich so ist, dass Einträge nur mal für eine Liste rausfliegen und in der nächsten Liste gleich wieder drin sind, würde mein Eingangs gemachter Vorschlag ja tatsächlich etwas bringen.
Dass es sich bei den bewussten Einträgen um (sehr) lange abgelaufene Sendungen handelt, stand ja schon weiter oben fest.
Gibt es dazu schon irgendwas neues? Ist einer der Entwickler an der Thematik dran?
Ein Teil des Problems würde sich ja lösen, wenn solche Einträge gar nicht mehr auftauchen würden.
herbivore
(*) Für mich ist nicht ganz einzusehen, warum der Haken “nur erweitern” nur für die untere Groupbox zu Verfügung steht. Der Bedarf, die Liste nur zu erweitern, besteht doch ganz unabhängig davon, ob die Liste manuell (unterer “Jetzt laden” Button) oder (halb-)automatisch (oberer “Jetzt laden” Button) heruntergeladen wird. Entsprechend schlage ich vor, auch in der oberen Groupbox eine “nur erweitern” Checkbox anzubieten oder die “nur erweitern” Checkbox aus der unteren Checkbox herauszuziehen und z.B. oberhalb beider Groupboxen zu platzieren. Natürlich müsste auch die Implementierung so geändert werden, dass der Haken auf beide Button wirkt. Das sollte sich alles mit minimalen Aufwand realisieren lassen.
Reicht es, wenn ich diesen neuen Vorschlag hier mache, oder soll ich einen extra Thread dafür erstellen? Bzw. den Vorschlag in einem anderen bestehenden Thread posten? Wenn ja, welchem?
-
@herbivore sagte in Filmliste verstetigen, damit keine Filme fälschlich als neu angezeigt werden:
Der Bedarf, die Liste nur zu erweitern, besteht doch ganz unabhängig davon …
Die Listen haben heute schon einen Umfang, der auf vielen älteren PCs Probleme bereitet. Von der endlosen Erweiterung sollte unbedingt Abstand genommen werden. Zudem hat @Nicklas2751 ja oben schon erwähnt, dass es hier später mal eine entsprechende Änderung geben wird, wenn eine serverseitige DB verwendet wird.
Gibt es dazu schon irgendwas neues? Ist einer der Entwickler an der Thematik dran?
Auch dazu wurde bereits eine Aussage vor 10 Tagen gemacht.
-
Hallo MenchenSued,
danke für die prompte Rückmeldung.
Die Listen haben heute schon einen Umfang, der auf vielen älteren PCs Probleme bereitet.
Auch ich sehe das Erweitern vor allem als Workaround und kenne die Speicherprobleme. Trotzdem wird die Option nun mal angeboten und ist in bestimmten Konstellationen auch hilfreich. Und wenn sie angeboten wird, sehe ich keinen Grund, warum nur für einen von den beiden Button funktioniert. Daher mein Vorschlag.
Auch dazu wurde bereits eine Aussage vor 10 Tagen gemacht.
Deshalb fand ich es auch nicht sooooooo ungeduldig von mir, nochmal nach dem aktuellen Stand zu fragen. Auch war mir bei der obigen Rückmeldung nicht ganz klar, ob das Problem nur bekannt geworden ist oder ob schon konkrete Schritte zu seiner Analyse und Behebung eingeleitet oder zumindest eingeplant wurden. Und ob es einen konkreten Entwickler gibt, der sich zuständig fühlt. Alles nur freundliche und interessierte Nachfragen. Ich weiß, dass ihr das alles in euer Freizeit macht.
Wenn die Ursache z.B. schon identifiziert wurde, brauche ich keine weiteren Beispiele liefern, andernfalls schon.
herbivore
-
@herbivore sagte in Filmliste verstetigen, damit keine Filme fälschlich als neu angezeigt werden:
Es ist nämlich wohl tatsächlich so, dass der Haken bei “nur erweitern” sich nur auf den “Jetzt laden” Button in derselben Groupbox bezieht.(*)
[…]
(*) Für mich ist nicht ganz einzusehen, warum der Haken “nur erweitern” nur für die untere Groupbox zu Verfügung steht.
Eben weil die Option nur in Verbindung mit den Einstellungen und Optionen zum manuellen Laden funktioniert, befindet die sich innerhalb der entsprechenden Box.
-
@herbivore sagte in Filmliste verstetigen, damit keine Filme fälschlich als neu angezeigt werden:
Deshalb fand ich es auch nicht sooooooo ungeduldig von mir, nochmal nach dem aktuellen Stand zu fragen.
Wir haben aktuell alle nicht viel Zeit um so viel weiter zu entwickeln wie wir das gerne würden. @DerReisende77 arbeitet aktuell an einer neuen MediathekView version die schon recht weit ist und sehr gut aussieht aber am Server an dem u.a. @TheSasch, @pidoubleyou und ich arbeiten geht es zwar voran aber eben nicht so schnell. Ich denke nicht, dass wir selbst in einem halben Jahr soweit sind das wir die DB Thematik angehen können. So doof das mit den immer wieder mal verschwindenden Filmen ist es ist wichtiger, dass wir die Crawler erstmal an sich stabiler kriegen und z.B. auf die jetzt schon länger in Entwicklung befindliche neue Architektur switchen können was dann erstens umbauten in Richtung DB vereinfacht und zusätzlich das ganze stabiler und einfacher wartbar macht. Auch werden dann einige Sender mehr Filme finden und evtl das ein oder andere aktuelle Problem gelöst da wir einen großteil der Crawler für die neue Architektur komplett neu gebaut haben.
Oder kurz gesagt, es gibt aktuell andere Entwicklungen die erst mal wichtiger sind und da wir nur ein kleines Team sind das nicht so viel Zeit aktuell hat für MV wie wir es gerne würden kann das ganze noch länger dauern.
-
@herbivore sagte: Entsprechend schlage ich vor, auch in der oberen Groupbox eine “nur erweitern” Checkbox anzubieten oder die “nur erweitern” Checkbox aus der unteren Checkbox herauszuziehen und z.B. oberhalb beider Groupboxen zu platzieren.
Die Funktion ist – wie hier schon dargelegt wurde – nicht unproblematisch und nur an Advanced User gerichtet. Diese im MV-Hauptfenster den Usern noch unter die Nase zu reiben, wäre eine schlechte Idee.
-
Hallo Nicklas2751,
vielen Dank, jetzt sehe ich klarer. Auch wenn mich - und wohl auch viel andere Benutzer - die fälschlich neuen Einträge schon ziemlich nerven, verstehe und akzeptiere ich eure Haltung. Dann hoffe und warte ich geduldig, dass das Problem im Crawler mit der neuen Architektur behoben wird.
Hallo mvsfsvm,
ich stimme dir zu, dass so, wie es jetzt ist, Oberfläche und Implementierung zueinander passen. Solange die Funktion nur auf den unteren Laden-Button wirkt, ist es natürlich konsequent, dass sich Erweitern-Checkbox nur in der unteren Groupbox befindet. Mein Vorschlag war jedoch, dass die Funktion auch auf den oberen Button wirkt und entsprechend auch in die obere Groupbox eine Erweitern-Checkbox kommt oder die Erweitern-Checkbox oberhalb beider Groupboxen platziert wird. Auch dann passen Oberfläche und Implementierung zueinander. Nur ist es dann insofern konsistenter, dass für beide Buttons der gleiche Funktionsumfang angeboten wird.
Hallo styroll,
Diese im MV-Hauptfenster den Usern noch unter die Nase zu reiben, wäre eine schlechte Idee.
nee, so wars nicht gemeint. Ins Hauptfenster soll die Checkbox nicht, sondern eben nur für beide Laden-Button im Fenster “neue Filmliste laden” zur Verfügung stehen.
Hallo zusammen,
was ich an mvsfsvm und styroll geantwortet habe, dient nur Klarstellung, wie mein Checkbox-Vorschlag gemeint war. Ich akzeptiere, wenn das für euch nur eine geringe Prio hat und deshalb nicht implementiert wird. Auch wenn ich andersherum denke, dass auch der Aufwand sehr gering wäre.
Um das Problem mit dem Speicherplatz zu entschärfen, fällt mir gerade noch ein, dass es einen großen Effekt haben würde, wenn die Blacklist-Einstellungen “hart” gefiltert werden würden. Also dass schon beim Laden der Liste in den Speicher alle “schwarzen” Einträge sofort verworfen und gar nicht in die In-Menory-Liste aufgenommen werden würden. Ich habe z.B. die Mindestlänge auf 14 Minuten gestellt und alleine diese Einstellung führt dazu, dass fast drei Viertel der Einträge rausfliegen (würden). Das wäre eine signifikante Entlastung für alte PCs. Und für Leute, die - wie ich momentan - die Liste ständig nur “erweitern”, würde das bedeuteten, dass die In-Memory-Liste erst dann die Größe der normalen Filmliste erreicht, wenn sie auf das vierfache angewachsen ist. Das schafft einen großen Spielraum.
herbivore
-
@herbivore sagte: Um das Problem mit dem Speicherplatz zu entschärfen, fällt mir gerade noch ein, dass es einen großen Effekt haben würde, wenn die Blacklist-Einstellungen “hart” gefiltert werden würden.
Da magst du recht haben. Auf der anderen Seite macht die bereits implementierte Funktion "nur die Filme der letzen x Tage laden " unter Einstellungen -> Allgemein etwas Ähnliches und ist für User mit zu wenig RAM gedacht.
-
@styroll sagte in Filmliste verstetigen, damit keine Filme fälschlich als neu angezeigt werden:
Auf der anderen Seite macht die bereits implementierte Funktion "nur die Filme der letzen x Tage laden " unter Einstellungen -> Allgemein etwas Ähnliches und ist für User mit zu wenig RAM gedacht.
Das hast du schon einmal falsch beschrieben. Diese schon vorhandene Funktion verkleinert die Filmliste auf der Platte auf die Filme der letzten x Tage. Und das ist das Gegenteil von dem, was herbivore möchte.
Diese verkleinerte Filmliste wird dann komplett geladen. Das torpediert das kontinuierliche Erweitern der Filmliste.
