Blacklist filtern dauert ewig

[Caligula]

@DerReisende77 sagte in Blacklist filtern dauert ewig:

Von daher wäre es gut wenn Du mir die
mediathek.xml

zukommen lassen könntest.

Anbei die Datei und auch das letzte Log. Die werde ich auch mal ausmisten. Habe schon ein paar überflüssige Pfade etc. gesehen. Danke.
mediathek.xml.txt
mediathekview.log

[DerReisende77]

@Caligula die 10.44s sind nur ein Teilausschnitt des Prozesses.
Ich habe deine Blacklist mal bei mir eingebaut und mein supernagelneuer core i9 mit 16 kernen braucht 1 Minute (unter Vollast und Pfeifen der Lüfter) bis etwas dargestellt wird :D Der Speicherverbrauch scheint nicht das Problem zu sein mit 2GB Zuweisung aber es ist zur Zeit einfach ein Berechnungsproblem. Die Blacklist muß auf alle Einträge angewendet werden, da wird also ordentlich etwas berechnet zur Zeit. Ich muß das mal nachvollziehen ob ich da etwas optimieren kann und wo das Problem liegt.
Allgemein kann ich schon mal sagen: Je länger regexp pattern sind umso langsamer wird das ganze. Ich habe deine Einträge mal überflogen und da sind eine Menge in unterschiedlicher Länge drin.
Aber ich habe ja nun etwas zum testen und schaue es mir an. Es wird aber wohl nicht in 13.6 einfließen.

[DerReisende77]

@Caligula ggf. hilft es dir schon mal, Trailer Hörfassungen etc beim Laden einer Filmliste auszuschließen. Das reduziert schon einmal die Anzahl der ursprünglich vorhandenen Filme und damit auch das Berechnungsaufkommen.

[gerdd]

“Ich habe überhaupt keine Blacklist” …

Und trotzdem vergehen etwa zwei Minuten mit dem Text “Blacklist filtern” wenn ich eine neue Filmliste geladen habe.

Daher eine wild geratene Vermutung: Da steht zwar “Blacklist filtern” aber in der Zeit geschieht noch verschiedenes anderes.

Dies sind die Daten: V13.0.6 auf Win 7 Pro mit 8GB (aber kein Speicher-Parameter, also Std. 1GB, richtig?) Intel Core i3 2.3GHz keine SDD; aber:

Standard-Einstellung ist “neu”-Filter ist an und Sortierung nach Datum. Die letzten beiden Items sind es, die ich im Verdacht habe. Das Programm muss die derzeit ca. 376,000 Einträge erst sortieren und dann noch auf ca. 1000-3000 eindampfen. Da vermute ich einfach mal, das braucht seine Zyklen … und meine history.txt hat auch noch einmal gut 28.000 Einträge, die ja auch noch eingearbeitet werden müssen.

Ich nehme mal an, dass sich in diesem Bereich zwischen meiner Version und der aktuellen nicht allzu viel verändert hat. Deshalb mein Vorschlag: Bevor man da gleich losoptimiert, was so oder so ausgehen kann, ist es vielleicht einfacher, den angezeigten Text “Blacklist filtern” im Verlauf der Arbeiten abändern, so dass man sieht, was da wirklich gerade passiert. Im Log könnte man diese Texte dann auch noch mit Zeitstempel ausgeben.

Ich persönlich arbeite viel mit der History, da bin ich bereit, den Preis zu zahlen, aber für einen Test könnte man seine History mal verstecken, so sie denn von signifikanter Größe ist. Auch die Sortierung könnte man probehalber mal weglassen - was ist eigentlich die “natürliche” Reihenfolge?

Der Thema/Titel-Filter braucht übrigens auch so seine Zeit, insbesondere, wenn er gleich nach dem ersten eingegebenen Buchstaben losfiltert und dann die weiteren Zeichen erst anschaut, wenn er damit fertig ist. Der Sender-Filter geht übrigens im Vergleich rasend schnell.

[Caligula]

@DerReisende77 sagte in Blacklist filtern dauert ewig:

Aber ich habe ja nun etwas zum testen und schaue es mir an.

Super. Vielen Dank für die Mühe und Berücksichtigung in einer der kommenden Versionen. Ich werde mal meine Liste optimieren. Ich werfe zu gern Dinge raus, die ich nicht sehen möchte und da ich fast jeden Tag alles Neue checke (durchforste nur noch die Mediatheken, lade mir Interessantes runter und sehe es dann auf dem TV) möchte ich eben diese Liste mit Neuem auf ein Minimum reduzieren. Deswegen die vielen Einträge. Ist die Jahre über enorm gewachsen.

Tolles Programm und super Support im Forum. Danke! :+1:

[DerReisende77]

@Caligula Dein Blacklist-Eintrag Nr. 37 (nur Sender zdf-tivi) ist falsch. Es gab noch nie so einen Sender.

@gerdd Deine Annahmen sind teils falsch, es hat sich einiges geändert. Und ich denke ich kann einschätzen ob ich meine Zeit verbrennen möchte oder ob ich sie mit Arbeit oder Freizeit verbringe ;)
Und ja, der Text “Blacklist filtern” sollte angepasst werden, da passieren noch ein paar Filter mehr.

[DerReisende77]

@Caligula Wenn Du die Blacklist vor der Bearbeitung deaktivierst hast Du auch keine langen Verzögerungen beim Aufräumen.

[Caligula]

@DerReisende77 sagte in Blacklist filtern dauert ewig:

Ich habe deine Einträge mal überflogen und da sind eine Menge in unterschiedlicher Länge drin.

Kannst Du mir dazu bitte noch einen Tipp geben? Was bedeutet unterschiedliche Länge?
Ist hier die absolute Länge des Strings gemeint, bspw.
#:.ja uff erstmal!. ggü.
#:.die gefährlichsten schulwege der welt. ?

Oder die Komplexität, d.h. Verwendung von Platzhaltern bspw?

[Caligula]

@DerReisende77 sagte in Blacklist filtern dauert ewig:

Dein Blacklist-Eintrag Nr. 37 (nur Sender zdf-tivi) ist falsch. Es gab noch nie so einen Sender.

OK. Da es eine niedrige Nummer ist, vermutlich Fehleingabe. Wobei die Nummer wohl nichts drüber sagt, wann das eingetragen wurde. Sehe gerade das Alles alphabetisch sortiert ist. Ich werfe es raus.

@DerReisende77 sagte in Blacklist filtern dauert ewig:

Wenn Du die Blacklist vor der Bearbeitung deaktivierst hast Du auch keine langen Verzögerungen beim Aufräumen.

Danke.

[DerReisende77]

@Caligula sowohl als auch. regexp sind nicht bekannt für ihre hohe Geschwindigkeit. Aber das Problem liegt meines Erachtens noch woanders. Soweit ich das beim Debuggen gesehen führt eine Menge deiner Einträge zu keinem Filteregebnis. Das hat zur Folge das immer die gesamte Länge von 5384 Filtern durchprobiert werden muß (PRO Film). Damit ist natürlich der Verarbeitungsaufwand enorm. Wenn die Einträge gar nicht da wären würde das Programm sich das sparen können. Aber das kann ich ja nicht abschätzen wieviele Filter anschlagen oder nicht.

Das deaktivieren der fehlerhaften zdf-tivi Regel brachte bei mir schon ca. 7% höhere Geschwindigkeit.

[Caligula]

@DerReisende77 sagte in Blacklist filtern dauert ewig:

Das deaktivieren der fehlerhaften zdf-tivi Regel brachte bei mir schon ca. 7% höhere Geschwindigkeit.

:astonished_face:

Die vielen Einträge ohne Ergebnis sind nachvollziehbar. Viele dieser Sendungen kommen nur ein Mal oder werden sehr selten mal wiederholt. So sieht eine Liste aus, die historisch gewachsen ist.

Ich kann es aber auf die harte Tour machen: Blacklist löschen bis auf Senderausschlüsse und dann neu eintragen. Ist ggf. sinnvoller, als jetzt Tausende Filter zu optimieren. Mal testen, was da raus kommt.

[DerReisende77]

@Caligula Ich muß mich korrigieren, es gibt doch ZDF-tivi :( Habe mich vertan

[Caligula]

@DerReisende77 sagte in Blacklist filtern dauert ewig:

Habe mich vertan

War auch am Rätseln. Egal. Ich starte morgen mal mit 'ner (fast) ganz frischen Blacklist.

[Caligula]

@DerReisende77

Das Programm läuft mit aktuell nur noch 132 Filtern in der Blacklist rasend schnell. Ich achte auch darauf nicht über Titel UND Thema zu filtern (wie früher), sondern nur noch über Titel und halte die Ausschlüsse so kurz wie möglich. Die Liste wird natürlich wachsen. Vermutlich war bei der großen Liste an einem Punkt vor einigen Tagen mit weiteren Einträgen ein Kipppunkt erreicht, wo dann die Berechnungszeit enorm anwuchs. Anders kann ich mir die plötzliche starke Verlangsamung nicht erklären.

Nochmal vielen Dank für den Support.

[DerReisende77]

Freut mich das es nun wieder einigermaßen schnell ist.
Ich werde in einer der folgenden Version das Herausfiltern der Sender beim Laden der Filmliste einbauen. Dann braucht man dafür keine langsame Blacklist-Einträge mehr und die Vorfilterung wirkt sich auch direkt auf die Blacklistperformance positiv aus da die Anzahl der zu filternden Filme schon vorab reduziert ist.

Ich wiederhole nochmal meinen Tipp ggf. auch jetzt schon Hörfassungen etc im Ladedialog zu deaktivieren. Dies reduziert schon jetzt die Anzahl der Filme. Für 13.6 habe ich kurzfristig noch die Livestreams dort hinzugefügt.

Ich habe mir aber auf der todo liste aufgeschrieben zu untersuchen ob man ggf. die Filterung irgendwie beschleunigen kann.

[mvsfsvm]

Ich hätte da ein paar Ideen. Die Filter nach Anzahl der Treffer sortieren, die mit den meisten Treffern zu erst, und mit folgenden Filtern nur noch die Liste filtern, die die davor übrig gelassen hat. Hörfassungen etc. gar nicht erst zu laden geht ja schon in die Richtung.

[DerReisende77]

Nach Treffern sortieren funktioniert aber nur nach dem ersten kompletten Durchlauf beim Programmstart und solange keine neuen Daten hinzukommen.
Ich muss mir die Filterlogik mal in Ruhe ansehen da es eine Klasse ist die die gesamte Performance killt. Aber auf die schnelle kriegt man da auch keinen Dreh rein. Das wird also etwas dauern um das gut zu beschleunigen.
Die einfachste und schnellste Lösung sind viele CPUs und viel RAM 😂 denn der algorithmus arbeitet die Liste parallel ab.

[sunrise]

@Caligula Kannst du mir bitte die Info durchgeben, wie man Titel blacklisted. Ich habe im Kontext-Menu nur Sender / Thema-Sender / Thema. Auch ich leide unter einer inzwischen mindestens 10minütigen Wartezeit wegen der aufgeblähten Blacklist. Schneller geht es, wenn man die unerwünschten Beiträge als “gesehen” markiert. Der Nachteil dabei ist leider, dass die “gesehenen” Filme bei Änderung der URL, was besonders beim ZDF regelmässig geschieht, wieder als neu erscheinen.

[DaDirnbocher]

@sunrise sagte in Blacklist filtern dauert ewig:

Caligula Kannst du mir bitte die Info durchgeben, wie man Titel blacklisted. Ich habe im Kontext-Menu nur Sender / Thema-Sender / Thema

Über die Einstellungen.

[sunrise]

@DaDirnbocher Danke. Schade, dass das nicht über das Kontextmenü geht.