Blacklist filtern dauert ewig
-
DerReisende77 sagte in Blacklist filtern dauert ewig:
beim ihm wird -Xmx1G drin stehen.
Schon mal vorab: Bei mir steht da nur der Kommentar drin und sonst Nichts! Ich habe jetzt -Xmx2G eingefügt und lasse das morgen laufen. Ich nutze ein Notebook mit 4 GB Ram und Intel I7 3517U bei 1,9 GHz. Ist keine superschnelle Maschine aber zuletzt lief da Mediathekview superschnell, bis zu diesem plötzlichen Problem.
-
@Caligula wenn nichts drin steht ist die einstellung -Xmx1G vorgegeben. die datei dient der anpassung der standardparameter. und ein i7 sollte nicht so langsam sein, mein altes macbook von 2011 läuft auch noch sehr vernünftig mit MV
-
Ich habe mit 2G getestet. Läuft jetzt klar schneller.
Das Log kann ich nicht wirklich deuten, aber ich habe wieder nach Zeitlücken geschaut und komme demnach so auf etwa 3 Minuten (vorher 7 Minuten) für das filtern. Mich wundert das hier das Filtern der Blacklist mit nur 10 Sekunden angezeigt wird oder lese ich das falsch? Die Anzeige ist auch wieder eingefroren beim Filtern. Speicherpeaks sah ich nur bei knapp über 1 GB. Seltsam sind auch die beiden letzten “Compiling Pattern”, die offenbar recht lange dauerten. Ist das ggf. ein Hinweis auf Einträge, die Probleme machen? Dann werfe ich die raus.DEBUG 2020-06-22 09:12:10,164 [ForkJoinPool.commonPool-worker-7] tool.Filter$PatternCacheLoader (Filter.java:219) - COMPILING PATTERN: #:.aktuelle stunde.
DEBUG 2020-06-22 09:12:15,947 [ForkJoinPool.commonPool-worker-5] daten.ListeBlacklist (ListeBlacklist.java:140) - FILTERING and ADDING() took: 10.44 s
DEBUG 2020-06-22 09:12:15,950 [ForkJoinPool.commonPool-worker-5] daten.ListeBlacklist (ListeBlacklist.java:148) - filterListe(): 10.46 s
INFO 2020-06-22 09:12:16,280 [AWT-EventQueue-0] daten.ListeDownloads (ListeDownloads.java:59) - Filme in Downloads eintragen
DEBUG 2020-06-22 09:12:56,771 [AWT-EventQueue-0] tool.Filter$PatternCacheLoader (Filter.java:219) - COMPILING PATTERN: #:.die sendung vom.
DEBUG 2020-06-22 09:14:00,082 [AWT-EventQueue-0] tool.Filter$PatternCacheLoader (Filter.java:219) - COMPILING PATTERN: #:.das letzte wort:.
INFO 2020-06-22 09:16:23,268 [AWT-EventQueue-0] config.Daten (Daten.java:478) - -------------------------------------------------------
INFO 2020-06-22 09:16:23,269 [AWT-EventQueue-0] config.Daten (Daten.java:479) - Einstellungen sichern
INFO 2020-06-22 09:16:23,504 [AWT-EventQueue-0] config.Daten (Daten.java:504) - Einstellungen wurden gesichert
INFO 2020-06-22 09:16:23,505 [AWT-EventQueue-0] config.Daten (Daten.java:513) - -------------------------------------------------------
INFO 2020-06-22 09:16:23,510 [AWT-EventQueue-0] controller.IoXmlSchreiben (IoXmlSchreiben.java:206) - Daten Schreiben nach: -
@DerReisende77 sagte in Blacklist filtern dauert ewig:
Von daher wäre es gut wenn Du mir die
mediathek.xmlzukommen lassen könntest.
Anbei die Datei und auch das letzte Log. Die werde ich auch mal ausmisten. Habe schon ein paar überflüssige Pfade etc. gesehen. Danke.
mediathek.xml.txt
mediathekview.log -
@Caligula die 10.44s sind nur ein Teilausschnitt des Prozesses.
Ich habe deine Blacklist mal bei mir eingebaut und mein supernagelneuer core i9 mit 16 kernen braucht 1 Minute (unter Vollast und Pfeifen der Lüfter) bis etwas dargestellt wird
Der Speicherverbrauch scheint nicht das Problem zu sein mit 2GB Zuweisung aber es ist zur Zeit einfach ein Berechnungsproblem. Die Blacklist muß auf alle Einträge angewendet werden, da wird also ordentlich etwas berechnet zur Zeit. Ich muß das mal nachvollziehen ob ich da etwas optimieren kann und wo das Problem liegt.
Allgemein kann ich schon mal sagen: Je länger regexp pattern sind umso langsamer wird das ganze. Ich habe deine Einträge mal überflogen und da sind eine Menge in unterschiedlicher Länge drin.
Aber ich habe ja nun etwas zum testen und schaue es mir an. Es wird aber wohl nicht in 13.6 einfließen. -
@Caligula ggf. hilft es dir schon mal, Trailer Hörfassungen etc beim Laden einer Filmliste auszuschließen. Das reduziert schon einmal die Anzahl der ursprünglich vorhandenen Filme und damit auch das Berechnungsaufkommen.
-
“Ich habe überhaupt keine Blacklist” …
Und trotzdem vergehen etwa zwei Minuten mit dem Text “Blacklist filtern” wenn ich eine neue Filmliste geladen habe.
Daher eine wild geratene Vermutung: Da steht zwar “Blacklist filtern” aber in der Zeit geschieht noch verschiedenes anderes.
Dies sind die Daten: V13.0.6 auf Win 7 Pro mit 8GB (aber kein Speicher-Parameter, also Std. 1GB, richtig?) Intel Core i3 2.3GHz keine SDD; aber:
Standard-Einstellung ist “neu”-Filter ist an und Sortierung nach Datum. Die letzten beiden Items sind es, die ich im Verdacht habe. Das Programm muss die derzeit ca. 376,000 Einträge erst sortieren und dann noch auf ca. 1000-3000 eindampfen. Da vermute ich einfach mal, das braucht seine Zyklen … und meine history.txt hat auch noch einmal gut 28.000 Einträge, die ja auch noch eingearbeitet werden müssen.
Ich nehme mal an, dass sich in diesem Bereich zwischen meiner Version und der aktuellen nicht allzu viel verändert hat. Deshalb mein Vorschlag: Bevor man da gleich losoptimiert, was so oder so ausgehen kann, ist es vielleicht einfacher, den angezeigten Text “Blacklist filtern” im Verlauf der Arbeiten abändern, so dass man sieht, was da wirklich gerade passiert. Im Log könnte man diese Texte dann auch noch mit Zeitstempel ausgeben.
Ich persönlich arbeite viel mit der History, da bin ich bereit, den Preis zu zahlen, aber für einen Test könnte man seine History mal verstecken, so sie denn von signifikanter Größe ist. Auch die Sortierung könnte man probehalber mal weglassen - was ist eigentlich die “natürliche” Reihenfolge?
Der Thema/Titel-Filter braucht übrigens auch so seine Zeit, insbesondere, wenn er gleich nach dem ersten eingegebenen Buchstaben losfiltert und dann die weiteren Zeichen erst anschaut, wenn er damit fertig ist. Der Sender-Filter geht übrigens im Vergleich rasend schnell.
-
@DerReisende77 sagte in Blacklist filtern dauert ewig:
Aber ich habe ja nun etwas zum testen und schaue es mir an.
Super. Vielen Dank für die Mühe und Berücksichtigung in einer der kommenden Versionen. Ich werde mal meine Liste optimieren. Ich werfe zu gern Dinge raus, die ich nicht sehen möchte und da ich fast jeden Tag alles Neue checke (durchforste nur noch die Mediatheken, lade mir Interessantes runter und sehe es dann auf dem TV) möchte ich eben diese Liste mit Neuem auf ein Minimum reduzieren. Deswegen die vielen Einträge. Ist die Jahre über enorm gewachsen.
Tolles Programm und super Support im Forum. Danke!
-
@Caligula Dein Blacklist-Eintrag Nr. 37 (nur Sender zdf-tivi) ist falsch. Es gab noch nie so einen Sender.
@gerdd Deine Annahmen sind teils falsch, es hat sich einiges geändert. Und ich denke ich kann einschätzen ob ich meine Zeit verbrennen möchte oder ob ich sie mit Arbeit oder Freizeit verbringe
Und ja, der Text “Blacklist filtern” sollte angepasst werden, da passieren noch ein paar Filter mehr. -
@Caligula Wenn Du die Blacklist vor der Bearbeitung deaktivierst hast Du auch keine langen Verzögerungen beim Aufräumen.
-
@DerReisende77 sagte in Blacklist filtern dauert ewig:
Ich habe deine Einträge mal überflogen und da sind eine Menge in unterschiedlicher Länge drin.
Kannst Du mir dazu bitte noch einen Tipp geben? Was bedeutet unterschiedliche Länge?
Ist hier die absolute Länge des Strings gemeint, bspw.
#:.ja uff erstmal!. ggü.
#:.die gefährlichsten schulwege der welt. ?Oder die Komplexität, d.h. Verwendung von Platzhaltern bspw?
-
@DerReisende77 sagte in Blacklist filtern dauert ewig:
Dein Blacklist-Eintrag Nr. 37 (nur Sender zdf-tivi) ist falsch. Es gab noch nie so einen Sender.
OK. Da es eine niedrige Nummer ist, vermutlich Fehleingabe. Wobei die Nummer wohl nichts drüber sagt, wann das eingetragen wurde. Sehe gerade das Alles alphabetisch sortiert ist. Ich werfe es raus.
@DerReisende77 sagte in Blacklist filtern dauert ewig:
Wenn Du die Blacklist vor der Bearbeitung deaktivierst hast Du auch keine langen Verzögerungen beim Aufräumen.
Danke.
-
@Caligula sowohl als auch. regexp sind nicht bekannt für ihre hohe Geschwindigkeit. Aber das Problem liegt meines Erachtens noch woanders. Soweit ich das beim Debuggen gesehen führt eine Menge deiner Einträge zu keinem Filteregebnis. Das hat zur Folge das immer die gesamte Länge von 5384 Filtern durchprobiert werden muß (PRO Film). Damit ist natürlich der Verarbeitungsaufwand enorm. Wenn die Einträge gar nicht da wären würde das Programm sich das sparen können. Aber das kann ich ja nicht abschätzen wieviele Filter anschlagen oder nicht.
Das deaktivieren der fehlerhaften zdf-tivi Regel brachte bei mir schon ca. 7% höhere Geschwindigkeit.
-
@DerReisende77 sagte in Blacklist filtern dauert ewig:
Das deaktivieren der fehlerhaften zdf-tivi Regel brachte bei mir schon ca. 7% höhere Geschwindigkeit.
:astonished_face:
Die vielen Einträge ohne Ergebnis sind nachvollziehbar. Viele dieser Sendungen kommen nur ein Mal oder werden sehr selten mal wiederholt. So sieht eine Liste aus, die historisch gewachsen ist.
Ich kann es aber auf die harte Tour machen: Blacklist löschen bis auf Senderausschlüsse und dann neu eintragen. Ist ggf. sinnvoller, als jetzt Tausende Filter zu optimieren. Mal testen, was da raus kommt.
-
@Caligula Ich muß mich korrigieren, es gibt doch ZDF-tivi
Habe mich vertan -
@DerReisende77 sagte in Blacklist filtern dauert ewig:
Habe mich vertan
War auch am Rätseln. Egal. Ich starte morgen mal mit 'ner (fast) ganz frischen Blacklist.
-
Das Programm läuft mit aktuell nur noch 132 Filtern in der Blacklist rasend schnell. Ich achte auch darauf nicht über Titel UND Thema zu filtern (wie früher), sondern nur noch über Titel und halte die Ausschlüsse so kurz wie möglich. Die Liste wird natürlich wachsen. Vermutlich war bei der großen Liste an einem Punkt vor einigen Tagen mit weiteren Einträgen ein Kipppunkt erreicht, wo dann die Berechnungszeit enorm anwuchs. Anders kann ich mir die plötzliche starke Verlangsamung nicht erklären.
Nochmal vielen Dank für den Support.
-
Freut mich das es nun wieder einigermaßen schnell ist.
Ich werde in einer der folgenden Version das Herausfiltern der Sender beim Laden der Filmliste einbauen. Dann braucht man dafür keine langsame Blacklist-Einträge mehr und die Vorfilterung wirkt sich auch direkt auf die Blacklistperformance positiv aus da die Anzahl der zu filternden Filme schon vorab reduziert ist.Ich wiederhole nochmal meinen Tipp ggf. auch jetzt schon Hörfassungen etc im Ladedialog zu deaktivieren. Dies reduziert schon jetzt die Anzahl der Filme. Für 13.6 habe ich kurzfristig noch die Livestreams dort hinzugefügt.
Ich habe mir aber auf der todo liste aufgeschrieben zu untersuchen ob man ggf. die Filterung irgendwie beschleunigen kann.
-
Ich hätte da ein paar Ideen. Die Filter nach Anzahl der Treffer sortieren, die mit den meisten Treffern zu erst, und mit folgenden Filtern nur noch die Liste filtern, die die davor übrig gelassen hat. Hörfassungen etc. gar nicht erst zu laden geht ja schon in die Richtung.