DB-Komplett-Update dauert 5 Stunden... normal?



  • Hallo,

    erst einmal vielen Dank für das tolle Plugin. Ich finde es super …bis auf die Performance des DB-Updates. ich habe schon alle Foren-Threads diesbezüglich gelesen, habe aber trotzdem ein paar Fragen:

    Auf meinem RasPi 1 B+ dauert das DB-Update (komplett) mittlerweile 4-5 Stunden (SD-card class 10). Ich habe, wie hier beschrieben (https://forum.mediathekview.de/topic/1170/feature-request-pfad-für-daten-einstellbar) einen Symlink auf eine externe Festplatte erstellt, dass hat aber leider nur eine Verbesserung von ca. 30 Min gebracht. Ein Voll-Update dauert immer noch über 4 Stunden.

    Ich habe gelesen, dass es eigentlich nur 15-20 min dauern sollte auch auf einem RasPi. Stimmt also etwas nicht oder hat sich das geändert, weil die DB vielleicht mittlerweile größer ist?

    Dann habe ich noch eine Frage zu den differenziellen Updates. Da diese ja vielschneller gehen, warum kann man nicht permanente differenzielle Updates einstellen? Momentan wird ja nach jedem Kalendertag ein volles Update wieder gemacht.

    Danke und Grüße
    Dirk



  • @turd-tapper sagte in DB-Komplett-Update dauert 5 Stunden... normal?:

    RasPi 1

    Ich denke mal das Problem ist hier unter anderem die 1, der ist doch schon recht betagt im Vergleich zu anderen Generationen. Auf einem Raspi 3B dauert das auch höchstens 10 Minuten. Aber mehrere Stunden ich schon arg heftig.



  • @vitusson sagte in DB-Komplett-Update dauert 5 Stunden... normal?:

    Auf einem Raspi 3B dauert das auch höchstens 10 Minuten

    Hi,
    da der RasPi 3 ca. 3x so schnell ist, würde ich denken es dauert auch ca. 3x so lange. Aber 30 mal so lange?

    Was ich beobachte: Die CPU-Auslastung ist immer bei 100% während des Updates, die RAM Auslastung bei ca. 25%.



  • Etwas muss ich es relativieren. Heute Nacht hat es 3,5 Stunden gedauert, aber immer noch ziemlich lange.

    Hier der Log von LibreELEC:

    Das differenzielle Update von heute Nachmittag hat dagegen nur 3,5 Minuten gedauert, also 60x schneller:

    Ansonsten läuft Kodi auf dem 1er RasPi gut…


  • Entwickler

    Evtl kann @tuxpoldo hier licht in das Dunkel bringen…


  • Administrator

    Einfache Aussagen wie 3 mal so schnell kann man nicht so einfach machen. Der Pi 1 hat einen Singlecore, wobei die Versionen danach schon einen Quadcore haben. Die Architektur hat sich auch geändert. Also ich schließe nicht aus, dass die Geschwindigkeit normal ist.
    Mir fehlen die Möglichkeiten sowas zu debuggen.

    Nur Difflisten würde zwar gehen, aber dann muss jede Diffliste gedownloaded werden, da man das nicht unbedingt garantieren kann wird jeden Tag auch die volle Liste geladen.

    Die Updatelogik des Plugins soll in Zukunft auch nochmal überarbeitet werden, dass der Raspberry Pi nicht mehr so viel zu tun hat.
    Falls du noch Hardware über hast würde ich das Update der Liste mit einem Datenbankserver auslagern.

    So hab ich das zumindest aktuell auch bei meinen Eltern.



  • Sehe ich auch so. Bei mir zeigt die CPU auch 100%, aber immer nur einer von 4 Kernen. Die Single CPU vom 1B ist da wohl am Anschlag, ebenso Arbeitsspeicher und Bussysteme. Und die Benchmarks die ich so gesehen habe, lagen auch weitaus höher als einfach “3x schneller”



  • @vitusson sagte in DB-Komplett-Update dauert 5 Stunden... normal?:

    Sehe ich auch so. Bei mir zeigt die CPU auch 100%, aber immer nur einer von 4 Kernen. Die Single CPU vom 1B ist da wohl am Anschlag, ebenso Arbeitsspeicher und Bussysteme. Und die Benchmarks die ich so gesehen habe, lagen auch weitaus höher als einfach “3x schneller”

    Ein großes Problem stellt bei Kodi auf dem RPi1 der verwendete Skin und das aktuell dargestellte Menu dar.
    Bei einem geeignetem Skin kann die Grundauslastung < 20% liegen, aber bei anderen nahe 100%. Da bleibt dann nur ein geringer Rest für das Datenbankupdate übrig.
    Außerdem sorgt Laufschrift im Menü zur ständigen Neuberechnung der Kodi-Oberfläche, was das System ebenfalls komplett auslasten kann.
    Turd Tapper sollte daher mal überprüfen, z.B. per SSH-Login und ‘top’, wie hoch die Auslastung im Leerlauf und bei Darstellung des Addon-Menus ist.

    Bei meinem, leider derzeit lange nicht aktualisiertem Plugin, hatte ich eine radikale Lösung für das Problem eingebaut: Man kann den Kodi-Prozess während des Datenbankupdates anhalten. Die Schwierigkeit besteht eigentlich nur darin, dem Nutzer die Panik zu nehmen „weil nichts mehr reagiert“. Daher sollte man, sofern man es für die RPi1-Nutzer einbauen möchte, möglichst so gestalten, dass es Nachts ablaufen kann.

    Edit: Der vom Plugin-Autor vorgeschlagene Ansatz vie MediathekViewWeb (https://github.com/mediathekview/plugin.video.mediathekview/issues/85) ist nat. noch besser, da die Verwaltung der gesamten Datenbank bei diesem Addon-Ansatz auf dem RPi1 zu viel Aufwand darstellt.


 

98
Online

2.5k
Benutzer

2.1k
Themen

12.4k
Beiträge