Skip to content
  • Categories
  • Recent
  • Tags
  • Popular
  • Users
  • Groups
Skins
  • Light
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • Dark
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • Default (No Skin)
  • No Skin
Collapse
MediathekView Logo

MediathekView-Forum

  1. Home
  2. Ideen, Anregungen, Verbesserungen
  3. Exakt passende Differenzlisten

Exakt passende Differenzlisten

Scheduled Pinned Locked Moved Ideen, Anregungen, Verbesserungen
17 Posts 7 Posters 1.5k Views
  • Oldest to Newest
  • Newest to Oldest
  • Most Votes
Log in to reply
This topic has been deleted. Only users with topic management privileges can see it.
  • D Online
    D Online
    DerReisende77 Entwickler
    replied to herbivore on last edited by
    #7

    @herbivore Naja Diff-Listen haben diverse andere Probleme die sich nicht so schnell lösen lassen da sie nicht ohne weiteres in das Client und Server Konzept hinein passen. Wir arbeiten aber an einer Lösung des Traffic-Verbrauchs der die Nutzbarkeit von MV aber nicht groß einschränken soll/darf. Das größere Problem meines Erachtens sind zur Zeit “schwarze Schafe”, die (wahrscheinlich mit irgendwelchen selbstgebastelten Tools) teilweise alle 10 Minuten die komplette Filmliste herunter laden. Leider können wir (noch nicht) viel gegen diese Leute tun. Ein einfaches Drosseln der Bandbreite würde auch andere unbeteiligte treffen. Aber auch da sind wir bei. Es dauert halt ein wenig 🙂

    Open source developers do NOT have to:

    • Make your issue a priority, just because you say so.
    • Give you any sort of "timetable", or explanation for why it´s "taking too long".

    Check your entitlement. Nobody owes you anything.

    1 Reply Last reply
    • M Offline
      M Offline
      media_fread
      replied to MenchenSued on last edited by
      #8

      @menchensued sagte in Exakt passende Differenzlisten:

      Entfallende oder stark gesenkte Traffic-Kosten für Cloudflare-Kunden sollen die Attraktivität von Cloud-Diensten unter anderem von IBM und Microsoft steigern

      Naja also der Artikel sagt ja grob das Du nicht mehr den Traffic bei Deinem Cloud Anbieter und Deinem CDN Anbieter bezahlen musst sondern nur noch bei Deinem CDN Anbieter. Das ist zwar eine Kosten Reduzierung bedeutet aber nicht das auf einmal alles für “Lau” ist.

      1 Reply Last reply
      • herbivoreH Offline
        herbivoreH Offline
        herbivore
        wrote on last edited by herbivore
        #9

        Hallo DerReisende77,

        Es dauert halt ein wenig

        das ist überhaupt nicht mein Punkt. Ich hatte gehofft, dass ich bei einem Problem helfen kann, das euch drängt.

        Das größere Problem meines Erachtens sind zur Zeit “schwarze Schafe”

        Ok, dagegen hilft mein Vorschlag nicht.

        da sie nicht ohne weiteres in das Client und Server Konzept hinein passen.

        Kannst du vielleicht ein bisschen was zu dem Client-Server-Konzept sagen? Oder gibt es dazu schon eine Beschreibung (die ich nur nicht gefunden habe)?

        Ich finde es einen großen Vorteil vom jetzigen Konzept, dass MV lokal arbeitet. Mein (vollkommen legitimes aber eben doch individuelles) Nutzungsverhalten geht dabei nämlich nicht über das Netz und kann daher von niemand überwacht werden. Gerade mit Blick auf Bestrebungen in anderen Ländern finde ich das bedenklich.

        herbivore

        1 Reply Last reply
        • D Online
          D Online
          DerReisende77 Entwickler
          wrote on last edited by
          #10

          wir arbeiten an einer API, die sich nur die notwendigen Änderungen vom Server holt und dennoch die Möglichkeit bietet, weiterhin mit dem Client (bis auf wenige notwendige Einschränkungen) offline zu arbeiten. Ziel ist es nicht, Nutzer zu überwachen. Das kostet viel zu viel Zeit und Geld, außerdem haben wir nichts davon.
          Das System der Differenzlisten ist - sagen wir einfach - sehr rudimentär gestrickt. Es gibt derzeit keine Möglichkeit SICHER festzustellen welchen Daten ein Client hat und welche nicht. Das zu ändern ist aber auch nicht so einfach wie man sich das vorstellt. Zumal ja auch die Serverseite davon betroffen ist.

          Open source developers do NOT have to:

          • Make your issue a priority, just because you say so.
          • Give you any sort of "timetable", or explanation for why it´s "taking too long".

          Check your entitlement. Nobody owes you anything.

          1 Reply Last reply
          • herbivoreH Offline
            herbivoreH Offline
            herbivore
            wrote on last edited by
            #11

            Hallo DerReisende77,

            Ziel ist es nicht, Nutzer zu überwachen.

            ich hab sicher nicht euch gemeint. Sondern die Möglichkeit von Dritten, Daten, die über das Netz gehen, abzufangen. Außerdem wecken Daten, die gar nicht erst anfallen, keine Begehrlichkeiten solcher Dritter.

            Es gibt derzeit keine Möglichkeit SICHER festzustellen welchen Daten ein Client hat und welche nicht.

            Bei meinem Vorschlag wüsste das der Server schon bzw. muss es - wenn man es so rum sehen will - nicht wissen, denn es wird ja vom Client immer automatisch die passende Differenzliste angefordert. Es gibt also aus Client-Sicht keinen Nachteil gegenüber dem Abrufen der vollen Liste. Lokal würde in beiden Fällen das gleiche (und richtige) Ergebnis erzeugt. Auf mehr kommt es für den Benutzer auch nicht an.

            herbivore

            1 Reply Last reply
            • B Offline
              B Offline
              bagbag Entwickler
              replied to herbivore on last edited by bagbag
              #12

              @herbivore sagte in Exakt passende Differenzlisten:

              ich bin ein bisschen verblüfft, denn ich bin davon ausgegangen, dass es im Interesse der Entwickler und Projektbeteiligten liegt, die Serverkosten im Rahmen zu halten und am besten zu senken. Im Zusammenhang mit den (steigenden) Serverkosten habe ich jedenfalls schon mehrfach Spendenaufrufe gelesen. Habe ich da etwas missverstanden?

              Das ist sicher immer erstrebenswert, doch halten sich die Kosten momentan in Grenzen. Ich weiß von 6 vServern, die Crawler und Verteiler spielen sowie meinem dedizierten Server, der u.a. MVW, ein Crawler und 2 Verteiler hat. Der Betrieb von MVW ist für mich rein finanziell betrachtet ein Minusgeschäft, das sich jedoch in Grenzen hält. Und aus diesem Grunde weiß ich auch nichts von einem Spendenaufruf.

              @alex sind es mehr als 6 vServer?

              alexA 1 Reply Last reply
              • alexA Offline
                alexA Offline
                alex Administrator
                replied to bagbag on last edited by
                #13

                @bagbag es sind 9 vServer aktuell wobei noch Server von mir zusätzlich beteidigt sind.

                Das große Problem der diff listen hat @DerReisende77 schon angesprochen, weswegen ich da nicht mehr näher drauf eingehen.

                Trotzdem danke für den Vorschlag.

                Aktuell ist das Trafficaufkommen bewältigbar, aber wir haben trotzdem den Anspruch es in einem gesunden Rahmen zu halten. Deswegen auch die Überlegungen in Richtung API.

                1 Reply Last reply
                • herbivoreH Offline
                  herbivoreH Offline
                  herbivore
                  wrote on last edited by
                  #14

                  Hallo alex,

                  bitte noch eine kleine Nachfrage aus Interesse: der DerReisende77 hat gesagt, dass es mit den Differenzlisten große Probleme gibt, aber nicht welche. Kannst du die konkreten Punkte bitte kurz anreißen?

                  Einen Punkt kann ich mir vorstellen. Ich vermute, dass Differenzlisten momentan nur die zusätzlichen Einträge enthalten, aber keine Informationen darüber welche Einträge weggefallen sind. Aus meiner Sicht ein durchaus lösbares Problem. Wenn alle Stricke reißen, könnte man die Differenzlisten sogar (leicht vereinfacht gesagt) mit dem (Unix-)Kommando diff erstellen und mit dem Kommando patch (oder einer entsprechenden Bibliothek lokal) aus der letzten heruntergeladenen Filmliste und der passenden Differenzliste die aktuelle Filmliste erzeugen.

                  Den anderen Punkt, dass momentan die aktuelle Differenzliste nicht zu der letzten heruntergeladenen (lokalen) Filmliste passt, löst ja gerade mein Vorschlag.

                  Beides also mit meines Erachtens überschaubarem Aufwand lösbar. Übersehe ich noch weitere Punkte?

                  Ich respektiere natürlich, wenn ihr einen anderen Weg gehen wollt. ich würds halt nur gerne wissen.

                  Und so ein API hat natürlich auch seine Vorteile. Und offenbar habe ich ja auch den Druck, den die Hostingkosten auf euch ausüben überschätzt. Ich hatte halt gehofft, eine relativ schnelle Lösung anzubieten, die euch kurzfristig stark entlastet.

                  herbivore

                  1 Reply Last reply
                  • D Online
                    D Online
                    DerReisende77 Entwickler
                    wrote on last edited by
                    #15

                    Du hast den Kern in deinem Text schon erwähnt. Es handelt sich um native Kommandos. Wenn du nach Lösungen suchst schaue bitte nach Sachen die in Java geschrieben sind. Die Nutzung von Patch und diff sind für jede Plattform zu pflegen, zu integrieren und zu nutzen. MV ist nicht nur eine Linux Anwendung sondern bedient auch Mac und Windows. Von daher ist eine Java Lösung deutlich zu präferieren.

                    Open source developers do NOT have to:

                    • Make your issue a priority, just because you say so.
                    • Give you any sort of "timetable", or explanation for why it´s "taking too long".

                    Check your entitlement. Nobody owes you anything.

                    1 Reply Last reply
                    • herbivoreH Offline
                      herbivoreH Offline
                      herbivore
                      wrote on last edited by herbivore
                      #16

                      Hallo DerReisende77,

                      ich bin nicht davon ausgegangen, dass man direkt die Linux-Kommandos verwendet. Natürlich würde man zumindest lokal eine entsprechende Java-Bibliothek nehmen. Ich hab nur kurz geguckt, aber wenn man nach diff patch java library oder ähnlichem sucht, findet man da was.

                      Ansonsten lässt sich die Differenz auch mit wenig sehr simplem Code berechnen, wenn die zu vergleichenden Listen (temporär) sortiert sind. Das hätte bei Bedarf den Vorteil, dass man die zu löschenden Einträge kompakter speichern kann, z.B. über eine ID oder als Hash.

                      Klar, bei der Umsetzung gibt es an jeder Stelle ein paar Details zu beachten. Als Programmierer habe ich aber extra darauf geachtet, den Vorschlag so zu gestalten, dass möglich wenig und möglichst einfacher Code ausreicht und gleichzeitig die Komplexität gering ist und wenig Änderungen reichen. Und trotzdem für den Benutzer das Ergebnis exakt gleich ist, nur eben mit (vor allem für euch) deutlich weniger Download-Volumen.

                      Ich will nicht nerven. Momentan geht es mir nur darum, etwaige Missverständnisse bezüglich des Vorschlags auszuräumen.

                      herbivore

                      1 Reply Last reply
                      • A Offline
                        A Offline
                        argoni Banned
                        wrote on last edited by
                        #17
                        This post is deleted!
                        1 Reply Last reply

                        67

                        Online

                        6.7k

                        Users

                        6.2k

                        Topics

                        39.5k

                        Posts
                        • Login

                        • Don't have an account? Register

                        • Login or register to search.
                        • First post
                          Last post
                        0
                        • Categories
                        • Recent
                        • Tags
                        • Popular
                        • Users
                        • Groups