Arte keine neuen Sendungen seit 23.07

[mow]

@pidoubleyou sagte in Arte keine neuen Sendungen seit 23.07:

wir analysieren aktuell, warum der ARTE-Crawler auf unseren Servern im Gegensatz zu unseren Entwicklersystemen nicht mehr funktioniert.

Haben die euch spezifisch ausgesperrt?

Ich laß das mal hier, vielleicht kann’s ja jemand gebrauchen: (usage e.g.: <scriptname> 067785-002-A)

if [ -f .arteapitemp.$1 ] ; then
 echo .arteapitemp.$1 existiert schon!
 exit 42
fi
wget -O .arteapitemp.$1 -U "User-Agent-Filterer stinken" https://api.arte.tv/api/player/v1/config/de/$1
cat .arteapitemp.$1 | sed "s/\"HTTPS_/\\n\"HTTPS_/g" |grep ^\"HTTPS_SQ_1 | sed "s/url\":\"/\\n/g" | sed "s/.mp4\",/.mp4\\n/g" | egrep "https:.*mp4" | sed "s/\\\//g" >> wget-url-temp
tail -1 wget-url-temp
wget -nc -i wget-url-temp
if [ $? -eq 0 ] ; then
 rm wget-url-temp
fi

[Hank]

@DaDirnbocher offensichtlich.
In der ARTE Mediathek: Ja.
Im MediathekViewer: Nein.
Aber egal. Es wird sich ja gerade gekümmert. Also abwarten oder die Alternativen ausprobieren (für mich als Laien evtl. zu kompliziert).

[Nicklas2751]

Unsere Recherchen haben ergebe, dass unsere Server systematisch gesperrt wurden.

Siehe auch: https://forum.mediathekview.de/topic/2574/arte-sperrt-mediathekview

[Eva]

@Nicklas2751 sagte in Arte keine neuen Sendungen seit 23.07:

… unsere Server systematisch gesperrt wurden.

oh, wie schade! Danke für die Info, Nicklas!

[udohelms]

@Nicklas2751
Hallo Nicklas,
ich habe heute Folgendes an ARTE wegen der Crawler-Probleme geschrieben:

Sehr geehrte Damen und Herren,

Ich bin ein großer Fan Ihres Senders und mache regelmäßig Gebrauch von Ihrem Angebot. Leider ist es nicht immer möglich, Ihre Inhalte im linearen Fernsehen zu sehen. Daher bin ich darauf angewiesen, die verpassten Sendungen “On Demand” abzurufen.

Dazu benutze ich meistens das Programm MediathekView. Diese Anwendung ermöglicht es mir, schnell und übersichtlich, auf die Inhalte Ihres Senders, wie auch auf Angebote anderer öffentlich-rechtlicher Sender, zuzugreifen. Dabei liegt der Vorteil der Nutzung des Programms MediathekView auf der Hand. Statt jede einzelne Mediathek einzeln anzusteuern, um umständlich eine gewünschte Sendung zu suchen, habe ich hier alle Inhalte in einer einzigen Benutzeroberfläche übersichtlich zusammengefasst.

Seit ca. 2 Wochen habe ich nun das Problem, dass Ihre Inhalte in MediathekView weder angezeigt noch abrufbar sind! Laut Aussage der Entwickler von MediathekView, sind deren Crawler durch Sie blockiert, so dass auf keine Sendung von ARTE mehr über diese Anwendung zugegriffen werden kann. In diesem Zusammenhang stellen sich mir folgende Fragen:

• Warum blockieren Sie den Zugriff der Crawler von MediathekView?
• Ist das Problem eventuell technischer Natur und deshalb nur temporär?
• Wollen Sie so ihre Zuschauer dazu zwingen, Ihr Webangebot zu nutzen?
• Halten Sie dieses Vorgehen, bei einem mit Gebührengeldern finanzierten Sender, wie dem Ihren, für gerechtfertigt?
• Wer ist, wenn die Sperrung bewusst vorgenommen wurde, der Ansprechpartner für eine Beschwerde?

Abschließend möchte ich noch anmerken, dass mich die Blockade der Crawler von MediathekView, wenn sie denn von Ihnen bewusst vorgenommen wurde, doch stark an Verhaltensweisen der privaten Sender (RTL, SAT1 usw.) erinnern, bei denen die Nutzung der Webangebote nur nach Anmeldung (häufig mit Extra-Zahlungen) verbunden ist. Im Übrigen stoßen Sie mit der Crawler-Blockade wohl viele Zuschauer, die Ihren Content mit MediatheView abrufen, vor den Kopf!

Ich würde mich freuen, von Ihnen eine zeitnahe Beantwortung meiner Fragen zu erhalten!

Mit freundlichen Grüßen
…

P.S. Vielleicht sollten sich die Verantwortlichen der öffentlich-rechtlichen Sender mal zusammen setzen, um ein gemeinsames Webangebot entwickeln, wo alle Inhalte der öffentlich-rechtlichen Sender abrufbar sind. Dadurch würden sich viele Ärgernisse “in Luft auflösen”! Wenn Sie sich dann noch mit den Entwicklern von MediathekView zusammen setzen würden, anstatt “Krieg gegen diese zu führen”, ließe sich sicherlich eine für alle Seiten gedeihliche Zusammenarbeit organisieren.

Frage: Ist das in Eurem Sinn? Wenn ja, kann man dieses Schreiben in Teilen oder in Gänze nicht als Vorlage für eine “Massen-Beschwerde” benutzen? Ich hätte kein Problem damit!
Mal sehen, ob und wie ARTE antwortet.

Danke nochmal für Eure Mühe und die viele Arbeit, die Ihr in das Projekt MediathekView steckt!

[bagbag]

@udohelms sagte in Arte keine neuen Sendungen seit 23.07:

Ist das in Eurem Sinn?

Ich würde jetzt erst einmal abwarten was Arte uns antwortet, aber ansonsten wäre das in meinem Sinne (und ich spreche hier wirklich nur von mir, nicht von den anderen Projektbeteiligten).

[Hank]

@sunrise
Soviel zum Thema Verschwörungstheorie … :winking_face:
“Aktuell gibt es Probleme mit unseren Crawlern ARTE Sendungen zu identifizieren. Grund hierfür ist, dass ARTE die IP Adressen unserer Crawler blockiert.”

[Hank]

@udohelms Ich werde - etwas abgewandelt - etwas ähnliches an ARTE schreiben. Es sollte vielleicht helfen, wenn man dort versteht, dass hier nicht die bösen Jungs sitzen, die Filme verticken, sondern brave Rundfunkgebührenzahler, die aus diversen Gründen keinen Fernsehempfang haben. In meinem Fall besonders blöd, da ich zwar einen Fernseher habe, aber keinen Empfang, und der Fernseher auch kein Internet hat, sondern ich die am PC heruntergeladenen Filme dann per angesteckter Festplatte anschaue.

[Hank]

Guten Tag,

ich habe erfahren, dass Sie den Zugriff auf Ihre Mediathek über den MediathekViewer blockieren. Ich habe das Problem, dass ich zwar einen Fernseher habe, aber keinen Empfang, und der Fernseher auch kein Internet hat, sondern ich die am PC heruntergeladenen Filme nur per am Fernseher angesteckter Festplatte anschauen kann. Dies schmälert im Übrigen nicht Ihre Webseite. Ich suche mir dort gezielt Filme aus, die ich anschauen möchte, und die ich dann gezielt per MediathekView herunterlade. Natürlich besteht für Sie bei so etwas das Restrisiko, dass jemand die heruntergeladenen Filme irgendwie verwertet. Soweit ich das aber sehe, sind da die allermeisten Nutzer vertrauenswürdig und wie ich nur aus persönlichen Gründen auf den MediathekViewer angewiesen. Und ein öffentlicher Upload solcher Filme ist aufgrund diverser Filter etc zB auf Youtube ja gar nicht mehr möglich.

Insofern appelliere ich an Sie, die Blockade aufzugeben. Ich zahle regelmäßig meine Rundfunkgebühren und der MediathekViewer ist die einzige Möglichkeit für mich, hier einen Gegenwert zu erhalten.

Freundliche Grüße

[styroll]

@Hank sagte: Soviel zum Thema Verschwörungstheorie …
“Aktuell gibt es Probleme mit unseren Crawlern ARTE Sendungen zu identifizieren. Grund hierfür ist, dass ARTE die IP Adressen unserer Crawler blockiert.”

Ja klar, das soll also deine Aussage, die keinen Kontext zum Problem in diesem Thread hat, bestätigen:

@Hank sagte: Mein Eindruck ist, dass ARTE insbesondere Spielfilme und Serien komplett nicht anzeigt. Als wäre das böse Absicht

@Hank sagte: dass hier nicht die bösen Jungs sitzen, die Filme verticken, sondern brave Rundfunkgebührenzahler, die aus diversen Gründen keinen Fernsehempfang haben.

Natürlich genau der typische, also repräsentative MV-Benutzer…

@Hank sagte: Ich suche mir dort gezielt Filme aus, die ich anschauen möchte, und die ich dann gezielt per MediathekView herunterlade.

Immer toll, wenn man den Download ins Spiel bringt. ARTE wird da voller Verständnis gleich die Sperre rückgängig machen…

Ich hoffe nicht, dass sich jetzt jeder noch bemüssigt fühlt, seine Korrespondenz mit ARTE hier im Forum zu publizieren (dafür gibt’s Social Media).

[sunrise]

@udohelms Ich finde deine Formulierungen ganz gut, so kann man das stehen lassen. Mal abwarten, ob Arte darauf überhaupt antwortet, und wenn ja, nicht mit irgendwelchen Allgemeinplätzen. Ich habe immer öfter den Eindruck, dass die “klassischen” TV-Sender überhaupt nicht verstanden haben, dass sich das Sehverhalten der Nutzer total verändert hat, bzw. sie weigern sich, das zu akzeptieren und sich dem anzupassen. Gleichzeitig wird dann aber über die Streamangebote von Netflix, Amazon etc. hergezogen.

[sunrise]

@Hank Es war zu dem Zeitpunkt deines Posts trotzdem eine Verschwörungstheorie, weil du nämlich keine Ahnung von den Facts hattest! Zudem bleibt das mit der unbeweisbaren Unterstellung des “bösen Willens” bestehen. Ich bin vielmehr davon überzeugt, dass die Rechteinhaber den Sendern im Nacken sitzen, weil ihnen die Möglichkeiten, die MV/MVW bieten überhaupt nicht in den Kram passen. Anscheinend hast du nicht bemerkt, dass SRF vor einiger Zeit damit begonnen hat, MV von dezidierten Sendungen auszuschliessen (Dicte, Kommissar und das Meer, Fargo, …). Bei anderen amerikanischen Serien, wie zum Beispiel Grey’s Anatomy kann man nicht einmal mehr mit den Alternativen Apps landen, weil sie verschlüsselt sind, dito der ganze Livestream. Die Krimiserie Psych im ZDf Neo konnte man bis vorgestern problemlos im Livestream anschauen, seit gestern kommt nur noch die Meldung “Aus rechtlichen Gründen …”. Merkst du was? Das sind die Rechteinhaber, und nicht die Sender, die uns User - vermutlich aus lauter Profitgier - Prügel zwischen die Beine werfen.

[sunrise]

@Hank Na toll, wenn du den Sender mit - höflich ausgedrückt - dermassen unbedachten und illegalen (upload etc.) Äusserungen bombardierst, lieferst du denen frei Haus den Beweis, dass es rechtens und notwendig ist, MV/MVW den Sack zuzumachen. Nur als Beispiel unter vielen Böcken, die du hier schiesst: MV ist vor allem ein Suchprogramm und kein Downloader; wenn du dir nämlich auf deren Website die Sendungen aussuchst und dann mit MV runterlädst, brauchst du ja MV eigentlich gar nicht, oder? Falls du allerdings MV und den anderen Usern schaden willst, dann nur zu mit solchen Mails an die Sender.

[sunrise]

@Hank Kannst du eventuell genauer formulieren, was an den beiden im Forum vorgeschlagenen Alternativen kompliziert sein soll. Im Netz gibt es gute Beschreibungen und Tipps, einige sogar hier im Forum.

[iks-jott]

@sunrise

Ist jetzt zwar bzgl. ARTE OT, passt meiner Meinung nach aber ganz gut zu dem, was du geschrieben hast.

Es gibt ein Programm ähnlich JDownloader, mit dem kann man Sendungen niederländischer und belgischer TV-Sender runterladen.
Ich habe es häufig benutzt, weil der DVB-T Empfang der ÖR NL-Sender (NPO 1 bis 3 und lokale Sender) in meiner Wohngegend qualitativ sehr schwankend ist. Anfang des Jahres wurde von den Entwicklern mitgeteilt, dass man ab März nur noch einen Bruchteil der Sendungen laden kann, seit einigen Wochen gar nichts mehr. Alle ÖR Sendungen sind DRM geschützt.

Gruß

[fischerstm]

Selbes Problem hier.
https://www.arte.tv/de/videos/090951-002-A/bukahara/ wird nicht in der Filmliste angezeigt…

[DerReisende77]

@fischerstm ja wir sind für ARTE auf ein neues Abo-Modell umgestiegen. Jeder Filmeintrag der gewünscht wird kostet ab jetzt 17,50€ in einem Schein der uns über die Toilette zuzustellen ist

[Eva]

@DerReisende77

[smotrelkin]

Ich frage mich, warum überhaupt die mit öffentlichen Mitteln finanziert entwickelte REST-API-Schnittstelle zu den Servern von ÖR-Sendern der Öffentlichkeit dokumentiert nicht zur Verfügung gestellt wird…

Was den Crawler angeht, hätte ich die Frage, wie viele Anfragen ungefähr wird pro eine Zeiteinheit gestellt? Wenn es in der Mediathek insgesamt ca. 290000 Einträge gibt, dann dürfte so eine Anzahl von Anfragen zwar für eine IP-Adresse ungewöhnlich hoch sein, aber bei einem Server trotzdem wohl keine nennenswerte Last verursachen und damit auch kein “Missbrauch”. Schließlich ist das der Zweck eines Servers die Anfragen zu bearbeiten und nicht im Idle zu verweilen, wie ein Smartphone.

Und noch eine Frage bzgl. der Realisierung von Anfragen an den Server. Wird für jede Anfrage eine neue SSL-Verbindung aufgebaut oder stellt der Crawler über dieselbe Verbindung so viele Anfragen wie es geht, bis der Server die Verbindung schließt (er würde das doch nicht bereits nach der ersten tun)? Bekanntlich ist das Aufbauen einer SSL-Verbindung bei kleinen Anfragen das teuerste. Verwendet der Crawler vielleicht schon HTTP/2.0?

[pidoubleyou]

@smotrelkin Bei meinem Testlauf sind es um die 30 Requests pro Sekunde gewesen, könnte aber auf den echten Server mehr sein. Also keine große Last.

Für die Anfragen verwenden wir okhttp mit ConnectionPooling. HTTP/2.0 nutzen wir noch nicht, dazu müssen wir erst ein Update auf ein Java > 8 machen.