ORF hat wieder umgestellt

[Rolf2017]

@pidoubleyou

Hallo pidoubleyou ,

der JDownloader2 schafft es auch nicht passe Links zu sammeln.

Nur das Firefox Addons Video DownloadHelper schafft es die Videos vom ORF per HLS-Streaming herunterzuladen.

Auf die schnelle habe ich auch keinen passenden Video-LInk aus der Mediathek ORF herausgefunden.

Ich hoffe Du hast Glück mit den ORF-Crawler.

[Manuel]

@pidoubleyou Nein, mit ffmpeg geht das bei mir auch nicht, weil der Server den User-Agent überprüft :face_with_rolling_eyes:

[hls,applehttp @ 00000000006e2cc0] Error when loading first segment 'https://varorfvod.sf.apa.at/cms-worldwide_episodes_nas/_definst_/nas/cms-worldwide_episodes/online/13993042_0037_Q8C.mp4/media_0.ts?lbs=20181024230034429&ip=91.115.97.113&ua=Lavf%252f57.56.100'

Dachte ich geb den User-Agent mit

ffmpeg -i https://apasfiis.sf.apa.at/ipad/cms-worldwide_episodes/13993042_0037_Q8C.mp4/chunklist.m3u8 -user-agent "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36" -c copy -bsf:a aac_adtstoasc output.mp4

bzw. mit

ffmpeg -i https://apasfiis.sf.apa.at/ipad/cms-worldwide_episodes/13993042_0037_Q8C.mp4/chunklist.m3u8 -headers "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36" -c copy -bsf:a aac_adtstoasc output.mp4

an den Server mit, scheint aber nichts zu bringen.

//EDIT:

Doch, geht. Aber ich hab den User-Agent falsch mitgegeben, der muss nämlich vor dem Input bereits angegeben werden. Insoweit kann ich den Download mittels

ffmpeg -user_agent "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36" -i https://apasfiis.sf.apa.at/ipad/cms-worldwide_episodes/13993042_0037_Q8C.mp4/chunklist.m3u8 -c copy -bsf:a aac_adtstoasc output.mp4

starten.

[styroll]

@pidoubleyou sagte: Die playlist.m3u8 lässt sich auch im VLC abspielen, allerdings gelingen mir bisher Downloads nicht.
Falls du aus Österreich bist, kannst du mal versuchen, ob du mit ffmpeg die playlist.m3u8 bzw. die chunklist.m3u8 herunterladen kannst.

Die Playlists kann man ja im Browser (FF) runterladen, du meinst wohl eher die darin referenzierten Videostreamsegmente. Letzteres sollte auch ausserhalb Österreichs klappen, da der Tag “cms-worldwide” in der URL vorkommt.

Blöder-, aber nicht ganz unerwarteterweise wird auch der User-Agent von ffmpeg vom ORF geblockt, da eine 403 “Forbidden” von ffmpeg ausgegeben wird. Mit der Angabe eines anderen User-Agents klappt der Download (getestet mit FFmpeg 4.0.2 unter macOS):

/usr/local/bin/ffmpeg -headers "User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 10_0 like Mac OS X) AppleWebKit/602.1.38 (KHTML, like Gecko) Version/10.0 Mobile/14A300 Safari/602.1" -i https://varorfvod.sf.apa.at/cms-worldwide_episodes_nas/_definst_/nas/cms-worldwide_episodes/online/13993042_0037_Q8C.mp4/chunklist.m3u8 -c copy -bsf:a aac_adtstoasc ~/Desktop/Test.mp4

Man kann allerdings auch bloss die Playlist-URL “apasfiis.sf.apa.at” angeben – der DL ist ebenfalls erfolgreich:

/usr/local/bin/ffmpeg -headers "User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 10_0 like Mac OS X) AppleWebKit/602.1.38 (KHTML, like Gecko) Version/10.0 Mobile/14A300 Safari/602.1" -i  https://apasfiis.sf.apa.at/ipad/cms-worldwide_episodes/13993042_0037_Q8C.mp4/playlist.m3u8 -c copy -bsf:a aac_adtstoasc ~/Desktop/Test2.mp4

[pidoubleyou]

@styroll sagte in ORF hat wieder umgestellt:

Mit der Angabe eines anderen User-Agents klappt der Download (getestet mit FFmpeg 4.0.2 unter macOS)

Danke :)

Somit kann ich den Crawler entsprechend umbauen.

Für die Windows-Version ist anscheinend eine aktualisierte ffmpeg-Version notwendig, denn mit der, die aktuell ausgeliefert wird, wird der User-Agent nicht berücksichtigt.

[styroll]

@pidoubleyou sagte: Für die Windows-Version ist anscheinend eine aktualisierte ffmpeg-Version notwendig, denn mit der, die aktuell ausgeliefert wird, wird der User-Agent nicht berücksichtigt

Hab das jetzt gerade noch getestet: Für macOS funktioniert auch die (bisher) gepackte FFmpeg-Version (3.3.4), es braucht also nicht zwingend die aktuelle Version 4.0.2:

/Applications/MediathekView.app/Contents/Resources/ffmpeg

[mddawson]

Ich fand das in der Chrome Erweiterung ORF-TVthek Downloader erwähnt

https://www.bu2media.com/orf-tvthek-downloader/

[mvsfsvm]

@mddawson was genau wurde in der Chrome Erweiterung ORF-TVthek Downloader erwähnt?

[mddawson]

@mvsfsvm sagte in ORF hat wieder umgestellt:

@mddawson was genau wurde in der Chrome Erweiterung ORF-TVthek Downloader erwähnt?

Kein Download mehr möglich!
Hallo
Bis wann wird der Download wieder möglich sein?
mfg
Posted by Roland Resel - 14 hours ago
Reply |

Hi,

Downloader wird wieder gefixed, könnte aber ein paar Tage dauern.

lg, Benjamin
Posted by Benjamin Butschell - 13 hours ago

Heute (24. 10. 2018) kein Download möglich
Liebe Leute, auch ich habe soeben dieselbe Entdeckung gemacht wie der vorhergehende Forum-Schreiber: es gibt zwar den “herunterladen”-Button, aber der geht nur zum Support oder zu den Untertiteln. Bit …
expand »
Posted by dschonnie - 16 hours ago
Reply |

Das Herunterladen geht seit heute nicht mehr
Seit heute sind beim herunterladen nur mehr der Support über Amazon anklickbar.
Liebe Grüße
Walter Stahl
Posted by walter080149 - 1 day ago
Reply |

Hi,

Downloader wird wieder gefixed, könnte aber ein paar Tage dauern.

lg, Benjamin
Posted by Benjamin Butschell - 13 hours ago

ORF hat wieder umgestellt
Guten Abend! Der Pfad dürfte ein neuer sein: varorfvod.sf.apa.at
Posted by A Google User - 1 day ago
Reply |

Hi,

Downloader wird wieder gefixed, könnte aber ein paar Tage dauern.

lg, Benjamin
Posted by Benjamin Butschell - 13 hours ago

[FancyDownloader]

Also…bei mir geht wieder mal garnix!
Die Crawlerliste is kaputt bzw. krieg ich satte 5 Tage einfach nicht rein - ich sehe also am 26.10 nur bis 21.10 und später (20, 19…) und wenn ich eine beleibige Sendung vom Orf runterladen möchte, krieg ich auch nur den Fehler 0 Byte.
Ich hab aber alles aktuell.
MV und Vlc.
Was läuft da bitte schief ?

[Hildegard]

@FancyDownloader sagte in ORF hat wieder umgestellt:

Also…bei mir geht wieder mal garnix!
…
Was läuft da bitte schief ?

Vorschlag: Startseite aufrufen und “Neueste Ankündigungen” lesen.
Oder die Suchfunktion des Forums bemühen.

Warum da so viele nicht von selbst draufkommen werde ich nie begreifen.

[FancyDownloader]

@Hildegard
Sehr witzig!
Hab ich ja gemacht!
Da steht nämlich nix, was mir helfen könnte!

Update 27.10:
JETZT findet der Crawler wieder alle Sendungen vom Orf - Download is aber nach wie vor fehlerhaft.
Kommt nur “Download war fehlerhaft” 0 Byte.

[DaDirnbocher]

@FancyDownloader sagte in ORF hat wieder umgestellt:

Sehr witzig!
Hab ich ja gemacht!
Da steht nämlich nix, was mir helfen könnte!

Tja, Da hättest zum Beispiel die Erklärung für

Also…bei mir geht wieder mal garnix!
Die Crawlerliste is kaputt bzw. krieg ich satte 5 Tage einfach nicht rein - ich >sehe also am 26.10 nur bis 21.10 und später (20, 19…)

gehabt …

[alex]

@FancyDownloader sagte in ORF hat wieder umgestellt:

@Hildegard
Sehr witzig!
Hab ich ja gemacht!
Da steht nämlich nix, was mir helfen könnte!

Update 27.10:
JETZT findet der Crawler wieder alle Sendungen vom Orf - Download is aber nach wie vor fehlerhaft.
Kommt nur “Download war fehlerhaft” 0 Byte.

Gott verdammt, dann nenne wenigstens Beispiele. Und deine Umgebung kennen wir auch nicht. Für Downloadfehler müssen wir bei dir den Fehler suchen (was nicht automatisch heißt, dass er bei dir liegen muss)

[pidoubleyou]

@FancyDownloader sagte in ORF hat wieder umgestellt:

JETZT findet der Crawler wieder alle Sendungen vom Orf - Download is aber nach wie vor fehlerhaft.
Kommt nur “Download war fehlerhaft” 0 Byte.

siehe dieser Post

[Hildegard]

@pidoubleyou Ganz vielen Dank, dass du zum wiederholten Mal deine Freizeit geopfert hast und wir wieder ORF-Sendungen downloaden können.

[claus]

Dieser Beitrag wurde gelöscht!

[regUSERin]

Auch ich danke Euch dafür, dass die ORF-Filmliste wieder geladen werden kann.
Nur beim Download hab ich auch das Problem mit “fehlerhaft - Größe 0B”.
Ich verwende noch Version 13.0.6, User-Agent ist bei mir angepasst (Mozilla…), Win10. Hab schon diverse Forumseinträge durchgelesen, aber noch nichts gefunden, das mir weiterhilft…

[styroll]

@regUSERin sagte in ORF hat wieder umgestellt:

Hab schon diverse Forumseinträge durchgelesen, aber noch nichts gefunden, das mir weiterhilft…

Also den Beitrag, welcher 3 Posts zurück verlinkt wurde, auch?

[regUSERin]

@styroll Ja - der gilt doch für Version 13.1.x, ich habe 13.0.6 und noch dies Oberfläche:

[ingenieurreinhard]

@regUSERin Danke, dass ORF+ZDF wieder in der Liste erscheinen nur: ZDF - Küchenschlacht (24.10.2018) download hat mit Firefox copy->paste des HD links+CRTL S geklappt!
Die gleiche Prozedur Firefox Win7 für ORF Frisch gekocht (22.10.2018) Bohnensuppe in HD
https://apasfiis.sf.apa.at/ipad/cms-worldwide/2018-10-22_1402_tl_02_Schmeckt-perfek_Paul-Ivic–herz__13992854__o__1037693653__s14383895_5__ORF2HD_14021514P_14140102P_Q8C.mp4/playlist.m3u8
klappt nicht, auch wenn ich ‘playlist.m3u8’ weglasse!
Es kommt ein Fenster ‘Öffnen von playlist.m3u8’ und darin wird M3U file (734 Bytes) angezeigt
und 2 Optionen Datei öffnen oder Datei Speichern - das Speichern funktioniert das File ist aber
nur 734 bytes groß!
Wer bitte kann helfen - nochmals danke für Euer Engagement, das Nichtdownloaden können von
ORF Beiträgen schmerzt mich persönlich sehr!