Unfurl URL

Hallo,

ich möchte in naher Zukunft eine Software in meinem Forum einsetzen, welche Links, welche von Benutzern gepostet werden, automatisch aufschlüsselt und einbindet. Hierbei werden folgende Informationen ausgelesen: Seitentitel, Seitenbeschreibung und Seitenbild. Diese Informationen werden derzeit hauptsächlich aus den bereitgestellten Informationen für Twitter (https://developer.twitter.com/en/docs/tweets/optimize-with-cards/overview/summary), dem Open Graph Protocol (https://ogp.me/), Meta-Elemente (https://de.wikipedia.org/wiki/Meta-Element) und den normalen HTML-Tags gebildet. Anschließend wird der Link ersetzt und eine Vorschau-Card angezeigt. Diese enthält, neben dem Titel und der Beschreibung auch das Bild, welches vom Betreiber zur verfügung gestellt wird (falls eins für Twitter oder mit dem OGP zur verfügung gestellt wird, oder ein Bild etwa als Apple-Touch-Icon bereit gestellt wird [ähnlich eines Favicons]). Diese Bilder können auf zwei Arten eingebunden werden: 1. Das Bild wird komplett heruntergeladen und auf meinem Server abgelegt oder das Bild wird durch eine Proxy dargestellt. Dabei wird auch das Bild heruntergeladen, falls es angefordert wird, und für 1 Woche (oder eine vergleichbare Zeit, was wäre hier ratsam) zwischengespeichert. In beiden Varianten wird das Bild lediglich zusammen mit dem Link angezeigt, eine andere Einbindung kann ich zwar nicht ausschließen (da Links zu Bildern immer eingebunden werden können), ist aber unwahrscheinlich.

In wie weit darf ich diese Bilder nun zusammen mit dem Link-Titel und der Link-Beschreibung anzeigen und einbinden? Kann ich davon ausgehen, dass das vom Betreiber der Webseite gewünscht ist, da er diese Daten über die oben genannten Protokolle und diese genau dafür gedacht sind zur Verfügung stellt?

Wichtig ist, dass diese Informationen mit Hilfe eines Bots abgefragt werden, welcher einen eindeutigen User Agent besitzt, welcher eine eindeutige Kennung besitzt. So wäre es, theoretisch, dem Betreiber möglich, dass er den Bot im Nachhinein blockiert und ich so keine Informationen mehr automatisch auslese.

Mit freundlichen Grüßen

Hinweis: Die Frage und Antwort wurde anonymisiert und mit Erlaubnis des Kunden veröffentlicht. Ihre eigene Frage wird standardmäßig nicht veröffentlicht.