TechTipp: Sei meine Augen – intelligente Bilderkennung – BBSB-INform – 06.11.2023

Sehr geehrte Damen und Herren,

heute lesen sie wieder einen TechTipp unseres aufmerksamen Leser Rainer Brell.

Die iOS App (iPhone) namens „Be My Eyes“ („Sei meine Augen“), gibt es schon geraume Zeit.
Mit dieser App kann man einen zufälligen, freiwilligen, sehenden Helfer kontaktieren, der einem im Optimalfall beschreibt, was gerade über die Kamera des Smartphones zu sehen ist. Da man sich auch sprachlich mit seinem Assistenten verständigt, ist es auch möglich, Rückfragen zu stellen oder die Kamera besser auszurichten.
So ist es unter anderem wunderbar realisierbar, sich Kleidung beschreiben, eine digitale Anzeige vorlesen, die Weinflasche erkennen oder sich eine Rötung am Arm erklären zu lassen.

Nun ist die App mit einer neuen, hochinteressanten Funktion erweitert worden, die ich hier gerne kurz vorstellen möchte.
Es besteht nun auch die Möglichkeit, ein Bild über die Kamera des Smartphones zu machen und dieses an eine künstliche Intelligenz (Chat GPT) zu senden.
Nach kurzer Zeit erhält man eine Beschreibung der Aufnahme und kann sogar noch weitere Fragen zur Fotobeschreibung stellen.

Hier einige Beispiele, um zu zeigen, wie leistungsfähig diese Funktion ist. Die Texte sind im original und nicht korrigiert eingefügt:
Bild 1:
Auf dem Bild sieht man eine Straße mit einem Gehweg. Auf der linken Seite sind drei Fahnenmasten mit Fahnen, die Logos und Text enthalten. Hinter den Fahnen ist ein Gebäude mit einem spitz zulaufenden Dach und Bäumen davor zu sehen. In der Mitte des Bildes geht ein Mann mit einem weißen Stock über den Gehweg. Er trägt ein Hemd mit einem Muster, eine dunkle Hose und weiße Schuhe. Auf der rechten Seite des Bildes ist ein Schild mit der Aufschrift „BFW Berufsförderungswerk Würzburg GmbH“ und der Adresse „Veitshöchheim – Helen-Keller-Straße 5“. Neben dem Schild ist ein Verkehrsschild, das einen Fußgängerüberweg anzeigt. Der Himmel im Hintergrund ist blau mit einigen Wolken.

Frage an das System von mir: Wie hoch sind die Fahnenmasten?
Antwort: Auf dem Bild ist es schwierig zu bestimmen, wie hoch die Fahnenmasten genau sind, aber sie sehen ziemlich hoch aus, vielleicht etwa 5 bis 6 Meter.

Bild 2:
Auf dem Bild sieht man eine Strandpromenade mit dem Meer im Hintergrund. Es gibt zwei Radfahrer in gelben und schwarzen Trikots, die auf einem Tandemfahrrad fahren. Sie tragen Helme und Rucksäcke. Es gibt auch ein Paar, das in der Nähe der Mauer spazieren geht, die das Meer von der Promenade trennt. Die Frau trägt eine rote Jacke und der Mann eine schwarze. Es gibt auch eine Palme auf der linken Seite des Bildes und ein Schild mit mehreren Farben auf der rechten Seite. Der Himmel ist blau mit ein paar Wolken.

Bild 3:
Auf dem Bild sieht man eine wunderschöne Winterlandschaft. Es gibt schneebedeckte Hügel und Bäume. Der Himmel ist teilweise bewölkt, aber es scheint ein sonniger Tag zu sein. Im Vordergrund sieht man drei Personen, die mit Skistöcken durch den Schnee wandern. Die Spuren im Schnee zeigen, dass es sich um eine beliebte Route handelt.

Bild 4:
Auf dem Bild sehen Sie eine wunderschöne Küstenlandschaft. Im Vordergrund befindet sich ein Stapel aus sieben flachen Steinen, die sorgfältig übereinander gestapelt sind. Die Steine haben verschiedene Größen und Farben, von grau bis braun. Im Hintergrund sehen Sie das Meer mit Wellen, die gegen große, schroffe Felsformationen prallen. Die Felsen sind sehr hoch und haben eine dunkle Farbe. Der Himmel ist klar und blau. Es ist ein sehr friedliches und malerisches Bild.

Für diejenigen, die noch etwas sehen, stelle ich die Bilder im Original auf meiner privaten Cloud zur Verfügung, damit Bild und Beschreibung verglichen werden können:
https://cloud61.de/index.php/s/PoEajFycRbHXjec

Ferner ist es auch möglich, bestehende Bilder von seinem iPhone an diese App zu senden, um jene dann dort Beschreiben zu lassen. Hierzu einfach auf dem entsprechenden Bild auf „Teilen“ gehen und dann – recht weit unten in der Liste – „Mit Be my Eyes beschreiben“ auswählen.

So gelangen Sie zu dieser neuen Funktionalität
Falls noch nicht geschehen, installieren Sie die App „Be My Eyes“ über den appStore
https://apps.apple.com/de/app/be-my-eyes-helping-blind-see/id905177575

Nach dem ersten Aufruf kann man sich mit seiner E-Mail-Adresse anmelden, was sich empfiehlt, weil man dann auch per Mail Informationen erhält. Die Kontoerstellung ist selbsterklärend.

Die neue Möglichkeit mit dem Namen „Be My AI“ („Sei meine KI“) war bis vor Kurzem noch im Beta-Status. Man musste sich dafür explizit freischalten lassen. Jetzt ist die Funktion gleich nach der Anmeldung bereit und steht am unteren Rand der App als zweiter Tap zur Verfügung.

Nachdem man den Zugriff auf seine Kamera eingeräumt hat, kann gleich das erste Foto aufgenommen werden, so dass die künstliche Intelligenz ihre Arbeit aufnimmt.

Ein paar Gedanken von mir zu dieser neuen Funktion:
Die Ergebnisse empfinde ich als meist sehr hilfreich und interessant. Man sollte jedoch immer im Auge behalten, dass das Ergebnis nicht immer korrekt ist und vor allem daran denken, dass die Bilder an Dritte weitergegeben werden. Gerade sicherheitsrelevante Dinge, geheime Dokumente und Personenaufnahmen sind hier im Fokus zu behalten.
Spannend ist bei dieser App auch die Frage, ob bei der Bilderkennung künstliche Intelligenz besser ist als menschliche Intelligenz. Zweifelsohne ist ein Mensch in diesem Bereich einer KI vorzuziehen. Auf der anderen Seite hat nicht jeder sehende Helfer die Fähigkeit, Bilder genau zu beschreiben und wir können nur nach Dingen fragen, von denen wir wissen oder ahnen, dass sie auf dem Bild sein könnten.

Hier noch weitere Informationen vom Hersteller zu dieser App:
https://www.bemyeyes.com/language/german

Viele Grüße
Rainer Brell

Ihr BBSB-Inform

Wichtiger Hinweis: Aktuell blockieren viele Spam-Filter die Absenderadresse „lists.bbsb.org“. Bitte prüfen Sie ggf. die Einstellungen Ihres Spamfilters.
Zusätzlich verzichten wir auf klickbare Links und ersetzen z. B. das „@“-Zeichen in einer Mail-Adresse durch die Umschreibung „[at]“.

BBSB-Inform wird Ihnen auch am Telefon vorgelesen. Wählen Sie: 0871 7000 14000 (dt. Festnetz).

Das Redaktionsteam können sie folgendermaßen erreichen:

• Mail: Redaktionbbsbinform(at)bbsb.org
• Judith Faltl: Telefon 0 89 – 68 52 58
• Tobias Michl: Telefon 0 8236 – 958 19 12

Wenn Sie sich zum bbsb-inform-Newsletter anmelden möchten, schicken Sie eine leere E-Mail an bbsb-inform-subscribe[at]lists.bbsb.org. Es folgt eine Bestätigungs-E-Mail, auf die Sie einfach antworten. Befolgen Sie ggf. weitere Anweisungen.
Dann erhalten Sie von Montag bis Freitag aktuelle Informationen aus dem Blinden- und Sehbehindertenwesen.

Eine Abmeldung ist jederzeit möglich. Senden Sie hierfür eine leere E-Mail an bbsb-inform-unsubscribe[at]lists.bbsb.org.