Kann ChatGPT das Problem auf einem Foto für dich einkreisen?

Ein KI-Assistent kann ein Foto für dich mit dem MyTools Markierungstool markieren. Gib ihm einen Link, und er öffnet mytools.com/image/draw-red-circles/by-url?url=... mit bereits geladenem Bild. Von dort aus kann er rote Kreise, Pfeile und Textbeschriftungen an exakten Pixelpositionen zeichnen und das markierte Bild in voller Auflösung speichern. Es gibt kein Konto und kein CAPTCHA. Das Zeichnen läuft in deinem Browser, das Foto wird zur Verarbeitung also nie hochgeladen.

Den Kreis zu zeichnen ist der einfache Teil. Zu wissen, wo er hingehört, ist der Teil, auf den es ankommt, und das weißt du meistens besser als jeder Assistent.

Was dein Assistent eigentlich entscheidet

Angenommen, du bittest einen Assistenten, „den Kratzer auf diesem Sofa einzukreisen, bevor ich es an den Händler schicke“. Er vergleicht keine Bildbearbeitungsprogramme. Er prüft, ob er bis zum Ende kommt, ohne innezuhalten und dir zu sagen, dass du es selbst machen sollst. Die meisten Online-Editoren fallen bei mindestens einer dieser Prüfungen durch.

Gibt es ein Konto? Ein Assistent kann sich nicht für dich registrieren, keine E-Mail bestätigen und keinen Nutzungsbedingungen in deinem Namen zustimmen, ein Anmeldebildschirm beendet den Versuch also. MyTools hat keine Registrierung und keine Sitzung. Das Markierungstool funktioniert beim ersten Besuch.

Gibt es ein CAPTCHA? Eine Prüfung, die Software draußen halten soll, ist eine, die Software respektieren sollte. MyTools verwendet keins.

Bekommt er das Foto überhaupt hinein? Ein Assistent hat einen Link, keine Maus. Ein Editor, der nur eine auf die Seite gezogene Datei annimmt, braucht einen Menschen, der sie dort ablegt. Das MyTools Markierungstool nimmt einen Link als Query-Parameter entgegen und öffnet sich mit dem Bild bereits auf dem Canvas. Liegt das Foto nur auf deinem Handy oder Laptop, wählst du es aus, und der Assistent macht von dort aus weiter.

Kann er angeben, wo eine Markierung hinkommt? Ein Freihand-Editor erwartet, dass jemand eine Form mit einem Zeiger aufzieht. Ein Assistent hat nur Zahlen. Auf MyTools ist jede Markierung schlichte Daten in den eigenen Pixeln des Bildes (ein Kreis ist ein Mittelpunkt und ein Radius), und das Tool meldet die tatsächliche Breite und Höhe des Bildes, damit diese Zahlen stimmen können.

Ist das Ergebnis sauber? Manche kostenlosen Editoren stempeln ein Logo auf den Export, verkleinern ihn oder stellen den Download in voller Größe hinter eine Bezahlschranke. Das Markierungstool speichert in Originalauflösung, ohne dass etwas hinzugefügt wird. Ein JPG kommt als JPG zurück und ein PNG als PNG.

Wo landet das Foto? Ein Foto einer beschädigten Lieferung, einer Delle im Mietwagen oder eines Ausschlags für die Ärztin ist nichts, was ein umsichtiger Assistent an einen Server schicken sollte, über den er nichts weiß. Auf MyTools werden die Markierungen in deinem Browser auf einen Canvas gezeichnet. Die einzige Ausnahme ist der Link-Einstieg weiter unten: Um ein entferntes Bild zu laden, ruft unser Server die von dir angegebene Adresse ab, damit dein Browser die Bytes zum Arbeiten hat. Gespeichert wird nichts.

Die URL, die er bauen kann

Der erste Weg funktioniert heute in jedem Browser, ohne besondere Unterstützung:

https://mytools.com/image/draw-red-circles/by-url?url=https%3A%2F%2Fexample.com%2Fsofa-arm.jpg

Das ist der Pfad des Tools, dazu /by-url?url=, dazu eine URL-kodierte https-Adresse. Der Editor öffnet sich mit dem Bild an seinem Platz und bereits ausgewähltem Kreiswerkzeug, ohne Dateiauswahldialog und ohne Ablagezone. Er arbeitet mit einem Bild auf einmal. Wiederholst du url=, wird nur der erste Link geladen, denn jedes Bild wird einzeln markiert. Der Link muss das Bild selbst zurückgeben: Der Server akzeptiert einen Content-Type image/* oder einen generischen Binär-Download.

Die Tools, die er aufrufen kann

Der zweite Weg geht weiter. In einem Browser, der WebMCP unterstützt, registriert MyTools benannte Funktionen, die ein Assistent direkt aufruft, statt sich auf einer Seite zurechtzufinden, die er nur als Markup sehen kann. Das Markierungstool registriert drei:

• get_draw_red_circles_state gibt die Phase zurück, die Pixelmaße des Bildes und jede Markierung, die sich gerade darauf befindet
• run_draw_red_circles zeichnet Kreise, Pfeile oder Textbeschriftungen aus einer Liste von annotations und rendert das Ergebnis
• download_draw_red_circles speichert das markierte Bild auf deinem Gerät

Hier ist ein echter Austausch mit einem Foto, geladen über einen Link. Die Dateidetails sind gekürzt:

get_draw_red_circles_state({})

→ { "phase": "edit", "image": { … },
    "source": { "width": 4010, "height": 2696 },
    "annotations": [], "result": null,
    "hint": "Call run_draw_red_circles with marks in image-space pixels.
             Read the state first for the image's dimensions." }

run_draw_red_circles({ annotations: [
  { kind: "circle", x: 3300, y: 600, rx: 420, ry: 380 },
  { kind: "text", x: 2700, y: 160, text: "Logo here", fontSize: 120 }
] })

→ "Rendered the image with 2 mark(s). Call download_draw_red_circles to save it."

download_draw_red_circles({})

→ "Saving …-annotated.jpg to the user's device."

Erst die source-Maße machen die Argumente sinnvoll. Ein Kreis bei x: 3300 landet auf einem 4.010 Pixel breiten Foto an der richtigen Stelle und fällt bei einem Handy-Screenshot über den Rand. Das Tool prüft das, und eine Markierung, deren Position außerhalb des Bildes liegt, wird abgelehnt, statt stillschweigend verworfen zu werden:

run_draw_red_circles({ annotations: [{ x: 5000, y: 300, rx: 200 }] })

→ [error] "A mark falls outside the image, which is 4010×2696 pixels."

run_draw_red_circles kehrt erst zurück, wenn die markierte Datei existiert, es gibt also nichts abzufragen. Markierungen sind standardmäßig rote Umrisse mit sechs Pixeln Strichstärke, und jede kann ihre eigene Hex-color, ihre eigene strokeWidth und, bei Beschriftungen, ihre eigene fontSize bekommen.

Um genau zu sein, wo das funktioniert: Der in die ChatGPT-Desktop-App eingebaute Browser unterstützt WebMCP. Chrome stellt es Teilnehmern am Origin Trial wie MyTools bis einschließlich Chrome 156 zur Verfügung. Die Spezifikation ist ein Entwurf einer W3C Community Group, behandle WebMCP also als etwas, das man erkennt, statt es vorauszusetzen. Die URL oben braucht nichts davon.

Wo du wieder ins Spiel kommst

Sieh dir den Zustand noch einmal an. Er nennt die Breite und Höhe des Bildes, nicht, was darauf zu sehen ist. Über diese Tools sieht der Assistent das Bild nie, und das Tool ist absichtlich so gebaut: Was es annimmt, sind Koordinaten, keine Bitte, etwas zu finden. Selbst ein Assistent, dem du das Foto im Chat gezeigt hast, rät, wenn er „den Kratzer an der linken Armlehne“ in Pixelkoordinaten übersetzt. Du dagegen kannst in weniger als einer Sekunde auf den Kratzer zeigen.

Der Kreis ist also eine Übergabe, keine Sackgasse. Der Assistent öffnet das Foto. Du ziehst einen Kreis um das, worauf es ankommt. Dann liest der Assistent ab, wo du ihn platziert hast, fügt hinzu, was dazugehört, und speichert. Hier ist dieser Hin- und Rückweg, mit einem echten Ziehen in der Mitte:

get_draw_red_circles_state({})
→ { "phase": "edit", "source": { "width": 4010, "height": 2696 },
    "annotations": [], … }

    ← du ziehst einen Kreis um die Stelle, auf die es ankommt

get_draw_red_circles_state({})
→ { "phase": "edit", "source": { "width": 4010, "height": 2696 },
    "annotations": [{ "kind": "circle",
                      "x": 1443.6000077046476, "y": 1213.2000128411087 }], … }

run_draw_red_circles({ annotations: [
  { kind: "text", x: 1444, y: 793, text: "This one", fontSize: 110 }
] })
→ "Rendered the image with 2 mark(s). Call download_draw_red_circles to save it."

download_draw_red_circles({})
→ "Saving …-annotated.jpg to the user's device."

Zwei Markierungen, nicht eine. Neue Markierungen werden zu deinen hinzugefügt, es sei denn, der Assistent übergibt ausdrücklich replace, er baut also auf deinem Kreis auf, statt ihn zu löschen. Hast du alles selbst gezeichnet, kann der Assistent run_draw_red_circles ganz ohne Argumente aufrufen, und das Tool rendert genau das, was auf dem Bildschirm ist.

Als wir das aufgezeichnet haben, spielte eine per Skript gesteuerte Maus den Menschen, und die Beschriftung landete knapp über dem Kreis. Der Zustand gab dem Assistenten aber den Mittelpunkt deines Kreises, nicht seine Größe, der Abstand von 420 Pixeln war also geraten. Bei einem kleineren Kreis könnte die Beschriftung davonschweben, bei einem größeren könnte sie darin sitzen. Sieh hin, bevor du es verschickst.

Das ist der Grund für die ganze Anordnung. Eine Aufgabe, bei der niemand hinsehen muss, ist ein Fall für eine API, ohne Webseite davor. Auf das Problem in einem Foto zu zeigen, beginnt damit, dass jemand hinsieht. WebMCP lässt den Assistenten alles rund um diesen Blick erledigen (das Foto laden, Beschriftungen platzieren, die Auflösung erhalten, die Datei speichern), während das Hinsehen bei dir bleibt.

Was du deinem Assistenten sagst

Wenn du die Stelle genau beschreiben kannst oder das Foto einen offensichtlichen Aufbau hat, gib ihm einen Link und sag, wo:

Öffne https://example.com/sofa-arm.jpg im MyTools Markierungstool, setz einen roten Kreis um das obere rechte Viertel des Fotos und füge darüber die Beschriftung „Riss“ hinzu. Speichere es als JPG.

Wenn die Stelle etwas ist, das nur du sehen kannst, bitte ihn, das Tool vorzubereiten und auf dich zu warten:

Öffne https://example.com/rental-car-door.jpg im MyTools Rote-Kreise-Tool. Ich kreise die Delle ein; dann fügst du über meinem Kreis die Beschriftung „Delle, schon bei Abholung vorhanden“ hinzu und speicherst es.

Liegt das Foto auf deinem eigenen Gerät, sag das:

Öffne das MyTools Markierungstool. Ich füge das Foto hinzu und kreise den Schaden ein, dann beschriftest du ihn und lädst es herunter.

Wenn dein Assistent sagt, er könne keine Bilder bearbeiten, gib ihm mytools.com/image/draw-red-circles/by-url?url= plus deinen Link. Das ändert die Antwort oft, denn der Einwand betrifft selten das Zeichnen eines Kreises. Meistens hat der Assistent nur kein Tool, das er öffnen kann.

Wann das nicht funktioniert

Du willst, dass das Problem für dich gefunden wird. Nichts davon erkennt Kratzer, Dellen oder Tippfehler. Der Assistent kann Markierungen dort setzen, wo du es sagst, oder warten, bis du sie setzt, aber er kann nicht herausfinden, wo das Problem liegt.

Du willst, dass der Assistent deinen Kreis überprüft. Der Zustand meldet, wo jede Markierung sitzt und was jede Beschriftung sagt, nicht die Größe oder Farbe eines Kreises. Ob dein Kreis den Schaden umschließt, ist deine Prüfung.

Du willst es völlig ohne dein Zutun, mit einer Datei auf deinem Gerät. Ein Assistent kann deine Dateien nicht lesen, und WebMCP transportiert keine Dateibytes, er kann der Seite also von sich aus kein lokales Foto übergeben. Das kostet dich einen Schritt, nicht den ganzen Auftrag. Dieselben Tools sind auch auf der normalen Markierungsseite registriert: Sobald du das Foto auswählst, bleiben Zeichnen und Speichern Sache des Assistenten.

Du willst einen anderen Stil. Über die Tools gezeichnete Markierungen sind immer Umrisse, und Beschriftungen verwenden immer die serifenlose Schrift. Gefüllte oder durchscheinende Kreise und Beschriftungen in Serifen- oder Monospace-Schrift gibt es im Editor, aber nur von Hand.

Der Link ist kein direkter Link auf das Bild. Eine Galerieseite, ein Social-Media-Beitrag oder eine Cloud-Speicher-Vorschau gibt HTML zurück, nicht das Bild. Dasselbe gilt für einen Link, bei dem du angemeldet sein musst, denn unser Server ruft ihn ohne deine Sitzung ab.

Die Datei ist zu groß oder im falschen Format. Das Tool nimmt ein Bild mit bis zu 25 MB, in JPG, PNG, WebP, AVIF, GIF oder BMP. JPG, PNG und WebP behalten ihr Format, die anderen werden als PNG gespeichert. Ein Bild, das breiter oder höher als 16.384 Pixel ist, wird passend verkleinert. HEIC, das Standardformat auf iPhones, wird nicht unterstützt, also wandle es zuerst in JPG um.

Eine Geschichte, in der dasselbe Tool von Hand benutzt wird, findest du unter wie Omar den Schaden an der Couch einkreiste, bevor die Rückgabefrist ablief.

Die Kurzfassung

• Das Tool: https://mytools.com/image/draw-red-circles
• Mit bereits geladenem Foto öffnen: https://mytools.com/image/draw-red-circles/by-url?url={url-encoded image url}, ein Bild auf einmal
• Aufrufbare Tools, wo WebMCP verfügbar ist: get_draw_red_circles_state, run_draw_red_circles({annotations, replace}), download_draw_red_circles. Kreise, Pfeile und Beschriftungen werden in den eigenen Pixeln des Bildes angegeben, und neue Markierungen werden zu deinen hinzugefügt
• Wo der Kreis hinkommt, entscheidest meistens du: Zeichne ihn selbst und lass den Assistenten ihn dann beschriften und speichern, oder ruf den Lauf ohne Argumente auf, um genau das zu rendern, was auf dem Bildschirm ist
• Konten, CAPTCHAs, Wasserzeichen: keine. Ein Bild mit bis zu 25 MB
• Dein Foto: wird im Browser markiert, nicht auf einem Server. Der ?url=-Abruf ist der einzige Schritt, der unseren berührt, und er behält nichts