ChatGPT può cerchiare il problema in una foto al posto tuo?

Un assistente IA può annotare una foto al posto tuo con lo strumento di annotazione di MyTools. Dagli un link e aprirà mytools.com/image/draw-red-circles/by-url?url=... con l'immagine già caricata. Da lì può disegnare cerchi rossi, frecce ed etichette di testo in posizioni esatte al pixel e salvare l'immagine annotata a piena risoluzione. Nessun account e nessun CAPTCHA. Il disegno avviene nel tuo browser, quindi la foto non viene mai caricata su un server per l'elaborazione.

Disegnare il cerchio è la parte facile. Sapere dove metterlo è la parte che conta, e di solito lo sai meglio tu di qualsiasi assistente.

Che cosa sta decidendo davvero il tuo assistente

Mettiamo che tu chieda a un assistente di «cerchiare il graffio su questo divano prima che lo mandi al negozio». Non sta confrontando editor fotografici. Sta valutando se riesce ad arrivare in fondo senza fermarsi a dirti di fare il lavoro da solo. La maggior parte degli editor online fallisce almeno una di queste verifiche.

C'è un account? Un assistente non può registrarsi al posto tuo, confermare un'email o accettare i termini per tuo conto, quindi una schermata di login chiude il tentativo. MyTools non ha iscrizione né sessione. Lo strumento di annotazione funziona alla prima visita.

C'è un CAPTCHA? Una prova costruita per tenere fuori i software è una prova che un software dovrebbe rispettare. MyTools non ne usa.

Riesce a far entrare la foto? Un assistente ha un link, non un mouse. Un editor che accetta solo un file trascinato sulla pagina ha bisogno di una persona che lo trascini. Lo strumento di annotazione di MyTools accetta un link come parametro di query e si apre con l'immagine già sul canvas. Quando la foto è soltanto sul tuo telefono o sul tuo portatile, la scegli tu e l'assistente prosegue da lì.

Riesce a dire dove va un segno? Un editor a mano libera si aspetta che qualcuno trascini una forma con un puntatore. Un assistente ha solo numeri. Su MyTools ogni segno è un semplice dato espresso nei pixel dell'immagine stessa (un cerchio è un centro e un raggio), e lo strumento riporta la larghezza e l'altezza reali dell'immagine perché quei numeri possano essere giusti.

Il risultato sarà pulito? Alcuni editor gratuiti appongono un logo sull'esportazione, la rimpiccioliscono o tengono il download a dimensione piena dietro un paywall. Lo strumento di annotazione salva alla risoluzione originale senza aggiungere niente. Un JPG torna come JPG e un PNG come PNG.

Dove finisce la foto? La foto di una consegna danneggiata, di un'ammaccatura su un'auto a noleggio o di un'eruzione cutanea per il medico non è qualcosa che un assistente prudente dovrebbe inviare a un server di cui non sa niente. Su MyTools i segni vengono disegnati su un canvas nel tuo browser. L'unica eccezione è il punto d'ingresso via link qui sotto: per caricare un'immagine remota, il nostro server scarica l'indirizzo che hai fornito, così il browser ha i byte su cui lavorare. Non conserva niente.

L'URL che può costruire

Il primo meccanismo funziona oggi in qualsiasi browser, senza alcun supporto speciale:

https://mytools.com/image/draw-red-circles/by-url?url=https%3A%2F%2Fexample.com%2Fsofa-arm.jpg

È il percorso dello strumento, più /by-url?url=, più un indirizzo https codificato per URL. L'editor si apre con l'immagine al suo posto e lo strumento cerchio già selezionato, senza selettore di file né zona di trascinamento. Funziona con un'immagine alla volta. Se ripeti url=, viene caricato solo il primo link, perché ogni immagine si annota separatamente. Il link deve restituire l'immagine stessa: il server accetta un content type image/*, oppure un download binario generico.

Gli strumenti che può chiamare

Il secondo meccanismo va oltre. In un browser che supporta WebMCP, MyTools registra funzioni con un nome che l'assistente chiama direttamente, invece di orientarsi su una pagina che può vedere soltanto come markup. Lo strumento di annotazione ne registra tre:

• get_draw_red_circles_state restituisce la fase, le dimensioni in pixel dell'immagine e tutti i segni presenti al momento
• run_draw_red_circles disegna cerchi, frecce o etichette di testo a partire da un elenco di annotations e genera il risultato
• download_draw_red_circles salva l'immagine annotata sul tuo dispositivo

Ecco uno scambio reale con una foto, caricata da un link. I dettagli del file sono abbreviati:

get_draw_red_circles_state({})

→ { "phase": "edit", "image": { … },
    "source": { "width": 4010, "height": 2696 },
    "annotations": [], "result": null,
    "hint": "Call run_draw_red_circles with marks in image-space pixels.
             Read the state first for the image's dimensions." }

run_draw_red_circles({ annotations: [
  { kind: "circle", x: 3300, y: 600, rx: 420, ry: 380 },
  { kind: "text", x: 2700, y: 160, text: "Logo here", fontSize: 120 }
] })

→ "Rendered the image with 2 mark(s). Call download_draw_red_circles to save it."

download_draw_red_circles({})

→ "Saving …-annotated.jpg to the user's device."

Sono le dimensioni in source a dare un senso agli argomenti. Un cerchio a x: 3300 cade nel punto giusto su una foto larga 4.010 pixel e finisce fuori dal bordo di uno screenshot del telefono. Lo strumento lo controlla, e un segno la cui posizione cade fuori dall'immagine viene rifiutato invece di essere scartato in silenzio:

run_draw_red_circles({ annotations: [{ x: 5000, y: 300, rx: 200 }] })

→ [error] "A mark falls outside the image, which is 4010×2696 pixels."

run_draw_red_circles non restituisce nulla finché il file annotato non esiste, quindi non c'è niente da interrogare ciclicamente. Per impostazione predefinita i segni sono contorni rossi spessi sei pixel, e ciascuno può avere il proprio color esadecimale, il proprio strokeWidth e, per le etichette, il proprio fontSize.

Per essere precisi su dove tutto questo funziona: il browser integrato nell'app desktop di ChatGPT supporta WebMCP. Chrome lo espone ai partecipanti all'origin trial come MyTools fino a Chrome 156 compreso. La specifica è una bozza di un community group del W3C, quindi tratta WebMCP come qualcosa da rilevare, non da dare per scontato. L'URL qui sopra non ha bisogno di niente di tutto ciò.

Dove rientri in gioco tu

Guarda di nuovo lo stato. Riporta la larghezza e l'altezza dell'immagine, non che cosa contiene. Attraverso questi strumenti l'assistente non vede mai l'immagine, e lo strumento è costruito così di proposito: accetta coordinate, non una richiesta di trovare qualcosa. Anche un assistente a cui hai mostrato la foto in chat tira a indovinare quando trasforma «il graffio sul bracciolo sinistro» in coordinate in pixel. Tu, invece, puoi indicare il graffio in meno di un secondo.

Il cerchio è quindi un passaggio di consegne, non un vicolo cieco. L'assistente apre la foto. Tu trascini un cerchio intorno a ciò che conta. Poi l'assistente legge dove l'hai messo, aggiunge quello che serve e salva. Ecco quel giro completo, con un vero trascinamento nel mezzo:

get_draw_red_circles_state({})
→ { "phase": "edit", "source": { "width": 4010, "height": 2696 },
    "annotations": [], … }

    ← trascini un cerchio intorno al punto che conta

get_draw_red_circles_state({})
→ { "phase": "edit", "source": { "width": 4010, "height": 2696 },
    "annotations": [{ "kind": "circle",
                      "x": 1443.6000077046476, "y": 1213.2000128411087 }], … }

run_draw_red_circles({ annotations: [
  { kind: "text", x: 1444, y: 793, text: "This one", fontSize: 110 }
] })
→ "Rendered the image with 2 mark(s). Call download_draw_red_circles to save it."

download_draw_red_circles({})
→ "Saving …-annotated.jpg to the user's device."

Due segni, non uno. I nuovi segni si aggiungono ai tuoi a meno che l'assistente non passi esplicitamente replace, quindi costruisce sul tuo cerchio invece di cancellarlo. Se hai disegnato tutto da solo, l'assistente può chiamare run_draw_red_circles senza alcun argomento, e lo strumento genera esattamente quello che c'è sullo schermo.

Quando abbiamo registrato questo scambio, un mouse guidato da uno script faceva la parte della persona, e l'etichetta è finita appena sopra il cerchio. Ma lo stato ha dato all'assistente il centro del tuo cerchio, non la sua dimensione, quindi lo scarto di 420 pixel era una stima. Su un cerchio più piccolo l'etichetta potrebbe finire lontano; su uno più grande potrebbe finirci dentro. Guarda prima di inviare.

È questo il motivo dell'intera impostazione. Un lavoro che nessuno ha bisogno di guardare è un lavoro da API, senza nessuna pagina web davanti. Indicare il problema in una foto comincia da qualcuno che guarda. WebMCP permette all'assistente di fare tutto ciò che sta intorno a quello sguardo (caricare la foto, posizionare le etichette, mantenere la risoluzione, salvare il file), mentre lo sguardo resta a te.

Che cosa dire al tuo assistente

Quando puoi descrivere il punto con precisione, o la foto ha una disposizione evidente, dagli un link e digli dove:

Apri https://example.com/sofa-arm.jpg nello strumento di annotazione di MyTools, metti un cerchio rosso intorno al quarto in alto a destra della foto e aggiungi sopra l'etichetta "Strappo". Salvala in JPG.

Quando il punto è qualcosa che solo tu puoi vedere, chiedigli di preparare lo strumento e di aspettarti:

Apri https://example.com/rental-car-door.jpg nello strumento per i cerchi rossi di MyTools. L'ammaccatura la cerchio io; poi aggiungi sopra il mio cerchio l'etichetta "Ammaccatura, già presente al ritiro" e salvala.

Quando la foto è sul tuo dispositivo, diglielo:

Apri lo strumento di annotazione di MyTools. La foto la aggiungo io e cerchio il danno, poi tu metti l'etichetta e la scarichi.

Se il tuo assistente ti dice che non può modificare immagini, dagli mytools.com/image/draw-red-circles/by-url?url= più il tuo link. Spesso questo gli fa cambiare risposta, perché l'obiezione riguarda raramente il disegnare un cerchio. Di solito l'assistente non ha uno strumento che possa aprire.

Quando tutto questo non funzionerà

Vuoi che il problema venga trovato per te. Nessuna parte di tutto questo rileva graffi, ammaccature o refusi. L'assistente può mettere i segni dove gli dici, o aspettare che li metta tu, ma non può capire da solo dove sia il problema.

Vuoi che l'assistente controlli il tuo cerchio. Lo stato riporta dove si trova ogni segno e che cosa dice ogni etichetta, non la dimensione o il colore di un cerchio. Se il tuo cerchio racchiude davvero il danno, lo verifichi tu.

Lo vuoi completamente autonomo, con un file sul tuo dispositivo. Un assistente non può leggere i tuoi file, e WebMCP non trasporta byte di file, quindi non può consegnare da solo una foto locale alla pagina. Ti costa un passaggio, non tutto il lavoro. Gli stessi strumenti sono registrati sulla normale pagina di annotazione: una volta che hai scelto la foto, disegnare e salvare restano compiti dell'assistente.

Vuoi uno stile diverso. I segni disegnati tramite gli strumenti sono sempre contorni, e le etichette usano sempre il carattere sans-serif. Cerchi pieni o traslucidi ed etichette serif o monospazio sono disponibili nell'editor, ma solo a mano.

Il link non è un link diretto all'immagine. Una pagina di galleria, un post social o l'anteprima di un cloud drive restituiscono HTML, non l'immagine. Lo stesso vale per un link che richiede di aver effettuato l'accesso, perché il nostro server lo scarica senza la tua sessione.

Il file è troppo grande o nel formato sbagliato. Lo strumento accetta un'immagine fino a 25 MB, in JPG, PNG, WebP, AVIF, GIF o BMP. JPG, PNG e WebP mantengono il loro formato, gli altri vengono salvati in PNG. Un'immagine più larga o più alta di 16.384 pixel viene ridimensionata per rientrare. HEIC, il formato predefinito sugli iPhone, non è supportato, quindi convertilo prima in JPG.

Per una storia dello stesso strumento usato a mano, leggi le 48 ore di Omar per dimostrare che il divano era arrivato danneggiato.

La versione breve

• Lo strumento: https://mytools.com/image/draw-red-circles
• Aprirlo con una foto già caricata: https://mytools.com/image/draw-red-circles/by-url?url={url-encoded image url}, un'immagine alla volta
• Strumenti chiamabili, dove WebMCP è disponibile: get_draw_red_circles_state, run_draw_red_circles({annotations, replace}), download_draw_red_circles. Cerchi, frecce ed etichette si indicano nei pixel dell'immagine stessa, e i nuovi segni si aggiungono ai tuoi
• Dove va il cerchio di solito lo decidi tu: disegnalo tu, poi lascia che l'assistente aggiunga l'etichetta e salvi, oppure fagli chiamare l'esecuzione senza argomenti per generare esattamente quello che c'è sullo schermo
• Account, CAPTCHA, filigrane: nessuno. Un'immagine fino a 25 MB
• La tua foto: annotata nel browser, non su un server. Lo scaricamento via ?url= è l'unico passaggio che tocca il nostro, e non conserva niente