Jev ora legge le foto: dai controlli sui resi all'individuazione del danno

Diagramma esplicativo originale: dalla foto si ottengono giudizi distinti e coordinate, poi una persona esamina il danno proposto. Illustra un flusso, non un risultato registrato del modello.

Un cliente fotografa una tazza scheggiata. Lo strumento di assistenza deve rispondere a tre domande diverse: la tazza è visibile? La foto mostra un danno? Dove dovrebbe guardare chi revisiona? Un paragrafo scorrevole sulla ceramica non è il risultato intermedio più utile.

Il 14 ottobre 2026, TypeSafe AI ha annunciato il supporto sperimentale alle immagini per Jev insieme a Jev 1.14.0 e a un nuovo tipo di output box. Le immagini funzionano sia con Jev 1.13 sia con 1.14; Box richiede la 1.14. TypeSafe definisce queste funzioni sperimentali e specifica che non le raccomanda ancora per automazioni di produzione. Annuncio ufficiale

Il cambiamento utile è più circoscritto di un assistente multimodale generico: una foto può diventare una decisione tipizzata o una posizione all'interno di un programma. Vediamo cosa cambia in un flusso di reso, quali input accetta l'interfaccia e come creare un prototipo prudente senza scambiare un rettangolo per una prova.

In breve:

• Jev ora dispone di un percorso sperimentale per comprendere immagini statiche, non per generarle.
• Prima di fidarti della posizione proposta, chiedi se il bersaglio è effettivamente presente.
• Conserva la foto originale e la revisione umana; lascia al codice il controllo di coordinate, permessi e conseguenze.

Una fotografia può diventare una decisione invece che una descrizione

Il punto di forza originale di Jev erano le risposte circoscritte: scegliere un'opzione fornita, valutare livelli descritti o verificare una proposizione sì/no. La nostra guida precedente al modello decisionale Jev spiega queste basi. La novità è poter porre le stesse domande usando prove visive e ottenere anche coordinate spaziali.

Per un'interfaccia di reso cambia la divisione del lavoro. Il modello può suggerire che il danno sia visibile; il codice dell'applicazione può mostrare quel suggerimento accanto all'immagine inviata. Nessuna delle due operazioni stabilisce quando si sia verificato il danno, se la foto appartenga a quell'ordine o se il rimborso sia autorizzato. Sono domande distinte e richiedono prove diverse.

Questi limiti sono descritti nel riferimento del modello, nel contratto delle richieste API e nell'SDK con supporto alle immagini. Una cartella di PDF non diventa una pipeline di elaborazione documenti solo perché alcune pagine contengono immagini. Allo stesso modo, più fotogrammi estratti non dimostrano comprensione video nativa né accesso alla traccia audio.

Secondo noi l'unità interessante è un piccolo giudizio verificabile collegato alle prove. Non è una nuova autorizzazione ad automatizzare tutto ciò che viene dopo.

Tre esempi ufficiali ricavano attività diverse dalla stessa foto

La documentazione JavaScript di TypeSafe offre tre punti di partenza concreti. Sono esempi di codice pubblicati, non resoconti di distribuzioni presso clienti né risultati misurati. Considerali modelli per un prototipo, non promesse di accuratezza sulle tue fotografie.

Il primo combina la segnalazione di una tazza danneggiata con la foto del prodotto, chiedendo a un Noul se c'è un danno e a uno Score di valutarne la gravità. In una coda di assistenza, un adattamento potrebbe portare in cima i casi con possibili danni da ispezionare. Chi revisiona dovrebbe comunque vedere foto completa, descrizione del cliente e la possibilità di rifiutare il suggerimento.

Il secondo confronta la foto caricata da un venditore con un'immagine di catalogo. Chiede se raffigurano lo stesso prodotto e classifica l'utilizzabilità della foto, considerando sfocatura, ritaglio e contenuti estranei al prodotto. Per un marketplace, questo suggerisce una separazione utile: corrispondenza dell'identità e qualità della foto non devono per forza condividere una sola decisione di approvazione. Una foto nitida del prodotto sbagliato non dovrebbe passare solo perché sembra professionale.

Il terzo chiede a Box di localizzare la parte danneggiata. Il risultato potrebbe guidare una sovrapposizione o suggerire un ritaglio a chi esamina il caso. Conserva accanto la foto originale non ritagliata: restringere l'attenzione può aiutare a ispezionare una segnalazione, ma anche nascondere un contesto che ne cambia il significato.

Consulta gli esempi ufficiali per la valutazione del danno, il confronto con il catalogo e la localizzazione del danno. Il flusso di reso che proponiamo aggiunge protezioni applicative a questi modelli: non è il resoconto di una prova.

Un riquadro non può dirti che non c'è nulla da trovare

Il dettaglio cruciale del contratto Box di TypeSafe è che non esiste un output per segnalare l'assenza del bersaglio. La domanda Box restituisce quattro bordi anche quando il bersaglio richiesto manca. Da solo, quindi, un rettangolo attorno a una tazza integra non dimostra che ci sia un danno.

Chiedi separatamente a Noul se il bersaglio richiesto è presente. In questo flusso distingui la presenza della tazza da quella di un danno visibile. Una risposta positiva sulla tazza non basta ad autorizzare una sovrapposizione del danno. Ignora il riquadro proposto finché i controlli di presenza pertinenti non superano le regole convalidate.

È un controllo di presenza, non una soluzione agli errori. I due giudizi possono sbagliare insieme. Un riflesso luminoso potrebbe sembrare una scheggiatura, mentre una crepa reale potrebbe sparire su uno smalto decorato. Prova foto senza tazza, di tazze integre, con riflessi ambigui, con più oggetti e con danni chiaramente visibili prima di scegliere soglie.

Diagramma decisionale originale: il rettangolo è utilizzabile solo dopo il superamento del controllo di presenza del bersaglio. Controlli falliti o incerti conservano la foto originale per la revisione umana; non diventano rifiuti automatici.

Considera il rettangolo un puntatore, non un verdetto.

Interpreta le coordinate come geometria, poi verificane il significato

Box restituisce left, right, top e bottom come frazioni delle dimensioni dell'immagine, misurate dall'angolo in alto a sinistra. I valori sono compresi tra 0 e 1, con left < right e top < bottom. Una domanda produce un solo riquadro, non un elenco di oggetti rilevati. Contratto della risposta Box

Per un'immagine preparata illustrativa di 1200 x 900, bordi sinistro 0.20, superiore 0.30, destro 0.60 e inferiore 0.70 corrispondono ai pixel 240, 270, 720, 630. Sono esempi aritmetici, non una risposta di Jev. Le API di ritaglio si aspettano spesso sinistra, alto, destra, basso; associa deliberatamente i campi per nome, senza affidarti all'ordine delle proprietà JSON.

Prima di disegnare qualsiasi elemento, verifica che i valori siano numeri finiti, nei limiti e nell'ordine corretto. Poi controlla che la regione identifichi davvero il danno. Se ridimensioni, ruoti, aggiungi margini o suddividi una foto in tasselli, conserva la trasformazione necessaria per riportare le coordinate all'originale; altrimenti un riquadro plausibile può indicare pixel sbagliati.

Prepara l'immagine prima della richiesta, non dopo un errore

I limiti immagini ufficiali sono precisi e inclusivi. Un'immagine fuori intervallo viene rifiutata, non ridimensionata automaticamente; il rifiuto di una singola immagine fa fallire l'intera richiesta.

I riferimenti ripetuti vengono conteggiati di nuovo nella richiesta espansa. Dimensione del file, dimensioni e lunghezza del contesto sono controlli distinti. Limiti immagini

Diagramma originale dei vincoli basato sulla documentazione immagini di TypeSafe, verificata il 18 ottobre 2026. I limiti per file, immagini elaborate, richiesta espansa e corpo della richiesta si applicano separatamente.

TypeSafe raccomanda anche di ruotare i pixel in verticale prima dell'invio: l'API rimuove i metadati e non applica l'orientamento EXIF. Converti prima i formati non supportati. Indicazioni per la preparazione

Per un prototipo, prepara una copia identificata chiaramente di una foto che possiedi e lascia intatto l'originale. Controlla localmente le dimensioni e visualizza in anteprima proprio la copia che invierai. Un ritaglio stretto potrebbe richiedere margini per raggiungere la dimensione minima; annota quei margini prima di interpretare le coordinate.

Fissa la versione 1.14 e rendi esplicito l'interruttore sperimentale

Al 18 ottobre, la tabella pubblicata degli alias associa jev-latest a jev-1.13.0 e jev-preview a jev-1.14.0. Per un esempio Box fissa jev-1.14.0, invece di presumere che «latest» significhi l'anteprima più recente. Alias dei modelli

La procedura seguente crea un esempio locale destinato soltanto alla revisione. Eseguire il comando finale invia una richiesta d'inferenza fatturabile, che l'SDK potrebbe riprovare; non approva un reso né modifica un account. Usa una foto di prova che possiedi, senza persone, etichette di spedizione, indirizzi o documenti privati.

1. Ottieni accesso e scegli l'organizzazione corretta. TypeSafe afferma che la registrazione non richiede più l'approvazione della lista d'attesa. Crea una chiave API nella console e controlla i crediti dell'organizzazione prima di provare. Accesso all'account, impostazioni dei crediti

2. Usa Node.js 22 o successivo. La versione dell'SDK JavaScript compatibile con immagini è 0.7.0, datata 14 ottobre. Fissarla rende esplicita la dipendenza client dell'esempio. Changelog dell'SDK

node --version
mkdir jev-photo-check
cd jev-photo-check
npm init -y
npm install @typesafe-ai/[email protected]

3. Imposta una chiave valida solo per la sessione. In Windows PowerShell usa il primo blocco; in Bash/Zsh su macOS o Linux usa il secondo. Sostituisci localmente il segnaposto e non fare commit di una chiave reale.

$env:TYPESAFE_API_KEY = "your-api-key"

export TYPESAFE_API_KEY="your-api-key"

4. Prepara owned-mug.jpg e crea inspect-return.mjs. Questo adattamento originale usa gli helper documentati dell'SDK. Configura l'intestazione sperimentale prima di qualsiasi richiesta immagine. Le due soglie di probabilità sono regole applicative illustrative, non raccomandazioni di TypeSafe. Ogni risultato deve comunque essere revisionato da una persona. Uso dell'SDK

import { readFile } from "node:fs/promises";
import { box, image, noul, TypeSafeClient } from "@typesafe-ai/sdk";

if (!process.env.TYPESAFE_API_KEY) {
  throw new Error("Set TYPESAFE_API_KEY before choosing to run this example.");
}

const client = new TypeSafeClient({
  defaultHeaders: { "TypeSafe-Danger-Zone-Images": "true" },
});
const photo = image(await readFile("owned-mug.jpg"));
const response = await client.systemOne({
  model: "jev-1.14.0",
  state: { photo },
  questions: {
    mugVisible: noul("Is a mug clearly visible in `photo`?"),
    damageVisible: noul("Is physical damage clearly visible on the mug in `photo`?"),
    damageRegion: box("The physically damaged area of the mug in `photo`"),
  },
});

const { mugVisible, damageVisible, damageRegion } = response.answers;
const edges = damageRegion.box;
const coordinates = [edges.left, edges.top, edges.right, edges.bottom];
const validBox = coordinates.every(
  (value) => Number.isFinite(value) && value >= 0 && value <= 1,
) && edges.left < edges.right && edges.top < edges.bottom;

const presencePasses = [mugVisible.noul, damageVisible.noul].every(
  (value) => Number.isFinite(value) && value >= 0.95 && value <= 1,
);

console.log({
  model: response.model,
  usage: response.usage,
  humanReviewRequired: true,
  suggestedBox: presencePasses && validBox ? edges : null,
});

5. Esegui soltanto quando sei pronto a inviare l'immagine e sostenere il costo. Su tutti e tre i sistemi operativi, il comando è node inspect-return.mjs. Un'eccezione o suggestedBox: null dovrebbe lasciare l'immagine originale disponibile per la revisione, non innescare invii automatici ripetuti.

Le domande condividono una richiesta, ma il riquadro viene ignorato se non supera il controllo applicativo. Questo non evita il costo di calcolare un riquadro inutilizzato. Un progetto successivo può spostare la localizzazione in una seconda richiesta dopo i controlli di presenza, scambiando un ulteriore round trip con l'eliminazione di chiamate di localizzazione non necessarie.

Un piccolo prezzo per token non equivale al costo per fotografia

La tariffa pubblicata per entrambe le versioni è 0,042$ per milione di token in input; i token in output sono gratuiti. Significa che 10 milioni di token fatturati in input costano 0,42$, non che dieci milioni di immagini costino quella cifra. Prezzi pubblicati

Le immagini vengono conteggiate come token in input alla tariffa testuale, senza un costo immagine separato. TypeSafe non ha ancora pubblicato una formula per stimare i token immagine. Durante una valutazione autorizzata, usa usage.input_tokens della risposta invece di inventare un costo per fotografia. Fatturazione immagini

Nel budget includi tentativi falliti, ripetizioni, pre-elaborazione, archiviazione e tempo di revisione. Tieni insieme costi e misure di qualità: risparmiare una frazione di centesimo non è utile se un ritaglio troppo stretto obbliga ogni revisore a riaprire l'originale. Confronta l'intero compito di revisione con una semplice base manuale.

Progetta tenendo conto di incertezza, privacy e carico del servizio

Noul restituisce una probabilità senza un campo separato confidence. Choice e Score includono distribuzioni e valori di confidenza derivati. Questi valori descrivono l'incertezza del modello, non sono un certificato universale di correttezza. Documentazione sulla confidenza

Per il flusso della tazza, convalida il controllo su fotografie di test non usate nella calibrazione e dotate di etichette concordate. Raggruppa output simili e confrontali con la correttezza osservata per verificare la calibrazione sul tuo compito. Misura separatamente i danni mancati e i falsi allarmi, distinguendo una sovrapposizione mal posizionata da una decisione di rimborso sbagliata. Rivaluta le soglie se cambi modello, illuminazione, categoria di prodotto o procedura di acquisizione.

Non trattare ogni immagine che non supera i controlli come una prova a carico del cliente. Una foto può essere inadeguata per una fotocamera scadente, un oggetto riflettente o un difetto che richiede un'altra angolazione. Una procedura utile offre un percorso per inviare un'altra foto o richiedere un'ispezione manuale, senza attribuire al cliente la colpa dell'incertezza del modello.

TypeSafe afferma che le richieste e le risposte dei clienti non vengono usate per addestrare Jev. Il centro assistenza spiega anche che l'elaborazione può comprendere erogazione del servizio, fatturazione, prevenzione degli abusi e telemetria; la conservazione dipende dai dati, dagli accordi e da eventuali intese di conservazione zero. Niente addestramento non significa niente conservazione. Informativa sul trattamento dei dati

La pagina pubblica sullo stato del servizio indica la geografia USA e le regioni us-east-1, us-east-2 e us-west-2. I team soggetti a requisiti di residenza dei dati regionali dovrebbero chiarire dove avviene l'elaborazione prima di caricare foto dei clienti: poter accedere alla console non equivale a un accordo sulla residenza.

Riduci al minimo i dati prima del caricamento. Se non serve, ritaglia da una copia preparata un'etichetta con indirizzo; limita l'accesso agli originali ed evita immagini e segreti nei log ordinari. Definisci la conservazione dei tuoi registri di revisione separatamente dalle policy del fornitore.

I limiti dell'organizzazione riguardano richieste e token al secondo. L'API documenta 429 per la limitazione della frequenza e 529 per il sovraccarico; un input malformato o troppo grande va corretto, non ritentato senza modifiche. Limiti di frequenza, errori API

La policy di ripetizione predefinita dell'SDK JavaScript prevede due tentativi e rispetta le intestazioni supportate per i ritardi. Evita di aggiungere un ciclo esterno di ripetizione senza limiti. Fissa un tempo massimo, conserva uno stato d'errore utile e tieni separata qualsiasi futura azione aziendale, così una richiesta d'inferenza ripetuta non emette rimborsi duplicati. Policy di ripetizione

Domande a cui rispondere prima del primo flusso con fotografie

Jev modifica o genera la foto del reso?

No. L'immagine è una prova usata per un giudizio o per proporre una regione. L'applicazione disegna la sovrapposizione o ritaglia l'immagine con normale codice di elaborazione. Conserva separatamente la sorgente intatta: un riquadro utile non sostituisce la prova originale.

Perché l'esempio fissa la 1.14 invece di usare latest?

La tabella pubblicata degli alias attualmente associa jev-latest alla 1.13, mentre Box richiede la 1.14. Fissare jev-1.14.0 rende esplicita la dipendenza. Prima di cambiare versione, ricontrolla note di rilascio e set di test invece di presumere che l'aggiornamento di un alias mantenga lo stesso comportamento.

Una probabilità di danno elevata può attivare un rimborso?

Non in sicurezza basandosi soltanto su questa prova. La probabilità riguarda la domanda posta sull'immagine inviata; non autentica l'ordine, non stabilisce la responsabilità e non applica la policy di rimborso. Comincia con un supporto alla revisione, valuta esempi rappresentativi e mantieni una decisione umana per le azioni con conseguenze.

Se l'output è gratuito, una richiesta con immagine non costa nulla?

No. I token in input, compresi quelli immagine, sono fatturati. La tariffa pubblicata non è un prezzo per foto perché la formula per stimare i token immagine non è ancora documentata. Durante un progetto pilota autorizzato, controlla l'utilizzo riportato e includi ripetizioni e tempo di revisione nel totale.

Posso inviare direttamente un video di prodotto o un PDF?

Non tramite l'interfaccia documentata per immagini statiche. Prima l'applicazione deve estrarre fotogrammi idonei, testo o pagine renderizzate, con il permesso di elaborarle. Estrarre un fotogramma fa perdere informazioni temporali e audio: poni soltanto domande a cui le prove fornite possano rispondere.

In sintesi: indirizza l'attenzione prima di delegare l'autorità

L'anteprima immagini di Jev propone una possibilità concreta: trasformare prove visive in risposte circoscritte e verificabili dal software. Uno strumento per i resi di tazze può provarla separando presenza, danno, posizione e revisione. Il primo risultato di maggior valore non è un rimborso autonomo, ma aiutare chi revisiona a prendere una decisione meglio supportata, con meno ricerche.

È questo lo standard da misurare: la regione proposta aiuta una persona a comprendere le prove originali, anche quando il modello sbaglia?

Fonti e ambito

Fonti primarie verificate il 18 ottobre 2026: annuncio TypeSafe del 14 ottobre, modelli e prezzi, limiti e fatturazione immagini, contratto Box, esempi JavaScript e note di rilascio SDK. Altre fonti su policy e affidabilità sono collegate vicino alle affermazioni corrispondenti. Il flusso e i diagrammi sono adattamenti esplicativi, non un benchmark pratico; per l'articolo non è stata effettuata alcuna chiamata a pagamento al modello. I diagrammi sono originali e non copiano immagini del fornitore.

Conserva la fonte accanto alla conclusione

Per la tua ricerca sui modelli, conserva le fonti originali separatamente dalle conclusioni che ne ricavi. Crea un account Telli.sh per organizzare materiali di ricerca e note derivate mantenendo intatto il contesto delle fonti.