Perché i modelli Stable Diffusion sono così grandi: una guida mobile basata sull'evidenza che separa le attuali funzionalità di PhoneDiffusion da Android, desktop, cloud e flussi di lavoro di modelli non supportati.
La risposta breve
Perché Stable Diffusion I modelli sono così grandi diventa molto più semplice quando si inizia con un'idea chiara, si utilizza un modello veloce e si modifica solo una scelta dopo ciascun risultato. Il telefono non è una workstation desktop in miniatura, ma è uno strumento creativo efficace quando il flusso di lavoro rispetta i limiti di memoria, batteria e termici.
La generazione sul dispositivo rimuove la coda del server: il modello, l'elaborazione rapida, la rimozione del rumore e la decodifica delle immagini avvengono sul telefono dopo l'installazione dei file del modello richiesti.
Disponibilità di PhoneDiffusion e ambito dell'articolo
PhoneDiffusion è attualmente disponibile per iPhone e iPad su iOS 17 o versioni successive. Esegue la generazione e la modifica supportate sul dispositivo utilizzando i pacchetti di modelli forniti tramite l'app; la disponibilità esatta dipende dal dispositivo, dal pacchetto installato, dall'accesso all'abbonamento e dalla versione corrente.
L'app attualmente offre pacchetti selezionati di generazione SD 1.5 e SDXL oltre a risorse di modifica compatibili. Le tecniche Stable Diffusion più ampie descritte in questo articolo sono didattiche, a meno che il modello o il controllo richiesto non siano visibili nell'app corrente.
La generazione sul dispositivo non invia prompt o immagini generate a un server di rendering o ad analisi. È ancora necessaria una connessione per i download dei modelli e i servizi supportati dalla rete come acquisti, diagnostica e notifiche opzionali. Immagini, istruzioni o screenshot lasciano il dispositivo solo quando scegli di condividerli, esportarli o inviarli con feedback o supporto.
Ciò che conta per spiegare perché i modelli stable diffusion sono così grandi
Inizia con il risultato previsto. Un'idea veloce, una risorsa riutilizzabile e un'immagine finita ad alta risoluzione richiedono quantità di tempo e controllo diverse. Su un telefono, di solito è più veloce esplorare con una dimensione moderata e un breve periodo, salvare un seme promettente e spendere il costoso passaggio solo sulla composizione che vale la pena conservare.
Il compromesso è l'hardware. Un telefono ha meno memoria e meno spazio per dissipare il calore rispetto a una GPU desktop, quindi la scelta del modello e le dimensioni dell'immagine contano di più.
Un modo di lavorare incentrato sui dispositivi mobili
Mantieni il primo tentativo abbastanza semplice da poter capire perché ha funzionato o meno. Se l'argomento è sbagliato, riscrivilo. Se l'inquadratura è sbagliata, cambia la composizione. Se l'immagine è già vicina, conserva il prompt e il seed prima di toccare le impostazioni di qualità.
Con un pacchetto installato compatibile, PhoneDiffusion può creare sul dispositivo, consentirti di ispezionare il risultato ed esporre i controlli per il flusso di lavoro selezionato. La generazione può funzionare senza un server di rendering dopo i download richiesti, ma download, acquisti, diagnostica e servizi di rete opzionali utilizzano comunque una connessione Internet.
Un primo esperimento pratico
Utilizza il motivo per cui i modelli stable diffusion sono così grandi come un esperimento mirato: scegli un messaggio chiaro, il modello mobile consigliato e una dimensione di output moderata. Nota cosa succede prima di modificare qualsiasi cosa.
Quindi salva il seed e apporta una modifica intenzionale. Ciò produce un confronto utile e ti insegna molto più che premere ripetutamente Genera con impostazioni casuali.
Quando il flusso di lavoro dipende dall'accesso offline, completa prima i download del modello e testalo senza una connessione di rete prima di fare affidamento su di esso durante il viaggio.
Errori comuni
L'errore più comune è modificare contemporaneamente l'impostazione di prompt, seed, modello, risoluzione e qualità. Potresti avere un'immagine diversa, ma non imparerai quale cambiamento ha aiutato. Un secondo errore è considerare una ricetta desktop come una legge; i modelli efficienti per i dispositivi mobili spesso richiedono meno passaggi e diverse scelte di memoria.
Mantieni oneste anche le aspettative. I modelli di diffusione possono creare concetti sorprendenti, ma il testo esatto, l'anatomia, i caratteri ripetuti, l'identità del prodotto e i piccoli dettagli potrebbero richiedere un altro tentativo o una fase di modifica mirata. Salva la migliore immagine di base invece di provare a risolvere ogni difetto in una generazione.
Note sul campo
- Locale significa che il calcolo della generazione avviene sul tuo dispositivo.
- Offline normalmente si applica dopo l'installazione dell'app e del pacchetto modello.
- Un flusso di lavoro semplice e ripetibile batte un primo prompt sovraccarico.
Provalo sul tuo telefono
- Installa il modello mentre disponi di una connessione affidabile e di spazio di archiviazione sufficiente.
- Scrivi un argomento concreto, quindi aggiungi stile, illuminazione, e composizione.
- Utilizza una preimpostazione di qualità veloce o bilanciata per il primo tentativo.
- Mantieni il seme migliore e perfeziona una variabile alla volta.