Por que os modelos Stable Diffusion são tão grandes: um guia móvel baseado em evidências que separa os recursos atuais do PhoneDiffusion dos fluxos de trabalho de modelos Android, desktop, nuvem e não suportados.
A resposta curta
Por que Os modelos Stable Diffusion são tão grandes torna-se muito mais fácil quando você começa com uma ideia clara, usa um modelo rápido e altera apenas uma escolha após cada resultado. O telefone não é uma estação de trabalho desktop em miniatura, mas é uma ferramenta criativa capaz quando o fluxo de trabalho respeita sua memória, bateria e limites térmicos.
A geração no dispositivo remove a fila do servidor: o modelo, o processamento de prompt, a eliminação de ruído e a decodificação de imagem acontecem no telefone após a instalação dos arquivos de modelo necessários.
Disponibilidade do PhoneDiffusion e escopo do artigo
PhoneDiffusion está atualmente disponível para iPhone e iPad no iOS 17 ou posterior. Ele executa geração e edição com suporte no dispositivo usando pacotes de modelos entregues por meio do aplicativo; a disponibilidade exata depende do dispositivo, pacote instalado, acesso à assinatura e versão atual.
O aplicativo atualmente oferece pacotes de geração SD 1.5 e SDXL selecionados, além de recursos de edição compatíveis. As técnicas Stable Diffusion mais amplas neste artigo são educacionais, a menos que o modelo ou controle necessário esteja visível no aplicativo atual.
A geração no dispositivo não envia prompts ou imagens geradas para um servidor de renderização ou análise. Ainda é necessária uma conexão para downloads de modelos e serviços apoiados pela rede, como compras, diagnósticos e notificações opcionais. Imagens, prompts ou capturas de tela saem do dispositivo somente quando você decide compartilhá-los, exportá-los ou enviá-los com feedback ou suporte.
O que importa para o motivo pelo qual os modelos stable diffusion são tão grandes
Comece com o resultado pretendido. Uma ideia rápida, um ativo reutilizável e uma imagem finalizada de alta resolução exigem diferentes quantidades de tempo e controle. Em um telefone, geralmente é mais rápido explorar com tamanho moderado e tiragem curta, salvar uma semente promissora e gastar o passe caro apenas na composição que vale a pena manter.
A desvantagem é o hardware. Um telefone tem menos memória e menos espaço para dissipar calor do que uma GPU de desktop, portanto, a escolha do modelo e o tamanho da imagem são mais importantes.
Uma maneira de trabalhar que prioriza os dispositivos móveis
Mantenha a primeira tentativa simples o suficiente para que você possa entender por que funcionou ou falhou. Se o assunto estiver errado, reescreva o assunto. Se o enquadramento estiver errado, altere a composição. Se a imagem já estiver próxima, preserve o prompt e a propagação antes de alterar as configurações de qualidade.
Com um pacote instalado compatível, o PhoneDiffusion pode criar no dispositivo, permitir que você inspecione o resultado e exponha os controles para o fluxo de trabalho selecionado. A geração pode funcionar sem um servidor de renderização após os downloads necessários, mas downloads, compras, diagnósticos e serviços de rede opcionais ainda usam uma conexão com a Internet.
Um primeiro experimento prático
Use por que os modelos stable diffusion são tão grandes como um experimento focado: escolha um prompt claro, o modelo móvel recomendado e um tamanho de saída moderado. Observe o que acontece antes de alterar qualquer coisa.
Em seguida, salve a semente e faça uma alteração intencional. Isso produz uma comparação útil e ensina mais do que pressionar gerar repetidamente com configurações aleatórias.
Quando o fluxo de trabalho depende de acesso off-line, conclua primeiro os downloads do modelo e teste-o sem uma conexão de rede antes de confiar nele durante a viagem.
Erros comuns
O erro mais comum é alterar as configurações de prompt, seed, modelo, resolução e qualidade ao mesmo tempo. Você pode ter uma imagem diferente, mas não aprenderá qual mudança ajudou. Um segundo erro é tratar uma receita de desktop como uma lei; modelos com eficiência móvel geralmente precisam de menos etapas e opções de memória diferentes.
Também mantenha as expectativas honestas. Os modelos de difusão podem criar conceitos impressionantes, mas texto exato, anatomia, caracteres repetidos, identidade do produto e pequenos detalhes podem exigir outra tentativa ou uma etapa de edição direcionada. Salve a melhor imagem base em vez de tentar resolver todos os defeitos em uma geração.
Campo notas
- Local significa que o cálculo da geração ocorre no seu dispositivo.
- O modo off-line normalmente é aplicado após a instalação do aplicativo e do pacote de modelos.
- Um fluxo de trabalho simples e repetível supera um primeiro prompt sobrecarregado.
Experimente em seu telefone
- Instale o modelo enquanto você tem uma conexão confiável e armazenamento livre suficiente.
- Escreva um assunto concreto e adicione estilo, iluminação e composição.
- Use uma predefinição de qualidade rápida ou equilibrada para a primeira tentativa.
- Mantenha a melhor semente e refine uma variável de cada vez.