Por qué los modelos Stable Diffusion son tan grandes: una guía móvil basada en evidencia que separa las características actuales del PhoneDiffusion de los flujos de trabajo de Android, de escritorio, en la nube y de modelos no compatibles.
La respuesta corta
Por qué Stable Diffusion Los modelos son tan grandes se vuelve mucho más fácil cuando comienza con una idea clara, utiliza un modelo rápido y cambia solo una opción después de cada resultado. El teléfono no es una estación de trabajo de escritorio en miniatura, pero es una herramienta creativa capaz cuando el flujo de trabajo respeta su memoria, batería y límites térmicos.
La generación en el dispositivo elimina la cola del servidor: el modelo, el procesamiento de solicitudes, la eliminación de ruido y la decodificación de imágenes ocurren en el teléfono después de que se instalan los archivos de modelo requeridos.
Disponibilidad de PhoneDiffusion y alcance del artículo
PhoneDiffusion está disponible actualmente para iPhone y iPad en iOS 17 o posterior. Realiza generación y edición compatibles en el dispositivo utilizando paquetes de modelos entregados a través de la aplicación; la disponibilidad exacta depende del dispositivo, el paquete instalado, el acceso a la suscripción y la versión actual.
La aplicación actualmente ofrece paquetes seleccionados de generación SD 1.5 y SDXL, además de recursos de edición compatibles. Las técnicas Stable Diffusion más amplias de este artículo son educativas a menos que el modelo o control requerido sea visible en la aplicación actual.
La generación en el dispositivo no envía mensajes ni imágenes generadas a un servidor de renderizado o análisis. Aún se necesita una conexión para descargas de modelos y servicios respaldados por la red, como compras, diagnósticos y notificaciones opcionales. Las imágenes, indicaciones o capturas de pantalla salen del dispositivo solo cuando elige compartirlas, exportarlas o enviarlas con comentarios o soporte.
Lo que importa para explicar por qué los modelos stable diffusion son tan grandes
Empiece con el resultado previsto. Una idea rápida, un recurso reutilizable y una imagen terminada de alta resolución necesitan diferentes cantidades de tiempo y control. En un teléfono, suele ser más rápido explorar con un tamaño moderado y un recorrido corto, guardar una semilla prometedora y gastar el costoso pase sólo en la composición que vale la pena conservar.
La compensación es el hardware. Un teléfono tiene menos memoria y menos espacio para disipar el calor que una GPU de escritorio, por lo que la elección del modelo y el tamaño de la imagen son más importantes.
Una forma de trabajar centrada en los dispositivos móviles
Mantenga el primer intento lo suficientemente simple como para que pueda comprender por qué funcionó o falló. Si el tema es incorrecto, reescribe el tema. Si el encuadre está mal, cambia la composición. Si la imagen ya está cerca, conserve el mensaje y la semilla antes de tocar la configuración de calidad.
Con un paquete instalado compatible, PhoneDiffusion puede crear en el dispositivo, permitirle inspeccionar el resultado y exponer controles para el flujo de trabajo seleccionado. La generación puede funcionar sin un servidor de renderizado después de las descargas requeridas, pero las descargas, compras, diagnósticos y servicios de red opcionales aún usan una conexión a Internet.
Un primer experimento práctico
Utilice por qué los modelos stable diffusion son tan grandes como un experimento enfocado: elija un mensaje claro, el modelo móvil recomendado y un tamaño de salida moderado. Tenga en cuenta lo que sucede antes de cambiar cualquier cosa.
Luego guarde la semilla y realice un cambio intencional. Esto produce una comparación útil y le enseña más que presionar repetidamente generar con configuraciones aleatorias.
Cuando el flujo de trabajo depende del acceso sin conexión, primero complete las descargas del modelo y pruébelo sin una conexión de red antes de confiar en él mientras viaja.
Errores comunes
El error más común es cambiar la configuración de solicitud, semilla, modelo, resolución y calidad al mismo tiempo. Es posible que obtenga una imagen diferente, pero no sabrá qué cambio ayudó. Un segundo error es tratar una receta de escritorio como una ley; Los modelos móviles eficientes a menudo necesitan menos pasos y diferentes opciones de memoria.
Mantén también las expectativas honestas. Los modelos de difusión pueden crear conceptos sorprendentes, pero el texto exacto, la anatomía, los caracteres repetidos, la identidad del producto y los pequeños detalles pueden necesitar otro intento o un paso de edición específico. Guarde la mejor imagen base en lugar de intentar solucionar todos los defectos en una generación.
Campo notas
- Local significa que el cálculo de generación se realiza en su dispositivo.
- Sin conexión normalmente se aplica después de instalar la aplicación y el paquete de modelos.
- Un flujo de trabajo simple y repetible supera a un primer mensaje sobrecargado.
Pruébelo en su teléfono
- Instale el modelo mientras tenga una conexión confiable y suficiente almacenamiento libre.
- Escriba un tema concreto y luego agregue estilo, iluminación y composición.
- Utilice un ajuste preestablecido de calidad rápido o equilibrado para el primer intento.
- Conserve la mejor semilla y refine una variable a la vez.