Así es, aunque personalmente no lo he hecho..
Te recomiendo buscar una guía de cómo usar koboldcpp con Stable Diffusion.
Eso sí, ten en cuenta que se requiere hardware potente ,y sobre todo con harta VRAM, aunque depende de la resolución de las imágenes que quieras generar.