在8GB显存环境下批量生成1024×1024图像时，串行执行耗时线性增长，简单并发又容易触发OOM。本文讨论显存池化与信号量并发调度的工程实现，给出模型池设计、LoRA状态隔离和按角色分组的优化方案，并附实测数据。
一、串行生成的瓶颈
串行流程中，每个分镜依次执行：加载模型、编码提示词、采样去噪、VAE解码、保存图像。实测12个分镜串行约8分钟，GPU平均利用率约55%。
空闲窗口主要来自三处：模型加载和LoRA切换的间隙、提示词编码等CPU侧操作、图像保存和校验的IO等待。这些窗口可以通过分镜级并发填充。
二、显存池化设计
显存池化的核心是复用模型权重，避免每个并发任务重复加载。
python
import torch
import threading
class ModelPool:
def __init__(self, model_path, pool_size=1):
self.model_path = model_path
self.pool_size = pool_size
self.lock = threading.Lock()
self.models = []
self._init_models()
def _init_models(self):
from diffusers import StableDiffusionXLPipeline
for _ in range(self.pool_size):
pipe = StableDiffusionXLPipeline.from_pretrained(
self.model_path,
torch_dtype=torch.float16,
variant="fp16"
)
pipe.enable_xformers_memory_efficient_attention()
pipe.enable_vae_slicing()
pipe.enable_vae_tiling()
self.models.append(pipe)
def acquire(self):
with self.lock:
if self.models:
return self.models.pop()
return None
def release(self, model):
with self.lock:
self.models.append(model)
池大小决定最大并发数。8GB显存建议池大小为1，12GB可设为2。每个模型实例约占用4.5GB显存。
三、并发调度实现
用信号量控制并发数，任务从队列取模型，完成后归还。
python
class ParallelGenerator:
def __init__(self, model_pool, max_concurrent=1):
self.pool = model_pool
self.semaphore = threading.Semaphore(max_concurrent)
self.results = {}
def generate_shot(self, shot):
with self.semaphore:
pipe = self.pool.acquire()
try:
image = pipe(
prompt=shot["prompt"],
num_inference_steps=25,
guidance_scale=7.5,
generator=torch.Generator(device="cuda").manual_seed(shot["seed"])
).images[0]
path = f"output/shot{shot['shot_id']:02d}.png"
image.save(path)
self.results[shot["shot_id"]] = path
finally:
self.pool.release(pipe)
def run_batch(self, shots):
threads = []
for shot in shots:
t = threading.Thread(target=self.generate_shot, args=(shot,))
t.start()
threads.append(t)
for t in threads:
t.join()
return self.results
Semaphore限制同时执行的任务数，ModelPool保证每个任务独占一个模型实例。
四、LoRA切换与按角色分组
多角色场景下，不同分镜需要不同LoRA。并发时给每个模型实例独立维护LoRA状态。
python
def get_lora(pipe, lora_name):
current = getattr(pipe, "_current_lora", None)
if current == lora_name:
return pipe
if current:
pipe.unload_lora_weights()
pipe.load_lora_weights(f"./loras/{lora_name}.safetensors")
pipe._current_lora = lora_name
return pipe
按角色分组生成，同角色分镜连续处理，切换次数从分镜数降到角色数。
python
def group_by_character(shots):
groups = {}
for shot in shots:
char = shot["character"][0] if shot["character"] else "default"
groups.setdefault(char, []).append(shot)
return groups
4个角色12个分镜，切换次数从12降到4。
五、失败处理
并发任务失败时，需释放信号量和模型实例，避免死锁。
python
def generate_shot_safe(self, shot):
self.semaphore.acquire()
pipe = None
try:
pipe = self.pool.acquire()
result = self._do_generate(pipe, shot)
self.results[shot["shot_id"]] = result
except Exception as e:
log_error(shot["shot_id"], str(e))
self.results[shot["shot_id"]] = None
finally:
if pipe:
self.pool.release(pipe)
self.semaphore.release()
finally确保信号量和模型实例一定释放，即使异常也不死锁。
死锁排查指南
并发调度中死锁并不少见，常见场景主要有三类：信号量未释放、模型池为空时acquire阻塞、异常导致release未执行。下面逐一说明排查思路和修复方式。
场景一：信号量未释放
如果任务在获取信号量后、进入try之前抛出异常，信号量计数不会归还，后续任务会一直阻塞。排查时先确认信号量计数是否归零，再检查acquire与release是否成对出现。修复方式是把acquire也纳入try-finally保护。
def generate_shot_safe(self, shot):
self.semaphore.acquire()
try:
pipe = None
try:
pipe = self.pool.acquire()
result = self._do_generate(pipe, shot)
self.results[shot["shot_id"]] = result
except Exception as e:
log_error(shot["shot_id"], str(e))
self.results[shot["shot_id"]] = None
finally:
if pipe:
self.pool.release(pipe)
finally:
self.semaphore.release()
场景二：模型池为空时acquire阻塞
当前ModelPool的acquire在池为空时直接返回None，若调用方未判空就继续使用，会引发空指针；若改成阻塞等待，则可能因并发数大于池大小而互相等待。排查时确认池大小与信号量上限是否匹配，建议让acquire在池为空时等待并配合超时。
import threading
class ModelPool:
def __init__(self, model_path, pool_size=1):
self.model_path = model_path
self.pool_size = pool_size
self.lock = threading.Lock()
self.cond = threading.Condition(self.lock)
self.models = []
self._init_models()
def acquire(self, timeout=30):
with self.cond:
if not self.models:
self.cond.wait(timeout)
if not self.models:
raise TimeoutError("model pool empty")
return self.models.pop()
def release(self, model):
with self.cond:
self.models.append(model)
self.cond.notify()
场景三：异常导致release未执行
如果release放在except分支而不是finally，未捕获的异常会跳过释放逻辑，导致模型实例和信号量永久丢失。排查时检查所有return和异常路径，确保释放逻辑只放在finally中。修复方式即上文示例，把pool.release和semaphore.release都放入finally。
排查死锁时，建议先打印线程栈和信号量计数，确认阻塞位置；再核对acquire与release是否严格配对，最后用超时机制兜底，避免任务永久挂起。
六、性能数据
测试环境为RTX 4060 8GB，SDXL，12个分镜，5集批量。
串行方案单集约8分钟，显存峰值7.8GB，无OOM。并发池2方案单集约5分10秒，显存峰值8.0GB，偶发OOM。并发池2加按角色分组方案单集约4分40秒，显存峰值8.0GB，偶发OOM。
8GB显存下池大小为2时接近OOM边缘，需配合VAE tiling和xFormers降低峰值。12GB显存下池大小2可稳定运行，单集耗时约4分40秒，相比串行提升约42%。
七、常见问题
Q1：池大小怎么定？
按显存预算。8GB显存建议池大小1，12GB可设为2，24GB可设为3到4。每个实例约4.5GB。
Q2：并发后显存峰值为何上升？
多个模型实例同时加载，加上各自的激活值和VAE解码缓冲，峰值叠加。VAE tiling和xFormers可有效降低。
Q3：并发会影响角色一致性吗？
不会。每个任务独立生成，角色一致性靠角色卡和校验保证，与并发无关。
Q4：并发任务失败会互相影响吗？
不会。每个任务独立try-except，失败只影响自身。信号量和模型实例在finally中释放。
八、总结
分镜级并行通过显存池化和信号量控制，在8GB显存下实现可控并发。核心是模型池复用、并发数控制、LoRA状态隔离三件事。12GB显存下单集耗时从8分钟降到4分40秒，提升约42%。按角色分组可进一步减少LoRA切换次数。
【本文完】
