ChasonJiang 6dd2f72090
更改gpt并行推理时的mask策略为padding left (#2144)
* 更改gpt并行推理时的mask策略为padding left,使batch_infer更接近于naive_infer
减少冗余操作并使用torch_sdpa,以提升推理速度

* rollback tts_infer.yaml
2025-03-04 16:45:37 +08:00
..
2025-02-11 21:15:24 +08:00
2024-08-13 16:31:12 +08:00
2024-06-26 22:17:05 +08:00
2025-02-28 01:41:04 +08:00
2025-02-23 20:26:18 +08:00
2025-02-23 20:26:18 +08:00
2025-02-23 20:26:18 +08:00
2024-08-13 16:31:12 +08:00