3 Commits

Author SHA1 Message Date
ChasonJiang
053a356ffe
修复gpt的padding mask的问题 (#2153)
* 修复gpt的padding mask的问题

* rollback tts_config
2025-03-05 17:14:43 +08:00
ChasonJiang
6dd2f72090
更改gpt并行推理时的mask策略为padding left (#2144)
* 更改gpt并行推理时的mask策略为padding left,使batch_infer更接近于naive_infer
减少冗余操作并使用torch_sdpa,以提升推理速度

* rollback tts_infer.yaml
2025-03-04 16:45:37 +08:00
ChasonJiang
52c50c6c81
All in one! 合并main分支和fast_inference_分支 (#1490)
* 合并main分支和fast_inference_分支

* 修复一些bug
2024-08-20 22:19:04 +08:00