推理性能共1篇
Sentence Transformers 推理加速:精度、编译、ONNX 与 OpenVINO 的完整实践-未完纪

Sentence Transformers 推理加速:精度、编译、ONNX 与 OpenVINO 的完整实践

涵盖 PyTorch 半精度与 Flash Attention、torch.compile、ONNX 优化和动态量化、OpenVINO 静态量化,以及保存重载、完整基准方法和 llama.cpp 对照。
彩雨伞的头像-未完纪钻石会员彩雨伞7小时前
0510