Qwix:面向 Jax 的高灵活量化库 ylc3000 2025-11-06 0 浏览 0 点赞 resource Qwix:面向 Jax 的高灵活量化库,支持多种量化方案与训练模式,专为提升模型部署效率与兼容性设计。 • 量化方案涵盖权重量化、动态范围、静态范围三大类,支持 int1 到 int8,fp8 及 nf4 等多种数值格式。 • 支持 Quantization-Aware Training(QAT)和 Post-Training Quantization(PTQ),兼容 XLA(CPU/GPU/TPU)及 ODML(LiteRT)目标环境。 • 独特的正则表达式配置系统,灵活定义模块量化规则,无需修改模型代码即可集成。 • 支持 LoRA/QLoRA,增强低秩调优模型的量化适配能力。 • 针对 Flax Linen 模型无缝集成,一行调用即可完成复杂量化流程。 • 细粒度量化支持包括卷积、矩阵乘法等多种算子,XLA 侧提供按通道量化,LiteRT 侧支持全整数量化。 • 设计理念借鉴 AQT但更注重模型级别集成与静态范围量化,提升实际部署的灵活性和效率。 • 当前需从 GitHub 安装,尚无 PyPI 包,适合追求高定制化和性能优化的研究与工程团队。 Qwix 在保持高性能的同时,极大降低了量化配置门槛,推动 Jax 应用在边缘计算和高效推理场景的落地。 🔗qwix.readthedocs.io 🔗github.com/google/qwix 网闻录 Qwix:面向 Jax 的高灵活量化库