(资料图片仅供参考)

近日,微软公司发布新闻稿,公布了全新的Microsoft Olive工具,该工具最多可以让AMD旗下的GPU显卡运行模型性能提升9.9倍。

Microsoft Olive是由Python语言开发的工具,能够大幅优化AMD GPU运行大语言模型的性能。 新闻稿中提到,Radeon RX 7900 XTX GPU在启用Microsoft Olive工具后,以运行Stable Diffusion模型为例,基于文本生成图像性能明显提升。Microsoft Olive可以转换、优化、量化和自动调优模型,从而最大化性能输出。 AMD在官方测试中表示,在默认PyTorch路径上运行,AMD Radeon RX 7900 XTX每秒提供1.87次迭代;然而,开启Microsoft Olive工具优化模型后,该GPU每秒可以迭代18.59次。这一结果充分展示了Microsoft Olive工具的强大性能优化能力。

推荐内容