PyTorch JIT和TorchScript,一个API提升推理性能50%
PyTorch支持两种模式:eager模式和script模式。eager模式主要用于模型的编写、训练和调试,script模式主要是针对部署的,其包含PytorchJIT和TorchScript(一种在 PyTorch 中执行高效的序列化代码格式)。 script模式使用torch.jit.trace和torch.jit.script创建一个PyTorch eager module的中间表示(intermediate representation, IR),IR 经过内部优化,并在运行时使用 PyTorch JIT 编译。PyTorch JIT 编译器使用运行时信息来优化 IR。该 IR 与 Python 运行时是解耦的。 PyTorch JIT(Just-In-Time Compilation)是 PyTorch 中的即时编译器。 1. 它允许你将模型转化为 TorchScript 格式,从而提高模型的性能和部署效率。 2. JIT 允许你在动态图和静态图之间无缝切换。你可以在