Half precision

PyTorch Developer Podcast

コンテンツは PyTorch, Edward Yang, and Team PyTorch によって提供されます。エピソード、グラフィック、ポッドキャストの説明を含むすべてのポッドキャストコンテンツは、PyTorch, Edward Yang, and Team PyTorch またはそのポッドキャストプラットフォームパートナーによって直接アップロードされ、提供されます。誰かがあなたの著作物をあなたの許可なく使用していると思われる場合は、ここで概説されているプロセスに従うことができますhttps://ja.player.fm/legal。

4+ y ago 18:00

MP3•エピソードのホーム

In this episode I talk about reduced precision floating point formats float16 (aka half precision) and bfloat16. I'll discuss what floating point numbers are, how these two formats vary, and some of the practical considerations that arise when you are working with numeric code in PyTorch that also needs to work in reduced precision. Did you know that we do all CUDA computations in float32, even if the source tensors are stored as float16? Now you know!

Further reading.

The Wikipedia article on IEEE floating point is pretty great https://en.wikipedia.org/wiki/IEEE_754
How bfloat16 works out when doing training https://arxiv.org/abs/1905.12322
Definition of acc_type in PyTorch https://github.com/pytorch/pytorch/blob/master/aten/src/ATen/AccumulateType.h

83 つのエピソード