))
Nested Learning: A Spectrum Memory for Continual AI
Manage episode 518343756 series 3690682
コンテンツは Mike Breault によって提供されます。エピソード、グラフィック、ポッドキャストの説明を含むすべてのポッドキャスト コンテンツは、Mike Breault またはそのポッドキャスト プラットフォーム パートナーによって直接アップロードされ、提供されます。誰かがあなたの著作物をあなたの許可なく使用していると思われる場合は、ここで概説されているプロセスに従うことができますhttps://ja.player.fm/legal。
We explore nested learning (NL), a paradigm where memory and optimization form an integrated system with multiple levels updating at different speeds, creating a spectrum memory system (CMS). See how traditional optimizers can be viewed as memory modules, how the HOPE architecture uses CMS blocks to handle longer contexts, and what needle-in-the-haystack experiments reveal about memory and language modeling. We’ll also discuss what self-modifying, continually learning AI could unlock in the future.
…
continue reading
Note: This podcast was AI-generated, and sometimes AI can make mistakes. Please double-check any critical information.
Sponsored by Embersilk LLC
1567 つのエピソード
シェア
