CUDA で書かれた PyTorch 用カーネルに森田が玉砕しました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 [2205.14135] FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness GitHub – Dao-AILab/flash-attention: Fast and memory-efficient exact attention GitHub – NVIDIA/apex: A PyTorch Extension: Tools for easy mixed precision and distributed tra…

向井が画像生成の拡散モデルに入門しました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 Diffusion models from scratch [1503.03585] Deep Unsupervised Learning using Nonequilibrium Thermodynamics [2006.11239] Denoising Diffusion Probabilistic ModelsJun Mukai による

森田が飽きずに CUDA の教科書を読んでます。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 Programming Massively Parallel Processors: A Hands-on Approach (Amazon.co.jp, Elsevier) NVIDIA H100 Tensor Core GPU Architecture OverviewHajime Morrita による

Meta の vector search 実装の関連論文を向井が読みました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 facebookresearch/faiss: A library for efficient similarity search and clustering of dense vectors. Home · facebookresearch/faiss Wiki Optimized Product Quantization | IEEE Journals & Magazine | IEEE Xplore Product Quantization for Nearest Neighbor Search [1…

森田が CUDA の入門書を読み始めました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 Programming Massively Parallel Processors: A Hands-on Approach (Amazon.co.jp, Elsevier) Evolution of the Graphics Processing Unit (GPU) | IEEE Journals & Magazine | IEEE Xplore David Kirk (scientist) – WikipediaHajime Morrita による

AI 流行りで台頭中な Vector DB のサーベイを向井が眺めました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 [2309.11322] Vector database management systems: Fundamental concepts, use-cases, and current challenges [2310.11703] A Comprehensive Survey on Vector Database: Storage and Retrieval Technique, Challenge [2310.14021] Survey of Vector Database Management Syst…

Intel の CPU にやってきたニューラルなんとかの出自を森田がたどりました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 Always-on Vision Processing Unit for Mobile Applications | IEEE Journals & Magazine | IEEE Xplore (Google Scholar) Intel Core Ultra Ushers in the Age of the AI PC Intel® Movidius Vision Processing Units (VPUs) Amazon.com: Intel NCS2 Movidius Neural Compu…

LLM に解かせる難問集と採点結果を向井が睨みました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 [2311.12983] GAIA: a benchmark for General AI Assistants gaia-benchmark/GAIA · Datasets at Hugging FaceJun Mukai による

(壊れた音声ファイルを配信してしまったので、修正したファイルで同じエピソードを再配信しています。ごめんね。教えてくれた皆さんありがとうございました。） GPGPU ワナビーの森田が C++ 拡張の GPGPU 標準を眺めました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 SYCL Overview – The Khronos Group Inc SYCL.tech – Find out the latest SYCL news, videos, learning materials and projects. GitHub – Tohoku-University-Takizawa-Lab/neoSYCL: A SYCL Imp…

Meta 社のインターンが分散トレーシングで集めたログを睨んだ論文を向井が読みました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 Lifting the veil on Meta’s microservice architecture: Analyses of topology and request workflows | USENIX GitHub – facebook/fbthrift: Facebook’s branch of Apache Thrift, including a new C++ server. Canopy: An End-to-End Performance Tracing and Analysis…

開発生産性の測り方について森田が読みました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 The SPACE of Developer Productivity – ACM Queue DORA | DevOps Research and Assessment Accelerate: The Science of Lean Software and DevOps: Building and Scaling High Performing Technology Organizations LeanとDevOpsの科学[Accelerate] テクノロジーの戦略的活用が組織変革を加速する…

でかいコンテナイメージをサーバレスで高速に起動する話を向井が読みました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 On-demand Container Loading in AWS Lambda | USENIX Marc Brooker’s Blog – Marc’s Blog #44: Firecracker #91: Serverless in the Wild #99: The Prusti Project: Formal Verification for RustJun Mukai による

ウェブ検索の開発に使われていた A/B テストのインフラについて森田が読みました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 Overlapping Experiment Infrastructure: More, Better, Faster Experimentation – Google Research Putting a Bolder Face on Google – The New York Times Goodbye, Google | StopdesignHajime Morrita による

ML アクセラレータ TPU の分散実行インフラについて向井が読みました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 [2203.12533] Pathways: Asynchronous Distributed Dataflow for ML [2204.02311] PaLM: Scaling Language Modeling with Pathways System Architecture | Cloud TPU | Google CloudJun Mukai による

組み込みデータベースの新顔紹介を森田が読みました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 DuckDB: an Embeddable Analytical Database SQLite: Past, Present, and Future An in-process SQL OLAP database management system – DuckDB 25 Years of Python at CWIHajime Morrita による

人気圧縮フォーマット ZSTD のアルゴリズムについて向井が調べました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。 [1311.2540] Asymmetric numeral systems: entropy coding combining speed of Huffman coding with compression rate of arithmetic coding facebook/zstd: Zstandard – Fast real-time compression algorithm From Project Management to Data Compression Innovator With Yann…

LLM をチャットボットに仕立てる finetuning について森田が読みました。ご意見ご感想などはおたより投書箱や Reddit にお寄せください。iTunes のレビューや星も歓迎です。 [2203.02155] Training language models to follow instructions with human feedback [2212.08073] Constitutional AI: Harmlessness from AI Feedback It looks like GPT-4-32k is rolling out | Hacker News Anthropic | Introducing Claude Goodhart’s law – Wikipedia…

クラウドのネットワーク設定を簡単にする抽象について向井が読みました。ご意見感想などはおたより投書箱にお寄せください。iTunes のレビューや星も歓迎です。Reddit もはじめました。 Invisinets: Removing Networking from Cloud Networks | USENIXJun Mukai による

LLM に算数の文章題を解かせるコツについて森田が読みました。ご意見ご感想などはおたより投書箱や Reddit にお寄せください。iTunes のレビューや星も歓迎です。 Improving Language Understanding by Generative Pre-Training Language Models are Unsupervised Multitask Learners [2005.14165] Language Models are Few-Shot Learners [2201.11903] Chain-of-Thought Prompting Elicits Reasoning in Large Language Models NLP’s ImageNet mom…

複数クラウドをまたいだバッチのパイプラインを動かす話を向井が読みました。ご意見感想などはおたより投書箱にお寄せください。iTunes のレビューや星も歓迎です。Reddit もはじめました。 SkyPilot: An Intercloud Broker for Sky Computing | USENIX GitHub – skypilot-org/skypilot: SkyPilot is a framework for easily running machine learning workloads on any cloud through a unified interface. From cloud computing to sky computing | Proceedings …

勤務先への脅威に怯える森田が Transformer を復習しました。ご意見ご感想などはおたより投書箱や Reddit にお寄せください。iTunes のレビューや星も歓迎です。 今回は録音に際し Adobe Podcast (beta) のバグを引き当ててしまい、向井と森田の音声トラックがずれてしまいました。ごめんなさい。次回からは non-beta の手堅いツールで録音しようと思います・・・。 [2207.09238] Formal Algorithms for Transformers #15 – Neural Machine Translation by Jointly Learning to Align and Translate #38 – Subword Regularizat…

最近 Reddit をはじめたよ、きてね、というお知らせです。https://www.reddit.com/r/MisreadingChat/Hajime Morrita による

遅くなったディスクをみつける Alibaba Cloud の実験について向井が読みました。ご意見感想などはおたより投書箱にお寄せください。iTunes のレビューや星も歓迎です。Reddit もはじめました。 Perseus: A Fail-Slow Detection Framework for Cloud Storage Systems | USENIXJun Mukai による

データベースベンダーの宣伝を読んでもよくわからかった森田が DB ベンチマークの歴史を読みました。感想などはおたより投書箱にお寄せください。iTunes のレビューや星も歓迎です。 CockroachDB is 10x more scalable than Amazon Aurora for OLTP workloads TPC-Homepage (TLS の証明書が切れてますよ…) The History of DebitCredit and the TPC A Measure of Transaction Processing Power The Evolution of TPC Benchmarks: Why TPC-A and TPC-B are Obsolete tpc-c_v5.…

Haskell の親分により開発中の次世代関数型論理メタバース言語に向井が入門しました。感想などはおたより投書箱にお寄せください。iTunes のレビューや星も歓迎です。 The Verse Calculus: a core calculus for functional logic programming – Simon Peyton Jones Beyond Functional Programming: The Verse Programming Language (Simon Peyton Jones) – YouTubeJun Mukai による

Adobe と PostScript の歴史を森田が読みました。感想などはおたより投書箱にお寄せください。iTunes のレビューや星も歓迎です。 PostScript: A Digital Printing Press – CHM Founding and Growing Adobe Systems, Inc. (paywall) Simple Ideas That Changed Printing and Publishing on JSTOR (paywall) The Origins of PostScript (paywall) LaserWriter – Wikipedia TrueType hinting – Typography | Microsoft Learn Instr…

AI がチャットしながらボードゲームで勝つ話を向井が読みました。感想などはおたより投書箱にお寄せください。iTunes のレビューや星も歓迎です。 Human-level play in the game of Diplomacy by combining language models with strategic reasoning | Science CICERO: An AI agent that negotiates, persuades, and cooperates with people Diplomacy (game) – WikipediaJun Mukai による

データベースのクエリ処理に関する常識古典論文を森田が読みました。感想などはおたより投書箱にお寄せください。iTunes のレビューや星も歓迎です。 Volcano – An Extensible and Parallel Query Evaluation System Apache IcebergHajime Morrita による

TCP をやっつけたいメッセージ志向プロトコルの提案を向井が拝聴しました。感想などはおたより投書箱にお寄せください。iTunes のレビューや星も歓迎です。 [2210.00714] It’s Time to Replace TCP in the Datacenter Netdev | Netdev 0x16 – Sessions GitHub – PlatformLab/Homa: Low-Latency Data Center Network Transport A Philosophy of Software Design, 2nd EditionJun Mukai による

森田が NVIDIA の GPU で二次元お絵描きする話を調べました。感想などはハッシュタグ #misreading や おたより投書箱 にお寄せください。iTunes のレビューや星も歓迎です。 GPU Accelerated Path Rendering | NVIDIA Developer Resolution Independent Curve Rendering using Programmable Graphics Hardware – Microsoft Research Bezier quadratic (Loop/Blinn) – WebGL demo Accelerating vector graphics rendering using the graphics har…

向井が Git の難しさに見識を深めました。感想などはハッシュタグ #misreading や おたより投書箱 にお寄せください。iTunes のレビューや星も歓迎です。 Do Developers Really Know How to Use Git Commands? A Large-scale Study Using Stack Overflow (Paper) Do Developers Really Know How to Use Git Commands? · It Will Never Work in TheoryJun Mukai による

高給企業 Databricks の論文を森田が冷やかしました。感想などはハッシュタグ #misreading や おたより投書箱 にお寄せください。iTunes のレビューや星も歓迎です。 Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics – Databricks Delta Lake: High-Performance ACID Table Storage over Cloud Object Stores – Databricks Photon: A High-Performance Query Engine for the Lakehouse G…

Podcast 100 回記念に森田と向井が読者のみなさまの質問に答えさせてもらう AMA をやってみました。 On Misreading Chat – Jun Mukai’s blog On Misreading Chat – 2021-01-06 / steps to phantasien Rebuild – Podcast by Tatsuhiko Miyagawa ByteCast Archive Linear Digressions CoRecursive Podcast – The Stories Behind The Code Spilled Milk the morning paper | a random walk through Computer Science rese…

そろそろこの podcast も 100 回目なので、記念に AMA すなわち読者質問回でもやるのはどうだろうと向井と森田が相談しました（やります）。 そこで皆様からの質問などをお待ちしております。投稿先はメール: hello@misreading.chat, Twitter hashtag #misreading, あるいは Google Forms https://forms.gle/aDU21GzBvqpnQTcS7　です。Hajime Morrita による

Rust で使える静的検証ツールの論文を向井が読みました。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。iTunes のレビューや星も歓迎です。 Prusti – Programming Methodology Group | ETH ZurichJun Mukai による

昔 Amazon が作った DynamoDB の祖先について森田が読みました。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。iTunes のレビューや星も歓迎です。 Amazon’s Dynamo | All Things Distributed Chord (peer-to-peer) – Wikipedia Vector clock – Wikipedia Dynamo | Apache Cassandra DocumentationHajime Morrita による

AWS の中の人が Rust の力で TLA+ に対抗する話を向井が読みました。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。iTunes のレビューや星も歓迎です。 Using Lightweight Formal Methods to Validate a Key-Value Storage Node in Amazon S3 | Proceedings of the ACM SIGOPS 28th Symposium on Operating Systems Principles Prusti – Programming Methodology Group | ETH Zurich tokio-rs/loom: Con…

AWS の人気サービス DynamoDB の論文を森田が眺めました。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。iTunes のレビューや星も歓迎です。 Amazon DynamoDB: A Scalable, Predictably Performant, and Fully Managed NoSQL Database Service | USENIX Fast NoSQL Key-Value Database – Amazon DynamoDB – Amazon Web Services Going Head-to-Head: ScyllaDB vs Amazon DynamoDB – ScyllaDB Amazon…

ちょっとやそっとで死なない分散 RDB の論文を向井が読みました。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。iTunes のレビューや星も歓迎です。 CockroachDB: The Resilient Geo-Distributed SQL Database | Proceedings of the 2020 ACM SIGMOD International Conference on Management of Data Spanner: Google’s Globally Distributed Database: ACM Transactions on Computer Systems: Vol 31, No 3…

Kubernetes 以前に元気だったクラスタスケジューラの論文を向井が読みました。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。iTunes のレビューや星も歓迎です。 Mesos: A Platform for Fine-Grained Resource Sharing in the Data Center | USENIXJun Mukai による

データベースワナビーになった森田が SQL に入門しました。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。iTunes のレビューや星も歓迎です。 SEQUEL: A structured English query language A Relational Model of Data for Large Shared Data Banks Specifying queries as relational expressions: The SQUARE data sublanguage 森田の PC ノイズが聞き苦しくなってしまいましたがご容赦ください。夏のせいです。…

ソフトウェア開発のムダについて現場に潜り込み分析した論文を森田が読みました。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。iTunes のレビューや星も歓迎です。 Software Development Waste (PDF) It Will Never Work in Theory Making Software: What Really Works, and Why We Believe It Lean Software Development: An Agile Toolkit xkcd: Compiling On Pivotal: This Company Believes You Should Never Hac…

FaaS の運用効率を上げたいクラウド業者の工夫を森田が読みました。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。iTunes のレビューや星も歓迎です。 Serverless in the Wild: Characterizing and Optimizing the Serverless Workload at a Large Cloud Provider | USENIX Chapter 8 ARIMA models | Forecasting: Principles and Practice Coefficient of variation – Wikipedia Apache OpenWhisk is a serv…

Haskell で使われている乱数生成器たちを向井が紹介します。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。iTunes のレビューや星も歓迎です。 Evaluation of splittable pseudo-random generators* | Journal of Functional Programming | Cambridge Core System.Random Fix quality and performance issues, add monadic API · haskell/random@b45bd28 Fast Splittable Pseudorandom Number Generator…

並列編集しても衝突しないデータ構造 CRDT に森田が入門します。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。iTunes のレビューや星も歓迎です。 Conflict-free Replicated Data Types – Archive ouverte HAL A commutative replicated data type for cooperative editing – Archive ouverte HAL Dynamo: Amazon’s Highly Available Key-value Store About CRDTs • Conflict-free Replicated Data Types …

Haskell の長い歴史を向井が辿ります。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。iTunes のレビューや星も歓迎です。 A History of Haskell: being lazy with class – Microsoft Research Haskell Language Home — The Glasgow Haskell Compiler https://www.haskell.org/onlinereport/haskell2010/ Changes since Haskell ’98Jun Mukai による

AWS Lambda で Chromium をビルドしたり単体テストを流したりする話を和良が読みました。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。iTunes のレビューや星も歓迎です。収録中に話しきれなかったことについては補足もどうぞ。 From Laptop to Lambda: Outsourcing Everyday Jobs to Thousands of Transient Functional Containers | USENIX https://github.com/StanfordSNR/gg Outsourcing Everyday Jobs to Thousands of Cloud Functi…

JavaScript 二十年の歴史を森田がひやかします。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。iTunes のレビューや星も歓迎です。 JavaScript: the first 20 years | Proceedings of the ACM on Programming LanguagesHajime Morrita による

ハードウェアカウンタを使ったプロファイラ実装を解説した論文を向井が紹介します。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。iTunes のレビューや星も歓迎です。 Continuous profiling: where have all the cycles gone?: ACM Transactions on Computer Systems: Vol 15, No 4Jun Mukai による

データセンターでプロファイラを動かしてわかったことは何なのか、森田が論文を読みます。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。iTunes のレビューや星も歓迎です。 Google-Wide Profiling: A Continuous Profiling Infrastructure for Data Centers – Google Research Profiling a warehouse-scale computer – Google Research 2 Billion Devices and Counting: An Industry Perspective on the State of Mobile …