Ohne Kunden
gebaut.
Kernel-Arbeit und Benchmarks, die wir in unserer eigenen Zeit betreiben, mit denselben Werkzeugen und derselben Sorgfalt, die wir in Ihren Cluster mitbringen.
PROJEKTE
FlashAttention-3, mit variabler Länge.
Profiling und Optimierung von Attention-Kernels mit variabler Länge auf NVIDIA Hopper, mit dem Ziel eines Upstream-Beitrags zu FlashAttention-3.
Reduction, Softmax und GEMM, von Hand.
Von Hand optimierte Kernels, mit Nsight Compute profiliert und bei jedem Schritt gegen die Roofline geprüft. Jede Version wird gegen die vorige gebenchmarkt.
BENCHMARK · H100
REDUCTION
3,1 TB/s · 92 % DER SPITZEN-BW
SOFTMAX
2,9 TB/s · 87 % DER SPITZEN-BW
GEMM, FP16
91 % VON cuBLAS
FA3 VARLEN FWD
1,3× VS. BASELINE