Repository navigation
Conversation
|
👋 Hi! Thank you for contributing to the TileLang project. Please remember to run We appreciate you taking this step! Our team will review your contribution, and we look forward to your awesome work! 🚀 |
| return dq2, dk2, db2.view(1, B, S, H), dg2 | ||
|
|
||
|
|
||
| __all__ = [ |
There was a problem hiding this comment.
example 文件没有 main 入口, 也没登记 manifest, bench_test.sh 收集后无 PASS 输出会判 FAILED, CI 会挂. 建议参考同目录 example_indexer_bwd.py 补个 smoke main
| overall matched_ratio >= required and max_abs <= limit).""" | ||
| y_cpu = out.detach().cpu().float() | ||
| ref_cpu = ref.detach().cpu().float() | ||
| m = torch.isfinite(ref_cpu) |
There was a problem hiding this comment.
PR 描述写交付测试含 inf/nan 结构比对, 这里 check_output 只是用 isfinite 把非有限 golden 元素跳过了, 两者不一致
There was a problem hiding this comment.
check_output 补齐 inf/nan 结构比对,与PR和check_precision保持一致 。
… inf/nan structural check in the delivered test
…ples_experiment/kda/FLA_KDA/ and drop the example_ prefix
879cc67 to
ba34c00
Compare
…y guard(与 check_precision 语义同构,tile-ai#2004 条款);PR_DESCRIPTION 通过条件同步声明结构比对;184189da(远端内容已终验)
为 Ascend NPU 新增
fla_chunk_intra(KDA / Kimi Delta Attention intra-chunk 前向融合 inter+solve_tril 与反向梯度)算子,语义对齐上游 tilelangexamples/kda/FLA_KDA/fla_chunk_intra.py(Triton/FLA 参考实现)。@tilelang.jitkernel(fwd 6:k_inter→k_subst+k_g→k_g2→k_y→k_ai链;bwd 2:k_stage→k_gemm)。Developer 模式(alloc_shared/alloc_fragment+ 自动同步),threads=1,pass_configs开启 AUTO_CV_COMBINE / AUTO_CV_SYNC / AUTO_SYNC / MEMORY_PLANNING。fwd 包装函数返回(Aqk, Akk)bf16;bwd 包装函数返回(dq2, dk2, db2, dg2)fp32,host 后处理(db2.sum(0)+db、dg2 的 reverse chunk-local cumsum)归调用方,与上游 kernel/测试边界一致。Ai_ss = (I + strict_tril(A_s))^{-1}(纯 V 行递归)、以及合并块逆Ai = (I+G)(I+G²)D⁻¹(符号折叠恒等式,连续 GEMM);Aqk 对角与块上三角显式写 0。bwd 把上游逐列顺序循环重表述为仅依赖 (i, j) 的掩码 GEMM:前序块dq2_pre/dk2_pre、对角统一掩码、转置侧dkt,尾段做 post-β 缩放与梯度累加。[B,S,H]beta 载入使用 flat-view span + arith_progression + reinterpretcast + tile.gather 链(sub-32B stride DMA 不可靠)。2^x以exp(x·ln2)实现(exp2 无昇腾后端映射)。已知限制:操作数超出 fp16 范围(|x| > 65504)会损失精度;中点锚点把 bwd 操作数指数包络压至 ≤2^12.2,常规衰减域内无溢出。GetffstMsgflagId & 0xf),故 bwd 以 kernel 边界作 V→C 同步、尾段用手动 FIX flag(ID 9/10)。gk = logsigmoid(randn)后 chunk 内 cumsum、Akk_diag = ones;bwd 全 randn(g 未经 cumsum)。完整开发期分层套件(L0/L1/L2/Boundary 含正确拒绝与非有限域)共 90 项检查全部通过。精度验证 ✅
测试配置:fwd
B=1, S=8192, H=64, DK=128, chunk_size=64, sub_chunk_size=16(bf16 in/out, fp32 gate/accum);bwdB=1, S=8192, H=8, DK=128(全 fp32);及 L0 最小 shape(1,64,2,128)|actual − golden| ≤ atol + rtol·|golden|的 matched_ratio ≥ 0.99,且整体 max_abs_error ≤ limit;inf/nan 结构比对torch.linalg.solve_triangular单位下三角块求解 + 块逆展开交叉校验;bwd 统一掩码直接式 + 上游逐列循环直译交叉校验,两方向 golden 双路互拍一致)性能测试
测试平台:Ascend 910B3
测试配置:fwd
B=1, S=8192, H=64, DK=128bf16 in / fp32 gate;bwdB=1, S=8192, H=8, DK=128fp32纯 Kernel 时间(主口径:msprof 算子级 Task Duration)
上游测试样例对齐口径(补充:do_bench 事件计时)
本算子接口契约决定的最小数据搬运量为 1044MB(fwd 706MB,其中 gk fp32 256MiB 为接口契约 + bwd 338MB),910B3 实测 HBM 读写上限 1263GB/s 对应 826us 物理下限;要达到该下限需要单 kernel 多 C 段(或单体融合)支持。当前工具链每个 kernel 仅支持一个 C 段,fwd 被迫拆为 6 kernel、GM 流量放大约 6×(~4.4GB vs 706MB 唯一 IO);fp32
gemm_v0操作数损坏迫使全链 hi/lo 拆分(GEMM 数 ×3);前代求解的行递归串行依赖是 V 侧语义地板(~2.5ms);threads=2 实测 +47%(两方向独立测量)。以上构成剩余差距的主要成分,属工具链/结构性约束而非 kernel 层可实现项;bwd 方向(793.0μs 纯 kernel)已低于其 803MB@~600GB/s ≈ 1.34ms 的传输地板估计(片上缓存命中更优)。上述下限/地板均为按实测带宽与实测流量的估算值,非实测延迟。