pytorch/fbgemm は、ディープラーニングアプリケーション向けの最適化カーネルを提供するリポジトリである。最新リリースは v1.8.0 だが、提供された資料にはこのバージョンでの変更内容が記載されていない。リポジトリの主要言語は C++ である。FBGEMM はサーバー側の推論に向けた低精度の行列乗算と畳み込みを扱い、量子化 GEMM と融合演算も範囲に含まれる。
このリポジトリは FBGEMM、FBGEMM_GPU、FBGEMM_GPU GenAI の3つのパッケージで構成される。FBGEMM はサーバー推論向けの行列乗算および畳み込みライブラリである。FBGEMM_GPU は推薦システムの学習と推論のための PyTorch GPU オペレータライブラリ、FBGEMM_GPU GenAI は生成AIアプリケーションのための PyTorch GPU オペレータライブラリである。低精度演算とは、表現に使う精度を下げて行う計算を指す。GenAI の例としては FP8 の row-wise 量子化と集合通信が挙げられている。したがってこのリポジトリの範囲は単一の推論経路に限られず、サーバー側の行列演算と、推薦システムおよび生成AI向けの GPU オペレータを合わせて含む。
ただし、提供された資料だけでは v1.8.0 の変更内容이나各演算の性能数値は確認できない。ライセンス項目も NOASSERTION であり、具体的なライセンス名称は確認できない。パッケージの範囲は明らかだが、性能や利用条件を判断するには、該当する情報を別途確認する必要がある。