Turing™ TU102 GPU は、

GPCs （Graphics Processing Clusters）	6 基
Raster Engine	6 基
TPCs （Texture Processing Clusters）	36 基 (6 * 6[GPCs])
PolyMorph Engine	36 基 (6 * 6[GPCs])
SMs（Streaming Multiprocessors）	72 基 (12 * 6[GPCs])

で構成されています。

CUDA Core	4608 基　(16*4)[SM] * (12 * 6[GPCs])
RT Core	72 基　1[SM] * (12 * 6[GPCs])
Tensor Core	576 基　(2*4)[SM] * (12 * 6[GPCs])
Texture Units	288 基　4[SM] * （12 * 6[GPCs]）
32-bit GDDR6 Memory Controllers	12 基 （32-bits * 12 = 384-bits total）

各 メモリコントローラ には、8基の【ROP Unit】 と 【512 KB L2 Cache】が接続されています。
フルTU102 GPU は、96基の【ROP Unit】 と 【6144 KB L2 Cache】で構成されています。
図1： を参照してください。

注： TU102 GPUには、144基（2 * 12 * 6 [GPCs]） の 【FP64 Units】（SMごとに2基） も装備されていますが、この図には示されていません。
FP64（144 Units） TFLOP値 は、FP32演算（16 * 12 * 6 = 1,152 Units） のTFLOP値 の 1/32 となります。
（ (2 * 12 * 6) / (16 * 4 * 12 * 6) = 2 / (16 * 4) = 1 / 32 ）
FP64 Code を持つプログラムが正しく実行されるように、少数とはなりますが 【FP64 Hardware Units】 が搭載されています。

旧世代（Volta、Pascal、Kepler） Microarchitecure の Tesla^® GPU では、SMあたり、32（Tesla^® V100、Tesla^® P100 等） もの FP64 Core が搭載されていました（全部で 32/[SM] * 84[SM] = 2,688 FP64 Core）ので、最大約 7.8 TFLOPS という性能が出ていました。
しかしながら、Turing™ Microarchitecture の Tesla^®、Quadro^® RTX、GeForce^® RTX 2000 Series では、SMあたり FP64 Core は 2基 だけとなっていますので、FP64 倍精度浮動小数点演算の性能は低く（最大 0.5 TFLOPS 程度）なっています。（全部で 2/[SM] * 72[SM] = 144 FP64 Core）
Turing™ 世代のGPUは、あまり倍精度浮動小数点向けの Processor とは言えず、AI、Deep Learning に特化したと考えられます。

TPC（Texture Processing Clusters） は、2基の SMs で構成されています。

各々の SM は、

FP32 Core	64 基 （16 * 4）
INT32 Core	64 基 （16 * 4）
Tensor Core	8 基 （2 * 4）
FP64 Core	2 基

で構成されています。
（FP64 Unit は、図1 および 図2 には表示されていません。）

Turing™ SM は、FP32 と INT32 を同時に実行することが可能です。

各々の Turing™ SM は、

Mixed-Precision Turing™ Tensor Core	8 基 （2 * 4）
RT Core （Turing™ Ray Tracing 用）	1 基

を内蔵しています。

Turing™ SM は、4基 の 【Processing Blocks】 で構成されています。
各々の 【Processing Blocks】 は以下ような仕様となっています。

FP32 Core	16 基
INT32 Core	16 基
Tensor Core	2 基
Warp Scheduler	1 基
Dispatch Unit (32 thread / clk)	1 基
Register File	16,384 基 (32 bit)

（4基 の 【Processing Blocks】 に対して、2基 の 【FP64 Hardware Units】 が用意されています。）

各【Processing Block】には、新しい 【L0 Instruction Cache】 と 【64KB Register File】 が搭載されています。
4基の【Processing Block】は、 【96KB L1 Data Cache】 / 【Shared Memory】 を共有します。

従来の Graphics Workloads では、
【96KB L1】 / 【Shared Memory】 を 専用の【64 KB Graphics Shader RAM】
として、また
【32KB】 を 【Texture Cache】 および 【Register File】 の スピルエリア として分割しています。

Compute workloads では、【96KB】 を
【32KB shared memory】 と 【64KB L1 cache】
、または
【64KB shared memory】 と 【32KB L1 cache】
に分割できます。

Turing™ は、Core 実行データパス の大幅な改良を実装しています。
最近の Shader Workloads では、通常、FADD（Floating point ADD） や FMAD（Floating-point Multiply-ADd） などの FP算術演算命令 と、データのアドレス指定 および フェッチ のための 整数加算、処理結果 のための 浮動小数点比較、最小 / 最大 などの 単純命令 が混在しています。
これらの 非FP演算命令 のいずれかが実行されると、 ポイント演算データパス は アイドル状態 になります。
Turing™ は、これらの命令を 浮動小数点演算 と並列に実行するすべての CUDA Core の隣に2番目の 並列実行 Unit を追加します。

整数パイプ命令 と 浮動小数点命令 の組み合わせがさまざまであありますが、最近のいくつかのアプリケーションでは、100浮動小数点命令 ごとに通常 約36の 整数パイプ命令 が認められています。
これらの命令を別のパイプに移動すると、浮動小数点に有効な36％の追加スループットが可能になります。

Turing™ の SM は、【Shared Memory】、L1、そして テクスチャキャッシング のための新しい 統一アーキテクチャ も導入しました。

・L1 2倍のバンド幅
・L1 レイテンシイの削減
・L1 2.7倍のサイズ
・L2 2倍のサイズ

この統一された設計により、 L1 Cache は Pascal と比較して TPC（Texture Processing Clusters） あたり2倍のヒット帯域幅を使用してリソースを活用でき、 【Shared Memory】 割り当てがすべての 【Shared Memory】容量 を使用していない場合は大きくなります。
Turing™ L1 のサイズは、64KB までとし、SM あたり 32KB の 【Shared Memory】割り当て と組み合わせることも、 32KB に縮小して 64KB の割り当てを 【Shared Memory】 に使用することもできます。

Turing™ L2 の Cache容量 も 3MB（Pascla） から 6MB（Turing™） 倍増されました。

図3 ［Pascal TPC（Texture Processing Clusters）］と［Turing™ TPC］の 新旧 Shared Memory Architecure の違いを示しています。

Turing™ SM の新しい 【L1 Data Cache】 と 【Shared Memory】 サブシステム の組み合わせがパフォーマンスを大幅に向上させると同時に、プログラミングを簡素化し、ピーク時 または ほぼピーク時の アプリケーションパフォーマンス を達成するために必要な チューニング を削減する方法を示しています。

【L1 Data Cache】 と 【Shared Memory】 を組み合わせることで、以前の Pascal GPU で使用されていた 【L1 Cache】 の実装よりも 待ち時間 を短縮し、より高い 帯域幅を 提供します。
全体として、SM の変更により、Turing™ は CUDA Core あたりの性能を50％向上させることができます。

Turing™ GPU には、Volta GV100 GPU で最初に導入された Tensor Cores の拡張バージョンが搭載されています。
Turing™ Tensor Core は、量子化 を許容することができる Workload の推論のために、INT8 と INT4 という低い精度の仕様が追加されています。
より高い精度を必要とする Workload に対応するため、FP16 も完全にサポートされています。

Turing™ ベース の GeForceゲーミングGPU に Tensor Cores を導入することで、リアルタイム の ディープラーニング を ゲームアプリケーション に初めてもたらすことが可能になります。
Turing™ Tensor Cores は、グラフィック、レンダリング、およびその他の種類の クライアントサイドアプリケーション を強化する、NVIDIA^® NGX Neural Services の AIベース の機能を加速します。
NGX AI機能 の例としては、 ディープラーニングスーパーサンプリング（DLSS）、AI InPainting、AI Super Rez、および AI Slow-Mo があります。

Tensor Cores を使用すると、ニューラルネットワーク のトレーニングと推論機能の中核となる、行列間の乗算（matrix-matrix multiplication） が加速されます。
Turing™ Tensor Cores は、推論計算に特に優れています。
推論計算では、与えられた入力に基づいて、訓練された ディープニューラルネットワーク（DNN） によって有用で関連性のある情報を推論して配信できます。
推論の例としては、Facebook の写真で友達の画像を識別、自動運転車の中でさまざまな種類の自動車、歩行者、および道路の危険を識別して分類、人のスピーチをリアルタイムで翻訳、オンライン小売 および ソーシャルメディアシステムでパーソナライズされたユーザー推奨を作成するシステム等があります。

TU102 GPU には 576基（ (2[SM] * 4[Processing Block]) * 12 * 6[GPCs]） の Tensor Core が搭載されています。
SM ごとに 8基、SM 内の 4基ある 【Processing Block】 ごとに 各々 2基 搭載されています。
各々の Tensor Core は、FP16入力 を使用して、1クロック あたり 最大 64命令 の 浮動小数点融合積和（FMA：Fused Multiply-Add）演算 を実行できます。
SM 内の 8基 の Tensor Cores は、1クロック あたり 合計512命令 の FP16乗算 および 積和演算（Accumulate Operations）、または 1クロック あたり 1024命令 の FP（浮動小数点）演算 を実行します。
新しい INT8精度モード は、この2倍、つまり クロックあたり 2048命令 の整数演算を実行します。

Turing™ Tensor Cores は行列演算を大幅にスピードアップし、新しい ニューラルグラフィックス機能 に加えて、ディープラーニングトレーニング と 推論演算 の両方に使用されます。
Tensor Core の基本的な運用上の詳細については、 NVIDIA Tesla V100 GPU Architecture Whitepaper を参照してください。
図4 は、AI推論に多精度を提供する新しい Turing™ Tensor Cores を示しています。