Gpu Architecture by Derek Hower

5/21/2013

GPU Architectures

A CPU Perspective

Derek Hower AMD Research 5/21/2013

Goals

Data Parallelism: What is it, and how to exploit it?

◦ Workload characteristics

Execution Models / GPU Architectures

◦ MIMD (SPMD), SIMD, SIMT

GPU Programming Models

◦ Terminology translations: CPU  AMD GPU  Nvidia GPU ◦ Intro to OpenCL

Modern GPU Microarchitectures

◦ i.e., programmable GPU pipelines, not their fixed-function predecessors

Advanced Topics: (Time permitting)

◦ The Limits of GPUs: What they can and cannot do ◦ The Future of GPUs: Where do we go from here?

GPU ARCHITECTURES: A CPU PERSPECTIVE

2

1

5/21/2013

Data Parallel Execution on GPUs

Data Parallelism, Programming Models, SIMT

GPU ARCHITECTURES: A CPU PERSPECTIVE 3

Graphics Workloads

Streaming computation

GPU

GPU ARCHITECTURES: A CPU PERSPECTIVE

4

2

5/21/2013

Graphics Workloads

Streaming computation on pixels

GPU

GPU ARCHITECTURES: A CPU PERSPECTIVE

5

Graphics Workloads

Identical, Streaming computation on pixels

GPU

GPU ARCHITECTURES: A CPU PERSPECTIVE

6

3

5/21/2013

Graphics Workloads

Identical, Independent, Streaming computation on pixels

GPU

GPU ARCHITECTURES: A CPU PERSPECTIVE

7

Architecture Spelling Bee

P-A-R-A-L-L-E-L

Spell ‘Independent’

GPU ARCHITECTURES: A CPU PERSPECTIVE

8

4

5/21/2013

Generalize: Data Parallel Workloads

Identical, Independent computation on multiple data inputs

������������������������������������������������ = ������(������������������������������������������ ) ������������������������������������������������ = ������(������������������������������������������ ) ������������������������������������������������ = ������(������������������������������������������ ) ������������������������������������������������ = ������(������������������������������������������ )

0,7 1,7 2,7 3,7

7,0 6,0 5,0 4,0

GPU ARCHITECTURES: A CPU PERSPECTIVE

9

Naïve Approach

Split independent work over multiple processors CPU0

0,7 ������������������������������������������������ = ������(������������������������������������������ ) 7,0

CPU1

1,7 ������������������������������������������������ = ������(������������������������������������������ ) 6,0

CPU2

2,7 ������������������������������������������������ = ������(������������������������������������������ ) 5,0

CPU3

3,7 ������������������������������������������������ = ������(������������������������������������������ )

GPU ARCHITECTURES: A CPU PERSPECTIVE

4,0

10

5

5/21/2013

Data Parallelism: A MIMD...