> Скорее всего, простейший пример выбрали для наглядности. Операции "1 + 2" и
> "3 + 4" обычный процессор в одном потоке выполнит параллельно.

GPU можно представить как кучу относительно простых ALU, на манер SIMD/MIMD, с той разницей что число lanes по сравнению с обычным процом - немеряное! Так что число инструкций за такт которое оно сжевывает - зубодробильное. Если, конечно, алгоритм параллелился и было чем lanes занять и не упиралось в взаимозависимости результата.

На самом деле чуть продвинутее. А в минус - слабый exec flow control, такая штука в отличие от проца общего назначения не особо быстро разворачивается в другую сторону. Изначально же делано чтобы паровым катком по всей площади картинки прокатиться. А оказалось что это и еще много где неплохо работает.