[Parallel-Hackers] Fwd: tensor vs cuda cores

[Hugo Ameln]

Hejsan vi har ju börjat och implementera matris-multiplikation för att 
förstå cuda-c/c++ och hur cuda-cores funkar. Jag har undersökt hur vi 
borde göra detta i vårt faktiska program och svaret är tensor-cores. 
Till skilnad från cuda-cores så är dem byggda för specifika tensor 
operationer. Detta innebär b.l.a att matrismultiplikation är inbyggt i 
hårdvaran på ett väldigt snabbt sätt!

Ni kan hitta mer information här
https://docs.nvidia.com/cuda/cutensor/latest/getting_started.html
det finns så klart en HIP-Tensor ekvivalent implementation här:
https://rocm.docs.amd.com/projects/hipTensor/en/latest/



Det kan vara smart att också experimentera med tensor-cores, ugh så 
mycket att göra!

mvh Hugo :)