NVIDIA CUDA(英伟达CUDA驱动) v11.0.2官方版

NVIDIA CUDA是NVIDIA显卡加速平台，CUDA是NVIDIA发明的并行计算平台和编程模型。通过使用图形处理单元(GPU)的功能，可以显著提高计算性能。

基本介绍

CUDA的开发考虑了几个设计目标：

提供标准编程语言(如C语言)的一小部分扩展，可以实现并行算法的直接实现。使用CUDA C/C，程序员可以专注于算法的并行化，而不必花时间在算法的实现上。

当应用程序同时使用CPU和GPU时，支持异构计算。应用程序的串行部分在CPU上运行，并行部分卸载到GPU。这样，CUDA可以增量应用于现有应用程序。而CPU和GPU被视为独立的设备，有自己的内存空间。这种配置还允许在中央处理器和图形处理器上同时计算，而不会争夺内存资源。

具有CUDA功能的GPU有数百个内核，可以一起运行数千个计算线程。这些内核拥有共享资源，包括寄存器文件和共享内存。片内共享内存允许在这些内核上运行的并行任务共享数据，而无需通过系统内存总线发送数据。

施用方式

评价

对于现有的项目，第一步是评估应用程序，找到负责大部分执行时间的代码部分。有了这些知识，开发人员就可以评估这些瓶颈进行并行化，并开始研究GPU加速。

通过了解最终用户的需求和约束，并应用Amdahl定律和gustafson定律，开发人员可以通过加速应用程序的已识别部分来确定性能提升的上限。

并行化

在确定热点并完成设定目标和期望的基本练习后，开发人员需要并行处理代码。根据原始代码，可以简单到调用现有的GPU优化库，如立方玻璃、傅里叶变换或推力，也可以简单到向并行化编译器添加一些预处理器指令。

另一方面，一些应用程序的设计将需要一些重构来揭示它们固有的并行性。甚至CPU架构都需要公开并行性来提高或者简单的维护顺序应用的性能，所以CUDA并行编程语言家族(CUDA C，CUDA Fortran等。)旨在使排比的表达尽可能简单。同时在支持CUDA的GPU上启用操作，旨在实现最大的并行吞吐量。

使最优化

在完成每一轮应用程序并行化之后，开发人员可以开始优化实现以提高性能。因为可以考虑许多可能的优化，所以对应用程序需求的良好理解有助于使过程尽可能平稳。然而，和整个APOD一样，程序优化是一个迭代的过程(确定优化机会、应用和测试优化、验证实现的加速并重复)，这意味着程序员在看到良好的加速效果之前，不必花费大量时间记住所有可能的优化策略。相反，你可以在学习的过程中一步一步地运用策略。

优化可以应用于各种级别，从重叠数据传输到计算，再到微调浮点运算序列。的可用分析工具对于指导此过程非常有用，因为它们可以帮助为开发人员的优化工作建议最佳方案，并为指南优化部分的相关部分提供参考。

部署

在完成应用程序的一个或多个组件的GPU加速后，可以将结果与最初的预期进行比较。回想一下，初始评估步骤允许开发人员确定通过加速给定热点可以实现的潜在加速上限。

在解决其他热点以提高整体速度之前，开发人员应该考虑采用部分并行实现并付诸实践。这很重要，原因有很多。比如让用户尽早从自己的投资中获益(提速可能是局部的，但还是有价值的)，通过给开发者提供一套渐变而不是革命性的变化，将开发者和用户的风险降到最低。申请。

软件合成

图形处理器加速库

Da-x库

IndeX (IndeX)

语言解决方案。

OpenACC编译器指令

英伟达CUDA C/C编译器(NVCC)

参考数据

CUDA C/C代码示例。

CUDA文件

开发工具

NVTAGS

数字深度学习培训系统。

集成开发环境。

视觉分析器

GDB命令行调试器。

内存分析器。