librmm

在以 GPU 为中心的工作流程中实现最佳性能通常需要自定义主机和设备内存的分配方式。例如,使用“锁定”主机内存进行异步主机 <-> 设备内存传输,或使用设备内存池子分配器来降低动态设备内存分配的成本。

RAPIDS Memory Manager (RMM) 的目标是提供

  • 一个允许自定义设备和主机内存分配的通用接口
  • 一系列接口实现
  • 一系列使用该接口进行内存分配的数据结构

有关 rmm 提供的 API 的更多信息,请参阅模块页面