ai.rapids.cudf.nvcomp

类 BatchedCompressor

java.lang.Object

ai.rapids.cudf.nvcomp.BatchedCompressor

直接已知子类

BatchedLZ4Compressor, BatchedZstdCompressor

public abstract class BatchedCompressor
extends Object

多缓冲区压缩器

构造方法摘要

构造方法

构造方法和说明
BatchedCompressor(long chunkSize, long maxOutputChunkSize, long maxIntermediateBufferSize) 构造批量压缩器实例

方法摘要

修饰符和类型	方法和说明
protected abstract void	batchedCompressAsync(long devInPtrs, long devInSizes, long chunkSize, long batchSize, long tempPtr, long tempSize, long devOutPtrs, long compressedSizesOutPtr, long stream) 异步压缩一批缓冲区。
protected abstract long	batchedCompressGetTempSize(long batchSize, long maxChunkSize) 获取执行整个批量压缩所需的临时工作区大小。
DeviceMemoryBuffer[]	compress(BaseDeviceMemoryBuffer[] origInputs, Cuda.Stream stream) 压缩一批缓冲区。

从类 java.lang.Object 继承的方法

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

构造方法详细信息

BatchedCompressor

public BatchedCompressor(long chunkSize,
                         long maxOutputChunkSize,
                         long maxIntermediateBufferSize)

构造批量压缩器实例

参数

chunkSize - 作为单个块压缩的未压缩数据的最大量。大于此大小的输入将被分成多个块进行压缩。

maxIntermediateBufferSize - 压缩期间使用的中间设备缓冲区的所需最大大小。

方法详细信息

compress

public DeviceMemoryBuffer[] compress(BaseDeviceMemoryBuffer[] origInputs,
                                     Cuda.Stream stream)

压缩一批缓冲区。输入缓冲区将被关闭。

参数

origInputs - 要压缩的缓冲区

stream - 要使用的 CUDA 流

返回

与输入缓冲区相对应的压缩缓冲区

batchedCompressGetTempSize

protected abstract long batchedCompressGetTempSize(long batchSize,
                                                   long maxChunkSize)

获取执行整个批量压缩所需的临时工作区大小。

参数

batchSize - 批次中的块数

maxChunkSize - 未压缩块的最大大小（字节）

返回

压缩批次所需的临时工作区大小（字节）。

batchedCompressAsync

protected abstract void batchedCompressAsync(long devInPtrs,
                                             long devInSizes,
                                             long chunkSize,
                                             long batchSize,
                                             long tempPtr,
                                             long tempSize,
                                             long devOutPtrs,
                                             long compressedSizesOutPtr,
                                             long stream)

异步压缩一批缓冲区。注意 compressedSizesOutPtr 必须指向锁定（pinned）内存，此操作才能异步进行。

参数

devInPtrs - 未压缩缓冲区地址向量的设备地址

devInSizes - 未压缩缓冲区大小向量的设备地址

chunkSize - 未压缩块的最大大小（字节）

batchSize - 批次中的块数

tempPtr - 临时工作区缓冲区的设备地址

tempSize - 临时工作区缓冲区的大小（字节）

devOutPtrs - 输出缓冲区地址向量的设备地址

compressedSizesOutPtr - 用于写入相应输出缓冲区中压缩数据大小的设备地址。必须指向一个缓冲区，该缓冲区每批次输出缓冲区至少有 8 字节内存。

stream - 要使用的 CUDA 流