ai.rapids.cudf

类 DataSource

java.lang.Object

ai.rapids.cudf.DataSource

所有已实现的接口

AutoCloseable

已知直接子类

MultiBufferDataSource

public abstract class DataSource
extends Object
implements AutoCloseable

可用于向 CUDF 动态提供数据的基类。这与 cudf::io::datasource 有些相似，但存在一些主要差异。
首先，这不暴露异步设备读取。它将转而调用非异步设备读取 API。未来可能会添加此功能，但目前在 Java 中没有直接的使用场景来保证增加的复杂性。
其次，目前没有实现返回缓冲区而不是写入缓冲区的设备读取 API。CUDF 尚未使用此功能，因此测试一个未使用的实现感觉并不理想。如果需要，我们将在未来添加。

构造器摘要

构造器

构造器与描述
DataSource()

方法摘要

修饰符与类型	方法与描述
void	close()
long	deviceRead(long offset, DeviceMemoryBuffer dest, Cuda.Stream stream) 从源指定偏移量处读取数据到 dest。
long	getDeviceReadCutoff() 在支持设备读取时，获取设备读取和主机读取之间的尺寸阈值。
abstract long	hostRead(long offset, HostMemoryBuffer dest) 从源指定偏移量处读取数据到 dest。
abstract HostMemoryBuffer	hostRead(long offset, long amount) 从源指定偏移量处读取数据。
protected void	onHostBufferDone(HostMemoryBuffer buffer) 当 hostRead 返回的缓冲区处理完毕时调用。
abstract long	size() 获取源的大小（字节）。
boolean	supportsDeviceRead() 如果支持直接读取到设备，则返回 true，否则返回 false。

从类 java.lang.Object继承的方法

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

构造器详细信息

DataSource

public DataSource()

方法详细信息

close

public void close()

指定者

接口 AutoCloseable 中指定：close

size

public abstract long size()

获取源的大小（字节）。

hostRead

public abstract HostMemoryBuffer hostRead(long offset,
                                          long amount)
                                   throws IOException

从源指定偏移量处读取数据。返回读取数据的 HostMemoryBuffer。

参数

offset - 开始读取的位置。

amount - 要读取的最大字节数。

返回

指向数据的缓冲区。

抛出

IOException - 发生任何错误时。

onHostBufferDone

protected void onHostBufferDone(HostMemoryBuffer buffer)

当 hostRead 返回的缓冲区处理完毕时调用。默认是关闭该缓冲区。

hostRead

public abstract long hostRead(long offset,
                              HostMemoryBuffer dest)
                       throws IOException

从源指定偏移量处读取数据到 dest。注意，dest 不应关闭，并且对其的引用不能超出 hostRead 的调用范围。目标读取量是 dest 的长度。

参数

offset - 源中开始读取的偏移量。

dest - 数据写入位置。

返回

写入 dest 的实际字节数。

抛出

IOException

supportsDeviceRead

public boolean supportsDeviceRead()

如果支持直接读取到设备，则返回 true，否则返回 false。默认不支持设备。这不能动态改变。通常只读取一次。

getDeviceReadCutoff

public long getDeviceReadCutoff()

在支持设备读取时，获取设备读取和主机读取之间的尺寸阈值。大于阈值的读取将是设备读取，小于阈值的读取将是主机读取。默认情况下，阈值为 0，因此如果支持设备读取，所有读取都将是设备读取。

deviceRead

public long deviceRead(long offset,
                       DeviceMemoryBuffer dest,
                       Cuda.Stream stream)
                throws IOException

从源指定偏移量处读取数据到 dest。注意，dest 不应关闭，并且对其的引用不能超出 hostRead 的调用范围。目标读取量是 dest 的长度。

参数

offset - 开始读取的偏移量

dest - 数据写入位置。

stream - 执行复制的流。

返回

写入 dest 的实际字节数。

抛出

IOException