ai.rapids.cudf

类 ORCChunkedReader

java.lang.Object

ai.rapids.cudf.ORCChunkedReader

所有实现的接口

AutoCloseable

public class ORCChunkedReader
extends Object
implements AutoCloseable

提供一个以迭代方式读取 ORC 文件的接口。

构造器摘要

构造器

构造器和描述
ORCChunkedReader(long chunkReadLimit, long passReadLimit, long outputRowSizingGranularity, ORCOptions opts, HostMemoryBuffer buffer, long offset, long len) 构造一个分块 ORC 读取器实例，类似于 ORCChunkedReader(long, long, ORCOptions, HostMemoryBuffer, long, long)，并带有一个附加参数来控制输出表的粒度。
ORCChunkedReader(long chunkReadLimit, long passReadLimit, ORCOptions opts, HostMemoryBuffer buffer, long offset, long len) 根据读取限制、输出行粒度以及已加载到内存缓冲区的文件构造读取器实例。

方法摘要

修饰符和类型	方法和描述
void	close()
boolean	hasNext() 检查给定文件是否还有内容可读。
Table	readChunk() 读取给定 ORC 文件中的一部分行块，使返回的数据总大小不超过给定的读取限制。

从类 java.lang.Object 继承的方法

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

构造器详细信息

ORCChunkedReader

public ORCChunkedReader(long chunkReadLimit,
                        long passReadLimit,
                        ORCOptions opts,
                        HostMemoryBuffer buffer,
                        long offset,
                        long len)

根据读取限制、输出行粒度以及已加载到内存缓冲区的文件构造读取器实例。

参数

chunkReadLimit - 每次读取返回的总字节数限制，如果无限制则为 0。

passReadLimit - 分块读取器使用的内存量限制，如果无限制则为 0。

opts - ORC 读取选项。

buffer - 原始 ORC 文件内容。

offset - buffer 中的起始偏移量。

len - 要解析给定 buffer 的字节数。

ORCChunkedReader

public ORCChunkedReader(long chunkReadLimit,
                        long passReadLimit,
                        long outputRowSizingGranularity,
                        ORCOptions opts,
                        HostMemoryBuffer buffer,
                        long offset,
                        long len)

构造一个分块 ORC 读取器实例，类似于 ORCChunkedReader(long, long, ORCOptions, HostMemoryBuffer, long, long)，并带有一个附加参数来控制输出表的粒度。读取块表时，在给定大小限制下，可能会加载、解压缩和解码部分条纹到一个大的中间表中。读取器将使用 outputRowSizingGranularity 作为细分步骤，将该表细分为更小的表用于最终输出。如果构造分块读取器时没有此参数，将使用 1 万行的默认值。

参数

outputRowSizingGranularity - 输出表中行数的更改步长。

另请参阅

ORCChunkedReader(long, long, ORCOptions, HostMemoryBuffer, long, long)

方法详细信息

hasNext

public boolean hasNext()

检查给定文件是否还有内容可读。

返回

一个布尔值，指示文件是否还有更多数据可读。

readChunk

public Table readChunk()

读取给定 ORC 文件中的一部分行块，使返回的数据总大小不超过给定的读取限制。如果给定文件没有数据，或者之前对此函数的调用已读取所有数据，将返回一个 null Table。

返回

从给定文件读取的新行组成的表。

close

public void close()

指定者

close 在接口 AutoCloseable 中指定