cudf::io::text::data_chunk_reader 类参考

一个能够生成设备内存视图的读取器。 更多...

#include <data_chunk_source.hpp>

公有成员函数
virtual void	skip_bytes (std::size_t size)=0
	跳过数据源中指定数量的字节。 更多...
virtual std::unique_ptr< device_data_chunk >	get_next_chunk (std::size_t size, rmm::cuda_stream_view stream)=0
	从数据源获取下一个字节块。 更多...

详细描述

一个能够生成设备内存视图的读取器。

数据块读取器API封装了有状态地遍历和加载数据源的概念。数据源可能是一个文件、设备内存区域或主机内存区域。从这些数据源高效读取数据需要根据数据源类型、压缩类型、主机和设备能力以及数据目的地采取不同的策略。整个文件的解压缩应该隐藏在此接口之后。

定义于文件 data_chunk_source.hpp 的第 76 行。

成员函数文档

get_next_chunk()

virtual std::unique_ptr<device_data_chunk> cudf::io::text::data_chunk_reader::get_next_chunk ( std::size_t  size, rmm::cuda_stream_view  stream  )

纯虚函数

从数据源获取下一个字节块。

执行读取和准备底层数据源作为设备内存视图消费所需的任何必要工作。常见的实现可能包括从文件读取、从主机内存复制数据、分配临时内存、执行迭代解压缩，甚至启动设备核函数。

参数

size	要读取的字节数
stream	用于关联分配或执行获取块所需工作的 stream

返回值

一个最多包含 size 字节的数据块。如果读取器到达底层数据源的末尾，可能返回少于 size 字节的数据。返回的数据必须按照相对于指定 stream 的 stream 顺序访问

skip_bytes()

virtual void cudf::io::text::data_chunk_reader::skip_bytes ( std::size_t  size )

纯虚函数

跳过数据源中指定数量的字节。

参数

size

要跳过的字节数

---

此类的文档由以下文件生成

• data_chunk_source.hpp