写入器

文件
文件	csv.hpp
文件	io/json.hpp
文件	orc.hpp
文件	parquet.hpp

类
类	cudf::io::csv_writer_options
	用于 write_csv() 的设置。 更多...
类	cudf::io::csv_writer_options_builder
	用于构建 writer_csv() 选项的构建器 更多...
类	cudf::io::json_writer_options
	用于 write_json() 的设置。 更多...
类	cudf::io::json_writer_options_builder
	用于构建 writer_json() 选项的构建器 更多...
类	cudf::io::orc_writer_options
	用于 write_orc() 的设置。 更多...
类	cudf::io::orc_writer_options_builder
	构建 write_orc() 的设置。 更多...
类	cudf::io::chunked_orc_writer_options
	用于 write_orc_chunked() 的设置。 更多...
类	cudf::io::chunked_orc_writer_options_builder
	构建 write_orc_chunked() 的设置。 更多...
类	cudf::io::orc_chunked_writer
	分块 ORC 写入器类，用于以分块/流式形式写入 ORC 文件。 更多...
结构体	cudf::io::sorting_column
	用于描述列排序元数据的结构体。 更多...
类	cudf::io::parquet_writer_options_base
	write_parquet() 和 parquet_chunked_writer 的基本设置。 更多...
类	cudf::io::parquet_writer_options_builder_base< BuilderT, OptionsT >
	Parquet 选项构建器的基类。 更多...
类	cudf::io::parquet_writer_options
	write_parquet() 的设置。 更多...
类	cudf::io::parquet_writer_options_builder
	用于构建 parquet_writer_options 的类。 更多...
类	cudf::io::chunked_parquet_writer_options
	parquet_chunked_writer 的设置。 更多...
类	cudf::io::chunked_parquet_writer_options_builder
	用于构建 chunked_parquet_writer_options 的类。 更多...
类	cudf::io::parquet_chunked_writer
	分块 parquet 写入器类，用于处理选项并按块写入表。 更多...

函数
void	cudf::io::write_csv (csv_writer_options const &options, rmm::cuda_stream_view stream=cudf::get_default_stream())
	将一组列写入 CSV 格式。 更多...
void	cudf::io::write_json (json_writer_options const &options, rmm::cuda_stream_view stream=cudf::get_default_stream())
	将一组列写入 JSON 格式。 更多...
void	cudf::io::write_orc (orc_writer_options const &options, rmm::cuda_stream_view stream=cudf::get_default_stream())
	将一组列写入 ORC 格式。 更多...
std::unique_ptr< std::vector< uint8_t > >	cudf::io::write_parquet (parquet_writer_options const &options, rmm::cuda_stream_view stream=cudf::get_default_stream())
	将一组列写入 parquet 格式。 更多...
std::unique_ptr< std::vector< uint8_t > >	cudf::io::merge_row_group_metadata (std::vector< std::unique_ptr< std::vector< uint8_t >>> const &metadata_list)
	将先前由 write_parquet 创建的多个原始元数据 blob 合并为一个元数据 blob。 更多...

详细描述

函数文档

merge_row_group_metadata()

std::unique_ptr<std::vector<uint8_t> > cudf::io::merge_row_group_metadata

(

std::vector< std::unique_ptr< std::vector< uint8_t >>> const &

metadata_list

)

将先前由 write_parquet 创建的多个原始元数据 blob 合并为一个元数据 blob。

参数

[in]

metadata_list

输入文件元数据列表

返回

一个与 parquet 兼容的 blob，包含列表中所有行组的数据

write_csv()

void cudf::io::write_csv	(	csv_writer_options const &	options,
		rmm::cuda_stream_view	stream = cudf::get_default_stream()
	)

将一组列写入 CSV 格式。

以下代码片段演示了如何将列写入文件

auto destination = cudf::io::sink_info("dataset.csv");
auto options = cudf::io::csv_writer_options(destination, table->view())
.na_rep(na)
.include_header(include_header)
.rows_per_chunk(rows_per_chunk);
 
cudf::io::write_csv(options);

参数

options	控制写入行为的设置
stream	用于设备内存操作和内核启动的 CUDA 流

write_json()

void cudf::io::write_json	(	json_writer_options const &	options,
		rmm::cuda_stream_view	stream = cudf::get_default_stream()
	)

将一组列写入 JSON 格式。

以下代码片段演示了如何将列写入文件

auto destination = cudf::io::sink_info("dataset.json");
auto options = cudf::io::json_writer_options(destination, table->view())
.na_rep(na)
.lines(lines)
.rows_per_chunk(rows_per_chunk);
 
cudf::io::write_json(options);

参数

options	控制写入行为的设置
stream	用于设备内存操作和内核启动的 CUDA 流

write_orc()

void cudf::io::write_orc	(	orc_writer_options const &	options,
		rmm::cuda_stream_view	stream = cudf::get_default_stream()
	)

将一组列写入 ORC 格式。

以下代码片段演示了如何将列写入文件

auto destination = cudf::io::sink_info("dataset.orc");
auto options = cudf::io::orc_writer_options::builder(destination, table->view());
cudf::io::write_orc(options);

参数

options	控制写入行为的设置
stream	用于设备内存操作和内核启动的 CUDA 流

write_parquet()

std::unique_ptr<std::vector<uint8_t> > cudf::io::write_parquet	(	parquet_writer_options const &	options,
		rmm::cuda_stream_view	stream = cudf::get_default_stream()
	)

将一组列写入 parquet 格式。

以下代码片段演示了如何将列写入文件

auto destination = cudf::io::sink_info("dataset.parquet");
auto options = cudf::io::parquet_writer_options::builder(destination, table->view());
cudf::io::write_parquet(options);

参数

options	控制写入行为的设置
stream	用于设备内存操作和内核启动的 CUDA 流

返回

一个 blob，如果 parquet_writer_options 中有请求，则包含文件元数据（parquet FileMetadata thrift 消息）（否则为空 blob）。