parquet.hpp 文件参考

#include <cudf/ast/expressions.hpp>
#include <cudf/io/detail/parquet.hpp>
#include <cudf/io/types.hpp>
#include <cudf/table/table_view.hpp>
#include <cudf/types.hpp>
#include <cudf/utilities/export.hpp>
#include <cudf/utilities/memory_resource.hpp>
#include <iostream>
#include <memory>
#include <optional>
#include <string>
#include <utility>
#include <vector>

转到此文件的源代码。

类
class	cudf::io::parquet_reader_options
	用于 read_parquet() 的设置。 更多...
class	cudf::io::parquet_reader_options_builder
	用于构建 read_parquet() 所使用的 parquet_reader_options。 更多...
class	cudf::io::chunked_parquet_reader
	分块 Parquet 读取器类，用于将 Parquet 文件按块迭代读取到一系列表中。 更多...
struct	cudf::io::sorting_column
	用于描述列排序元数据的结构体。 更多...
class	cudf::io::parquet_writer_options_base
	用于 write_parquet() 和 parquet_chunked_writer 的基本设置。 更多...
class	cudf::io::parquet_writer_options_builder_base< BuilderT, OptionsT >
	Parquet 选项构建器的基类。 更多...
class	cudf::io::parquet_writer_options
	用于 write_parquet() 的设置。 更多...
class	cudf::io::parquet_writer_options_builder
	用于构建 parquet_writer_options 的类。 更多...
class	cudf::io::chunked_parquet_writer_options
	用于 parquet_chunked_writer 的设置。 更多...
class	cudf::io::chunked_parquet_writer_options_builder
	用于构建 chunked_parquet_writer_options 的类。 更多...
class	cudf::io::parquet_chunked_writer
	分块 parquet 写入器类，用于处理选项并按块写入表。 更多...

命名空间
	cudf
	cuDF 接口
	cudf::io
	IO 接口。

函数
table_with_metadata	cudf::io::read_parquet (parquet_reader_options const &options, rmm::cuda_stream_view stream=cudf::get_default_stream(), rmm::device_async_resource_ref mr=cudf::get_current_device_resource_ref())
	将 Parquet 数据集读取到一组列中。 更多...
std::unique_ptr< std::vector< uint8_t > >	cudf::io::write_parquet (parquet_writer_options const &options, rmm::cuda_stream_view stream=cudf::get_default_stream())
	将一组列写入 parquet 格式。 更多...
std::unique_ptr< std::vector< uint8_t > >	cudf::io::merge_row_group_metadata (std::vector< std::unique_ptr< std::vector< uint8_t >>> const &metadata_list)
	合并之前由 write_parquet 创建的多个原始元数据块到一个元数据块中。 更多...

变量
constexpr size_t	cudf::io::default_row_group_size_bytes
	每行组无限字节。 更多...
constexpr size_type	cudf::io::default_row_group_size_rows = 1'000'000
	每行组 100 万行
constexpr size_t	cudf::io::default_max_page_size_bytes = 512 * 1024
	每页 512KB
constexpr size_type	cudf::io::default_max_page_size_rows = 20000
	每页 2 万行
constexpr int32_t	cudf::io::default_column_index_truncate_length = 64
	截断为 64 字节
constexpr size_t	cudf::io::default_max_dictionary_size = 1024 * 1024
	字典大小 1MB
constexpr size_type	cudf::io::default_max_page_fragment_size = 5000
	每页片段 5000 行