Main Content

Función Datastore

Lea grandes recopilaciones de datos

La función datastore crea un almacén de datos, que es un repositorio de recopilaciones de datos que, por su gran tamaño, no caben en la memoria. Un almacén de datos permite leer y procesar los datos almacenados en varios archivos de un disco, una ubicación remota o una base de datos como una entidad única. Si el tamaño de los datos es demasiado grande para la capacidad de la memoria, usted puede administrar la importación incremental de datos, crear un arreglo tall (alto) para trabajar con los datos o utilizar el almacén de datos como entrada para que mapreduce continúe con el procesamiento. Para obtener más información, consulte Introducción a los almacenes de datos.

Funciones

expandir todo

datastoreCreate datastore for large collections of data
tabularTextDatastoreDatastore for tabular text files
spreadsheetDatastoreDatastore for spreadsheet files
imageDatastoreDatastore for image data
parquetDatastoreDatastore for collection of Parquet files (desde R2019a)
fileDatastoreDatastore with custom file reader
arrayDatastoreDatastore for in-memory data (desde R2020b)
readRead data in datastore
readallRead all data in datastore
previewPreview subset of data in datastore
hasdataDetermine if data is available to read
resetReset datastore to initial state
writeallWrite datastore to files (desde R2020a)
subsetCreate subset of datastore or FileSet (desde R2019a)
isSubsettableDetermine whether datastore is subsettable (desde R2022b)
shuffleShuffle all data in datastore
isShuffleableDetermine whether datastore is shuffleable (desde R2020a)
numpartitionsNumber of datastore partitions
partitionPartition a datastore
isPartitionableDetermine whether datastore is partitionable (desde R2020a)

Funciones

combineCombine data from multiple datastores (desde R2019a)
transformTransform datastore (desde R2019a)

Objetos

CombinedDatastoreDatastore to combine data read from multiple underlying datastores (desde R2019a)
SequentialDatastoreSequentially read data from multiple underlying datastores (desde R2022b)
TransformedDatastoreDatastore to transform underlying datastore (desde R2019a)
KeyValueDatastoreDatastore for key-value pair data for use with mapreduce
TallDatastoreDatastore for checkpointing tall arrays

Clases

expandir todo

matlab.io.Datastore Base datastore class
matlab.io.datastore.PartitionableAdd parallelization support to datastore
matlab.io.datastore.SubsettableAdd subset and fine-grained parallelization support to datastore (desde R2022b)
matlab.io.datastore.HadoopLocationBased Add Hadoop support to datastore (desde R2019a)
matlab.io.datastore.ShuffleableAdd shuffling support to datastore
matlab.io.datastore.DsFileSet File-set object for collection of files in datastore
matlab.io.datastore.DsFileReader File-reader object for files in a datastore
matlab.io.datastore.FileWritableAdd file writing support to datastore (desde R2020a)
matlab.io.datastore.FoldersPropertyProviderAdd Folder property support to datastore (desde R2020a)
matlab.io.datastore.FileSet File-set for collection of files in datastore (desde R2020a)
matlab.io.datastore.BlockedFileSet Blocked file-set for collection of blocks within file (desde R2020a)

Temas