Esta página aún no se ha traducido para esta versión. Puede ver la versión más reciente de esta página en inglés.

Función Datastore

Leer grandes recopilaciones de datos

La función datastore crea un almacén de datos, que es un repositorio de recopilaciones de datos que, por su gran tamaño, no caben en la memoria. Un almacén de datos permite leer y procesar los datos almacenados en varios archivos de un disco, una ubicación remota o una base de datos como entidad única. Si el tamaño de los datos es demasiado grande para la capacidad de la memoria, usted puede administrar la importación incremental de datos, crear un arreglo tall (alto) para trabajar con los datos o utilizar el almacén de datos como entrada para que mapreduce continúe con el procesamiento. Para obtener más información, consulte Introducción a DataStore.

Funciones

expandir todo

datastoreCreate datastore for large collections of data
tabularTextDatastoreDatastore for tabular text files
spreadsheetDatastoreDatastore for spreadsheet files
imageDatastoreDatastore for image data
parquetDatastoreDatastore for collection of Parquet files
fileDatastoreDatastore with custom file reader
readRead data in datastore
readallRead all data in datastore
previewSubset of data in datastore
partitionPartition a datastore
numpartitionsNumber of datastore partitions
hasdataDetermine if data is available to read
resetReset datastore to initial state

Funciones

combineCombine data from multiple datastores
transformTransform datastore

Objetos

CombinedDatastoreDatastore to combine data read from multiple underlying datastores
TransformedDatastoreDatastore to transform underlying datastore
KeyValueDatastoreDatastore for key-value pair data for use with mapreduce
TallDatastoreDatastore for checkpointing tall arrays

Clases

expandir todo

matlab.io.Datastore Base datastore class
matlab.io.datastore.PartitionableAdd parallelization support to datastore
matlab.io.datastore.HadoopLocationBased Add Hadoop support to datastore
matlab.io.datastore.ShuffleableAdd shuffling support to datastore
matlab.io.datastore.DsFileSet File-set object for collection of files in datastore
matlab.io.datastore.DsFileReader File-reader object for files in a datastore

Temas

Introducción a DataStore

Un almacén de datos es un objeto para leer un solo archivo o una colección de archivos o datos.

Seleccione almacén de datos para formato de archivo o aplicación

Elija el almacén de datos adecuado en función del formato de archivo de sus archivos o aplicaciones.

Leer y analizar archivo de texto tabular grande

En este ejemplo se muestra cómo crear un almacén de datos para un archivo de texto grande que contiene datos tabulares y, a continuación, leer y procesar los datos de un fragmento a la vez o de un archivo a la vez.

Leer y analizar archivos de imagen

En este ejemplo se muestra cómo crear un almacén de datos para una colección de imágenes, leer los archivos de imagen y buscar las imágenes con el matiz, la saturación y el brillo promedio máximos (HSV).

Lea y analice el archivo MAT con datos de clave-valor

En este ejemplo se muestra cómo crear un almacén de datos para pares de clave-valor en un archivo MAT que es la salida de.mapreduce A continuación, en el ejemplo se muestra cómo leer todos los datos del almacén y ordenarlos.

Leer y analizar archivo de secuenciaHadoop

Este ejemplo muestra cómo crear un almacén de datos para un archivo Sequence que contiene datos de clave-valor.

Trabajar con datos remotos

Trabaje con datos remotos en Storage BLOB o.Amazon S3™Microsoft®Azure®HDFS™

Configurar almacén de datos para el procesamiento en diferentes máquinas o clústeres

Configure un almacén de datos en su equipo que se pueda cargar y procesar en otro equipo o clúster.

Desarrollar almacén de datos personalizado

Cree un almacén de datos totalmente personalizado para sus información personalizada o propietaria.

Directrices de prueba para datastores personalizados

Después de implementar el almacén de datos personalizado, siga este procedimiento de prueba para calificar el almacén de datos personalizado.