Esta página se ha traducido mediante traducción automática. Haga clic aquí para ver la última versión en inglés.

Arreglos altos y `mapreduce`

Analice conjuntos de big data en paralelo utilizando arreglos altos y almacenes de datos de MATLAB^® o mapreduce en Spark™ y Hadoop^® clústeres y grupos paralelos

Puede utilizar Parallel Computing Toolbox™ para evaluar expresiones de arreglo alta en paralelo utilizando un grupo paralelo en su escritorio. El uso de arreglos altos le permite ejecutar aplicaciones de big data que no caben en la memoria de su máquina. También puede utilizar Parallel Computing Toolbox para ampliar el procesamiento de matrices altas conectándose a un grupo paralelo que se ejecuta en un clúster MATLAB Parallel Server™_. Alternativamente, puede utilizar un clúster Hadoop habilitado para Spark que ejecute MATLAB Parallel Server. Para obtener más información, consulte Big Data Workflow Using Tall Arrays and Datastores.

Funciones

expandir todo

Funciones clave

`tall`	Create tall array
`datastore`	Create datastore for large collections of data
`mapreduce`	Programming technique for analyzing data sets that do not fit in memory
`mapreducer`	Define parallel execution environment for mapreduce and tall arrays
`partition`	Partition a datastore
`numpartitions`	Number of datastore partitions

Clases

expandir todo

Clases clave

`parallel.Pool`	Parallel pool of workers
`parallel.cluster.Hadoop`	Hadoop cluster for mapreducer, mapreduce and tall arrays
`parallel.cluster.Spark`	Spark cluster for mapreducer, mapreduce and tall arrays (Desde R2022b)

Ejemplos y procedimientos

Big Data Workflow Using Tall Arrays and Datastores
Learn about typical workflows using tall arrays to analyze big data sets.
Use Tall Arrays on a Parallel Pool
Discover tall arrays in Parallel Computing Toolbox and MATLAB Parallel Server.
Process Big Data in the Cloud
This example shows how to access a large data set in the cloud and process it in a cloud cluster using MATLAB® capabilities for big data.
Use Parallel Computing to Optimize Big Data Set for Analysis
This example shows how to optimize data preprocessing for analysis using parallel computing. (Desde R2024a)
Use Tall Arrays on a Spark Cluster
Create and use tall tables on Spark clusters without changing your MATLAB code.
Run mapreduce on a Parallel Pool
Try mapreduce for advanced analysis of big data using Parallel Computing Toolbox.
Run mapreduce on a Hadoop Cluster
Learn about mapreduce for advanced big data analysis on a Hadoop cluster.
Partition a Datastore in Parallel
Use partition to split your datastore into smaller parts.