Main Content

MapReduce

Técnica de programación para analizar conjuntos de datos que no caben en la memoria

mapreduce es una técnica de programación adecuada para analizar conjuntos de datos de gran tamaño que, de lo contrario, no cabrían en la memoria de su equipo. Utilizando datastore para procesar los datos en pequeñas partes, la técnica consta de una fase de asignación, donde se da formato a los datos o se realiza un cálculo precursor, y una fase de reducción, donde se agregan todos los resultados provenientes de la fase de asignación. Para obtener más información, consulte Getting Started with MapReduce.

Para obtener información sobre cómo usar otros productos con mapreduce, consulte Speed Up and Deploy MapReduce Using Other Products.

Funciones

expandir todo

mapreduceProgramming technique for analyzing data sets that do not fit in memory
datastoreCreate datastore for large collections of data
addAdd single key-value pair to KeyValueStore
addmultiAdd multiple key-value pairs to KeyValueStore
hasnextDetermine if ValueIterator has one or more values available
getnextGet next value from ValueIterator
mapreducerDefine execution environment for mapreduce or tall arrays
gcmrGet current mapreducer configuration

Objetos

KeyValueStoreStore key-value pairs for use with mapreduce
ValueIteratorAn iterator over intermediate values for use with mapreduce

Temas

Solución de problemas

Debug MapReduce Algorithms

This example shows how to debug mapreduce algorithms in MATLAB®. Debugging enables you to follow the movement of data between the different phases of mapreduce execution and inspect the state of all intermediate variables.