Procesamiento de grandes datos
mapreduce
, en clústeres Spark® y Hadoop®Puede utilizar Parallel Computing Toolbox™ para distribuir arreglos grandes en paralelo entre varios workers de MATLAB®, de modo que pueda ejecutar aplicaciones de big data que utilicen la memoria combinada de su clúster. Usted opera en todo el arreglo como una sola entidad; sin embargo, los workers operan solo en su parte del arreglo y transfieren datos automáticamente entre ellos cuando es necesario. Parallel Computing Toolbox también le permite ejecutar cálculos de arreglo alta MATLAB y datastore
en paralelo, para que pueda analizar grandes conjuntos de datos que no caben en la memoria de su clúster. Puede utilizar MATLAB Parallel Server™_ para ejecutar cálculos de arreglo alta y datastore
en paralelo en clústeres Hadoop habilitados para Spark. Hacerlo reduce significativamente el tiempo de ejecución de cálculos de datos muy grandes.
Categorías
- Arreglos distribuidos
Analice grandes conjuntos de datos en paralelo utilizando arreglos distribuidos y ejecución simultánea
- Arreglos altos y mapreduce
Analice conjuntos de big data en paralelo utilizando arreglos altos y almacenes de datos de MATLAB omapreduce
en Spark y Hadoop clústeres y grupos paralelos