David, Sí, MapReduce está diseñado para operar en una gran cantidad de datos. Y la idea es que en general, el mapa y las funciones de reducción no deberían cuidar cuántos mapeadores o cuántos reductores hay, esa es sólo la optimización. Si piensas cuidadosamente sobre el algoritmo que publiqué, puedes ver que no importa qué asignador obtiene qué partes de los datos. Cada registro de entrada estará disponible para cada operación de reducción que lo necesite. Ndash Joe K Sep 18 12 at 22:30 En el mejor de mi entendimiento el promedio móvil no está bien mapas al paradigma de MapReduce ya que su cálculo es esencialmente la ventana deslizante sobre datos ordenados, mientras que MR es el procesamiento de los rangos no intersectados de los datos ordenados. Solución que veo es como sigue: a) Para implementar particionador personalizado para poder hacer dos particiones diferentes en dos ejecuciones. En cada ejecución, los reductores obtendrán diferentes rangos de datos y calcularán el promedio móvil cuando sea apropiado. Voy a tratar de ilustrar: En la primera ejecución, los datos de los reductores deberían ser: R1: Q1, Q2, Q3, Q4 R2: Q5, Q6, Q7, Q8 . Aquí usted cacluate el promedio móvil para algunos Qs. En la próxima ejecución, los reductores deberían obtener datos como: R1: Q1. Q6 R2: Q6. Q10 R3: Q10..Q14 Y caclular el resto de promedios móviles. A continuación, tendrá que agregar los resultados. Idea de particionista personalizado que tendrá dos modos de funcionamiento - cada vez que se divide en rangos iguales, pero con algún cambio. En un pseudocódigo se verá así. Partición (keySHIFT) / (MAXKEY / numOfPartitions) donde: SHIFT se tomará de la configuración. MAXKEY valor máximo de la clave. Supongo que por simplicidad empiezan con cero. RecordReader, IMHO no es una solución ya que se limita a la división específica y no se puede deslizar sobre el límite de divisiones. Otra solución sería implementar la lógica personalizada de dividir datos de entrada (es parte del InputFormat). Se puede hacer para hacer 2 diapositivas diferentes, similar a la partición. Respondió Sep 17 12 at 8: 594 punto de los promedios móviles y centrado los promedios móviles Mi cerebro es realmente el fracaso de mí hoy - oh querida. 001ausure: Estoy haciendo un documento de práctica de simulación de la Unidad 7 y hay una pregunta que me pide que calcule la tendencia de ventas durante los últimos 3 años utilizando promedios móviles. Me dan 3 años de valor de las cifras de ventas, cada división en los 4 trimestres. Mi libro de estudio sólo detalla los promedios móviles de 3 puntos, pero afortunadamente ya he estudiado 4 promedios móviles puntuales a nivel tecnológico, sólo quiero aclarar que lo que estoy haciendo es correcto. La plantilla que se me da muestra las cifras de ventas en una columna, luego una columna para media móvil de 4 periodos y una columna final para media móvil centrada. Así que lo que estoy haciendo es tomar el total del año 1 (todos los 4 trimestres) y dividir por 4 - este promedio va entre 1 y 2 Q3, entonces continúo haciendo este cálculo, pero se mueve hacia abajo de esta columna, es decir, el siguiente cálculo es el año 1 Q1, Q2 y Q3 más yr 2 Q1 dividido por 4 y esto va entre yr 1 Q3 y Q4, etc. Luego en la columna de media móvil centrada, I total los 2 promedios y dividir por 2 y poner la cifra contra yr 1 Q3 y Continúe en la columna así. ¿Esto suena justo cuando se calcula un promedio móvil en ejecución, colocando el promedio en el período de tiempo medio tiene sentido En el ejemplo anterior se calculó el promedio de los primeros 3 períodos de tiempo y lo colocó al lado del período 3. Podríamos haber colocado el promedio en el Medio del intervalo de tiempo de tres períodos, es decir, al lado del período 2. Esto funciona bien con períodos de tiempo impares, pero no tan bueno para incluso períodos de tiempo. Entonces, ¿dónde colocaríamos el primer promedio móvil cuando M 4 Técnicamente, el promedio móvil caería en t 2,5, 3,5. Para evitar este problema, suavizar las MA con M 2. Así, suavizar los valores suavizados Si la media de un número par de términos, tenemos que suavizar los valores suavizados La siguiente tabla muestra los resultados utilizando M 4.Para simplificar mi pregunta, permite Decir que tengo una tabla de fechas trimestrales y números de ventas por seguridad. Monthenddate, ID, Ventas Necesito calcular 4 meses de media móvil de ventas por ID. He intentado hacer lo siguiente: El primer paso para crear un índice de fechas funcionó bien, pero la parte CALCULATE MOVING AVERAGE me da un error. Un nombre de objeto o columna falta o está vacío. Si extraigo el MAX (monthenddate) de la línea SELECT se ejecuta sin error, pero me da un resultado de tabla vacía. Tal vez mi enfoque es fundamentalmente defectuoso. Gracias de antemano por cualquier ayuda. También intentó usar una subconsulta: FROM TempDateIndex l WHERE r. dateidx4 GROUP BY ID Msg 156, Nivel 15, Estado 1, Línea 3 Sintaxis incorrecta cerca de la palabra clave SELECT. Msg 102, Nivel 15, Estado 1, Línea 6 Sintaxis incorrecta cerca) .6.2 Promedio móvil 40 elecsales, orden 5 41 En la segunda columna de esta tabla, se muestra un promedio móvil de orden 5, proporcionando una estimación de la tendencia - ciclo. El primer valor en esta columna es el promedio de las cinco primeras observaciones (1989-1993), el segundo valor en la columna 5-MA es el promedio de los valores 1990-1994 y así sucesivamente. Cada valor en la columna 5-MA es el promedio de las observaciones en el período de cinco años centrado en el año correspondiente. No hay valores para los dos primeros años o los últimos dos años porque no tenemos dos observaciones a cada lado. En la fórmula anterior, la columna 5-MA contiene los valores de hat con k2. Para ver cómo se ve la estimación de tendencia-ciclo, lo trazamos junto con los datos originales en la Figura 6.7. Parcela 40 elecsales, principal quotResidential ventas de electricidad, ylab quotGWhquot. Observe cómo la tendencia (en rojo) es más suave que los datos originales y captura el movimiento principal de la serie temporal sin todas las fluctuaciones menores. El método del promedio móvil no permite estimaciones de T donde t está cerca de los extremos de la serie, por lo tanto la línea roja no se extiende a los bordes de la gráfica en cualquier lado. Posteriormente utilizaremos métodos más sofisticados de estimación de tendencia-ciclo que permiten estimaciones cerca de los puntos finales. El orden de la media móvil determina la suavidad de la estimación de tendencia-ciclo. En general, una orden más grande significa una curva más lisa. El siguiente gráfico muestra el efecto de cambiar el orden de la media móvil para los datos de ventas de electricidad residencial. Esto es así que son simétricos: en una media móvil de orden m2k1, hay k observaciones anteriores, k observaciones posteriores y la observación media Que se promedian. Pero si m era igual, ya no sería simétrico. Promedios móviles de promedios móviles Es posible aplicar una media móvil a una media móvil. Una de las razones para hacer esto es hacer una media móvil de orden uniforme simétrica. Por ejemplo, podríamos tomar una media móvil de orden 4, y luego aplicar otra media móvil de orden 2 a los resultados. En la Tabla 6.2, esto se ha hecho para los primeros años de los datos trimestrales australianos sobre la producción de cerveza. Beer2 lt - window 40 ausbeer, comienzo 1992 41 ma4 ltm 40 beer2, order 4. center FALSO 41 ma2x4 ltm 40 cerveza2, orden 4. center TRUE 41 La notación 2times4-MA en la última columna significa un 4-MA Seguido por un 2-MA. Los valores de la última columna se obtienen tomando una media móvil de orden 2 de los valores de la columna anterior. Por ejemplo, los dos primeros valores en la columna 4-MA son 451,2 (443410420532) / 4 y 448,8 (410420532433) / 4. El primer valor en la columna 2times4-MA es el promedio de estos dos: 450.0 (451.2448.8) / 2. Cuando un 2-MA sigue una media móvil de orden par (como 4), se llama una media móvil centrada de orden 4. Esto se debe a que los resultados son ahora simétricos. Para ver que este es el caso, podemos escribir el 2times4-MA de la siguiente manera: begin hat amp frac Bigfrac (y y y y) frac (y y y y) Big frac fray frac14y frac14y frac14y frac18y. Final Es ahora un promedio ponderado de observaciones, pero es simétrico. También son posibles otras combinaciones de promedios móviles. Por ejemplo, a menudo se utiliza una MA 3 x 3 y consiste en una media móvil de orden 3 seguida por otra media móvil de orden 3. En general, un orden par MA debe ir seguido de un orden par MA para hacerlo simétrico. Similarmente, un orden impar MA debe ser seguido por un orden impar MA. Estimación del ciclo de tendencias con datos estacionales El uso más común de promedios móviles centrados consiste en estimar el ciclo de tendencias a partir de datos estacionales. Considere el caso 2 x 4-MA: fractura de sombrero frac14y frac14y frac14y frac18y. Cuando se aplica a los datos trimestrales, cada trimestre del año se le da el mismo peso como el primer y último términos se aplican al mismo trimestre en años consecutivos. En consecuencia, se promediará la variación estacional y los valores resultantes del sombrero t tendrán poca o ninguna variación estacional restante. Se obtendría un efecto similar usando una 2-8 MA o una 2-12 MA. En general, una m-MA de 2 veces es equivalente a una media móvil ponderada de orden m1 con todas las observaciones tomando peso 1 / m excepto para el primer y último término que toman pesos 1 / (2m). Por lo tanto, si el período estacional es uniforme y de orden m, utilice una m-MA de 2 veces para estimar el ciclo de tendencia. Si el período estacional es impar y de orden m, use un m-MA para estimar el ciclo de tendencias. En particular, se puede usar un 2-12-MA para estimar el ciclo de tendencias de los datos mensuales y un 7-MA se puede utilizar para estimar el ciclo de tendencias de los datos diarios. Otras opciones para el orden de la MA por lo general resultarán en estimaciones de tendencia-ciclo que están contaminadas por la estacionalidad en los datos. Ejemplo 6.2 Fabricación de equipos eléctricos La Figura 6.9 muestra una aplicación de 2 x 12 mA aplicada al índice de pedidos de equipos eléctricos. Obsérvese que la línea lisa no muestra estacionalidad, es casi la misma que la tendencia-ciclo que se muestra en la Figura 6.2 que se estimó usando un método mucho más sofisticado que los promedios móviles. Cualquier otra opción para el orden de la media móvil (excepto 24, 36, etc.) habría resultado en una línea suave que muestra algunas fluctuaciones estacionales. Plot 40 elecequip, ylab quotNuevo índice de órdenes. Col quotgrayquot, main Quot 41, 40 ma 40 elecequip, order 12 41. col quotredquot 41 Promedios móviles ponderados Las combinaciones de promedios móviles resultan en promedios móviles ponderados. Por ejemplo, el 2x4-MA discutido anteriormente es equivalente a un 5-MA ponderado con pesos dados por frac, frac, frac, frac, frac. En general, una m-MA ponderada se puede escribir como hat t sum k aj y, donde k (m-1) / 2 y los pesos están dados por a, dots, ak. Es importante que los pesos se suman a uno y que sean simétricos de modo que aj a. El m-MA simple es un caso especial donde todos los pesos son iguales a 1 / m. Una ventaja importante de las medias móviles ponderadas es que producen una estimación más suave del ciclo de tendencias. En lugar de las observaciones que entran y salen del cálculo a peso completo, sus pesos aumentan lentamente y luego disminuyen lentamente, dando como resultado una curva más lisa. Algunos conjuntos específicos de pesos son ampliamente utilizados. Algunos de ellos se dan en la Tabla 6.3.
No comments:
Post a Comment