David, Ja, MapReduce soll auf einer großen Menge an Daten arbeiten. Und die Idee ist, dass im Allgemeinen die Karte und die reduzierten Funktionen nicht darauf achten sollten, wie viele Mapper oder wie viele Reduzierstücke es gibt, das ist nur Optimierung. Wenn Sie sorgfältig über den Algorithmus nachdenken, den ich gepostet habe, können Sie sehen, dass es nicht wichtig ist, welcher Mapper bekommt, welche Teile der Daten. Jeder Eingabedatensatz steht jedem zur Verfügung, um den Betrieb zu reduzieren. Ndash Joe K Sep 18 12 um 22:30 Im besten meiner Verständnis gleitenden Durchschnitt ist nicht schön Karten zu MapReduce Paradigma, da seine Berechnung im Wesentlichen Schiebefenster über sortierte Daten, während MR Verarbeitung von nicht geschnittenen Bereichen von sortierten Daten ist. Lösung, die ich sehe, ist wie folgt: a) Um benutzerdefinierte Partitionierer zu implementieren, um zwei verschiedene Partitionen in zwei Läufen machen zu können. In jedem Durchlauf werden Ihre Reduzierstücke unterschiedliche Datenbereiche berechnen und gleitenden Durchschnitt berechnen, wo es angemessen ist, zu veranschaulichen: Im ersten Lauf werden Daten für Reduzierstücke sein: R1: Q1, Q2, Q3, Q4 R2: Q5, Q6, Q7, Q8 . Hier wirst du gleitender Durchschnitt für einige Qs cacluate. Im nächsten Lauf sollten deine Reduzierer Daten wie: R1: Q1 bekommen. Q6 R2: Q6 Q10 R3: Q10..Q14 Und caclulate den Rest der gleitenden Durchschnitte. Dann müssen Sie die Ergebnisse zusammenfassen. Idee der benutzerdefinierten Partitionierer, dass es zwei Betriebsarten haben wird - jedes Mal in gleiche Bereiche, aber mit einigen Verschiebung. In einem Pseudocode sieht es so aus. Partition (keySHIFT) (MAXKEYnumOfPartitions) wobei: SHIFT aus der Konfiguration entnommen wird. MAXKEY Maximalwert des Schlüssels. Ich gehe aus der Einfachheit, dass sie mit Null beginnen. RecordReader, IMHO ist keine Lösung, da es auf bestimmte Split begrenzt ist und kann nicht über Splits Grenze gleiten. Eine andere Lösung wäre, um die benutzerdefinierte Logik der Aufteilung der Eingangsdaten (es ist Teil der InputFormat) zu implementieren. Es kann getan werden, um 2 verschiedene Dias, ähnlich wie Partitionierung zu tun. Antwortete am 17. September 12 um 8: 59Verfahren der gleitenden Mittelwerte Kommentare sind aus Angenommen, es gibt Zeiten, die mit und die entsprechenden Werte der Variablen gekennzeichnet sind. Zuerst müssen wir die Zeit der gleitenden Durchschnitte entscheiden. Für kurze Zeitreihen verwenden wir Perioden von 3 oder 4 Werten. Für lange Zeitreihen kann die Periode 7, 10 oder mehr sein. Für vierteljährliche Zeitreihen berechnen wir immer durchschnittlich 4-Quartale. In monatlichen Zeitreihen werden 12-monatlich bewegte Durchschnitte berechnet. Angenommen, die vorgegebene Zeitreihe ist in Jahren und wir haben uns entschlossen, den durchschnittlichen 3-Jahres-Durchschnitt zu berechnen. Die bewegten Durchschnitte werden wie folgt berechnet: Bei der Berechnung eines laufenden gleitenden Durchschnitts ist die Platzierung des Mittelwerts in der mittleren Zeitspanne sinnvoll. Im vorigen Beispiel haben wir den Durchschnitt der ersten 3 Zeiträume berechnet und als nächstes auf die Periode 3 gelegt Hätte den Mittelpunkt in der Mitte des Zeitintervalls von drei Perioden platzieren können, also neben Periode 2. Das funktioniert gut mit seltsamen Zeiträumen, aber nicht so gut für gleichzeitige Zeiträume. Also, wo würden wir den ersten gleitenden Durchschnitt platzieren, wenn M 4 Technisch, würde der Moving Average bei t 2,5, 3,5 fallen. Um dieses Problem zu vermeiden, glätten wir die MAs mit M 2. Damit glätten wir die geglätteten Werte. Wenn wir eine gerade Anzahl von Ausdrücken beurteilen, müssen wir die geglätteten Werte glätten. Die folgende Tabelle zeigt die Ergebnisse mit M 4.5.2 Glättungszeit Serie Glättung ist In der Regel getan, um uns besser zu helfen, Muster zu sehen, Trends zum Beispiel in Zeitreihen. Im Allgemeinen glatt die unregelmäßige Rauheit, um ein klareres Signal zu sehen. Für saisonale Daten können wir die Saisonalität ausgleichen, damit wir den Trend identifizieren können. Glättung gibt uns nicht ein Modell, aber es kann ein guter erster Schritt bei der Beschreibung verschiedener Komponenten der Serie sein. Der Begriff Filter wird manchmal verwendet, um ein Glättungsverfahren zu beschreiben. Wenn zum Beispiel der geglättete Wert für eine bestimmte Zeit als eine lineare Kombination von Beobachtungen für Umgebungszeiten berechnet wird, könnte man sagen, dass wir ein lineares Filter auf die Daten angewendet haben (nicht dasselbe wie das Ergebnis, ist eine gerade Linie, durch der Weg). Die traditionelle Verwendung des Begriffs Gleitender Durchschnitt ist, dass zu jedem Zeitpunkt die (möglicherweise gewichteten) Mittelwerte der beobachteten Werte, die eine bestimmte Zeit umgeben, ermittelt werden. Zum Beispiel zum Zeitpunkt t. Ein zentrierter gleitender Durchschnitt der Länge 3 mit gleichen Gewichten wäre der Mittelwert der Werte zu Zeiten t -1. T Und t1. Um Saisonalität von einer Serie wegzunehmen, so können wir besser sehen Trend, würden wir einen gleitenden Durchschnitt mit einer Länge Saisonspanne verwenden. So wurde in der geglätteten Serie jeder geglättete Wert über alle Jahreszeiten gemittelt. Dies geschieht durch einen einseitigen gleitenden Durchschnitt, in dem Sie alle Werte für die vorherigen Jahre im Wert von Daten oder einen zentrierten gleitenden Durchschnitt, in dem Sie Werte sowohl vor als auch nach der aktuellen Zeit verwenden, durchschnittlich sind. Für vierteljährliche Daten können wir beispielsweise einen geglätteten Wert für die Zeit t als (x t x t-1 x t-2 x t-3) 4, den Mittelwert dieser Zeit und die vorherigen 3 Quartale definieren. Im R-Code handelt es sich um einen einseitigen Filter. Ein zentrierter gleitender Durchschnitt schafft ein bisschen Schwierigkeit, wenn wir in der Saisonspanne eine gerade Anzahl von Zeiträumen haben (wie wir es normalerweise tun). Um die Saisonalität in vierteljährlichen Daten zu verteilen. Um den Trend zu identifizieren, ist die übliche Konvention, den gleitenden Durchschnitt zu verwenden, der zum Zeitpunkt der Zeit geglättet wird. Um die Saisonalität in monatlichen Daten zu verkleinern. Um den Trend zu identifizieren, ist die übliche Konvention, den gleitenden Durchschnitt zu verwenden, der zum Zeitpunkt t geglättet wird. Das heißt, wir wenden das Gewicht 124 auf Werte t6 und t6 und Gewicht 112 auf alle Werte zu allen Zeiten zwischen t5 und t5 an. In der R-Filter-Befehl, gut spezifizieren Sie einen zweiseitigen Filter, wenn wir Werte verwenden wollen, die vor und nach der Zeit für die Glättung kommen. Beachten Sie, dass auf der Seite 71 unseres Buches die Autoren gleiche Gewichte über einen zentrierten saisonalen gleitenden Durchschnitt anwenden. Das ist auch okay Zum Beispiel könnte ein vierteljährlich glatter zum Zeitpunkt t gefragt werden. Frak x frac x frac xt frac x frac x Ein monatlich glatter kann ein Gewicht von 113 auf alle Werte aus den Zeiten t-6 bis t6 anwenden. Der Code, den die Autoren auf Seite 72 verwenden, nutzt einen rep-Befehl, der einen Wert wiederholt eine gewisse Anzahl von Malen wiederholt. Sie verwenden nicht den Filterparameter im Filterbefehl. Beispiel 1 Vierteljährliche Bierproduktion in Australien In Lektion 1 und Lektion 4 sahen wir eine Reihe von vierteljährlichen Bierproduktionen in Australien. Der folgende R-Code erzeugt eine geglättete Reihe, die uns das Trendmuster sehen lässt, und zeichnet dieses Trendmuster auf demselben Graphen wie die Zeitreihe auf. Der zweite Befehl erzeugt und speichert die geglättete Serie im Objekt trendpattern. Beachten Sie, dass innerhalb des Filterbefehls der Parameter namens filter die Koeffizienten für unsere Glättung und die Seiten 2 ergibt, dass eine zentrierte glatte berechnet wird. (Beerprod. dat) trendpattern filter (beerprod, filter c (18, 14, 14, 14, 18), sides2) plot (beerprod, Typ b, Hauptverkehrsdurchschnitt jährlicher Trend) Linien (Trendmuster) Heres das Ergebnis: Wir Könnte das Trendmuster von den Datenwerten subtrahieren, um einen besseren Blick auf die Saisonalität zu erhalten. Heres, wie das geschehen würde: saisonale beerprod - trendpattern plot (saisonale, typ b, wichtig saisonale muster für bierproduktion) Das Ergebnis folgt: Eine weitere Möglichkeit zur Glättung von Serien, um den Trend zu sehen, ist der einseitige Filter Trendpattern2 Filter (Beerprod, Filter c (14, 14, 14, 14), Seiten1) Damit ist der geglättete Wert der Durchschnitt des vergangenen Jahres. Beispiel 2 U. S. Monatliche Arbeitslosigkeit In der Hausaufgabe für Woche 4 sahen Sie eine monatliche Reihe von U. S. Arbeitslosigkeit für 1948-1978. Heres eine Glättung getan, um den Trend zu betrachten. Trendunemploy Filter (arbeitslos, filterc (124,112,112,112,112,112,112,112,124), side2) trendunemploy ts (trendunemploy, start c (1948,1), freq 12) plot (trendunemploy, mainTrend in U. S. Arbeitslosigkeit, 1948-1978, xlab Jahr) Nur der geglättete Trend ist aufgetragen. Der zweite Befehl identifiziert die Kalenderzeitmerkmale der Serie. Das macht die Handlung eine sinnvollere Achse. Die Handlung folgt. Für nicht-saisonale Serien, Sie arent gebunden, um über eine bestimmte Spanne zu glätten. Für die Glättung sollten Sie mit gleitenden Durchschnitten verschiedener Spannen experimentieren. Diese Zeitspannen könnten relativ kurz sein. Das Ziel ist es, die rauen Kanten zu klopfen, um zu sehen, welcher Trend oder Muster dort sein könnte. Andere Glättungsmethoden (Abschnitt 2.4) Abschnitt 2.4 beschreibt mehrere anspruchsvolle und nützliche Alternativen zur gleitenden durchschnittlichen Glättung. Die Details können skizzenhaft erscheinen, aber das ist okay, weil wir nicht in vielen Details für diese Methoden verstoßen wollen. Von den alternativen Methoden, die in Abschnitt 2.4 beschrieben sind, kann eine niedrigere (lokal gewichtete Regression) am weitesten verbreitet sein. Beispiel 2 Fortsetzung Die folgende Kurve ist geglättet Trendlinie für die U. S. Unemployment-Serie, die mit einem lowess glatter, in dem eine erhebliche Menge (23) trug zu jeder geglätteten Schätzung. Beachten Sie, dass dies die Serie aggressiver geglättet hat als der gleitende Durchschnitt. Die Arbeitsgebiete waren arbeitslose ts (Arbeitslosigkeit, Start c (1948,1), freq12) Plot (lowess (arbeitslos, f 23), Haupt-Lowess-Glättung des US-Arbeitslosigkeits-Tendenz) Einzelne Exponential-Glättung Die grundlegende Prognosegleichung für eine einzelne exponentielle Glättung ist oft Als Hut alpha xt (1-alpha) Hut t Text Wir prognostizieren den Wert von x zum Zeitpunkt t1 eine gewichtete Kombination des beobachteten Wertes zum Zeitpunkt t und dem prognostizierten Wert zum Zeitpunkt t. Obwohl die Methode als Glättungsmethode bezeichnet wird, wird sie hauptsächlich für die kurzfristige Vorhersage verwendet. Der Wert wird als Glättungskonstante bezeichnet. Aus irgendeinem Grund ist 0,2 eine beliebte Standardauswahl von Programmen. Das ist ein Gewicht von 0,2 auf die jüngste Beobachtung und ein Gewicht von 1 .2 .8 auf die jüngste Prognose. Bei einem relativ kleinen Wert wird die Glättung relativ umfangreicher sein. Bei einem relativ großen Wert ist die Glättung relativ weniger umfangreich, da mehr Gewicht auf den beobachteten Wert gesetzt wird. Dies ist eine einfache einstufige Vorhersagemethode, die auf den ersten Blick kein Modell für die Daten zu verlangen scheint. In der Tat ist diese Methode gleichbedeutend mit der Verwendung eines ARIMA (0,1,1) Modells ohne Konstante. Das optimale Verfahren besteht darin, ein ARIMA (0,1,1) Modell an den beobachteten Datensatz anzupassen und die Ergebnisse zu verwenden, um den Wert von zu bestimmen. Dies ist optimal im Sinne der Erstellung der besten für die bereits beobachteten Daten. Obwohl das Ziel Glättung und ein Schritt voraus Prognose ist, bringt die Äquivalenz zum ARIMA (0,1,1) Modell einen guten Punkt. Wir sollten nicht blind auf exponentielle Glättung anwenden, weil der zugrunde liegende Prozess nicht gut durch eine ARIMA (0,1,1) modelliert werden kann. ARIMA (0,1,1) und exponentielle Glättungsäquivalenz Betrachten wir eine ARIMA (0,1,1) mit Mittelwert 0 für die ersten Differenzen xt - x t-1: beginnen Hasverstärker xt theta1 wt amp amp xt theta1 (xt - hat t) amp amp (1 theta1) xt - theta1hat neigen dazu. Wenn wir (1 1) und damit - (1) 1, so sehen wir die Äquivalenz der Gleichung (1) oben. Warum die Methode aufgerufen wird Exponentielle Glättung Dies ergibt die folgenden: Beginn Hut Amp-Amp Alpha xt (1-Alpha) Alpha x (1-Alpha) Hut Amp-Alpha xt Alpha (1-Alpha) x (1-Alpha) 2hat Ende Weiter Auf diese Weise durch sukzessives Ersetzen des prognostizierten Wertes auf der rechten Seite der Gleichung. Dies führt zu: Hut alpha xt alpha (1-alpha) x alpha (1-alpha) 2 x Punkte alpha (1-alpha) jx Punkte alpha (1-alpha) x1 Text Gleichung 2 zeigt, dass der prognostizierte Wert ein gewichteter Durchschnitt ist Von allen vergangenen Werten der Serie, mit exponentiell wechselnden Gewichten, wie wir in die Serie zurückkehren. Optimale Exponentialglättung in R Grundsätzlich passen wir einfach eine ARIMA (0,1,1) an die Daten und bestimmen den Koeffizienten. Wir können die Passform des Glattes untersuchen, indem wir die vorhergesagten Werte mit der aktuellen Serie vergleichen. Exponentielle Glättung neigt dazu, mehr als ein Prognosewerkzeug als ein echtes glatter verwendet zu werden, also sahen, um zu sehen, ob wir eine gute Passform haben. Beispiel 3 N 100 monatliche Beobachtungen des Logarithmus eines Ölpreisindex in den Vereinigten Staaten. Die Datenreihe ist: Ein ARIMA (0,1,1) passen in R gab einen MA (1) Koeffizienten 0,3877. Also (1 1) 1.3877 und 1-0.3877. Die exponentielle Glättungsvorhersagegleichung ist Hut 1.3877xt - 0.3877hat t Zur Zeit 100 ist der beobachtete Wert der Reihe x 100 0.86601. Der vorhergesagte Wert für die Serie zu diesem Zeitpunkt ist also die Prognose für die Zeit 101 ist Hut 1.3877x - 0.3877hat 1.3877 (0.86601) -0.3877 (0.856789) 0.8696 Im Folgenden ist, wie gut die glatter passt die Serie. Es ist eine gute Passform. Das ist ein gutes Zeichen für die Vorhersage, der Hauptzweck für diese glattere. Hier werden die Befehle verwendet, um die Ausgabe für dieses Beispiel zu generieren: Ölindex-Scan (oildata. dat) Plot (Ölindex, Typ b, Hauptprotokoll der Ölindex-Serie) expsmoothfit arima (Ölindex, Ordnung c (0,1,1)) expsmoothfit Um zu sehen, dass die Arima-Ergebnisse die Ölvorhersage vorhergesagt haben (extrozessive Residuale prognostizierte Werte) (Ölindex, Typb, Hauptspiegelung des Log of Oil Index) Zeilen (Vorhersagen) 1.3877oilindex100-0.3877predicteds100 Prognose für die Zeit 101 Doppelte Exponentialglättung Doppelte exponentielle Glättung könnte bei theres verwendet werden Trend (entweder Langzeit oder kurzer Lauf), aber keine Saisonalität. Im Wesentlichen schafft die Methode eine Prognose durch die Kombination von exponentiell geglätteten Schätzungen des Trends (Steigung einer Geraden) und der Ebene (grundsätzlich der Abzweigung einer Geraden). Zwei verschiedene Gewichte oder Glättungsparameter werden verwendet, um diese beiden Komponenten zu jeder Zeit zu aktualisieren. Der geglättete Pegel entspricht mehr oder weniger einer einfachen exponentiellen Glättung der Datenwerte und der geglättete Trend ist mehr oder weniger gleichbedeutend mit einer einfachen exponentiellen Glättung der ersten Differenzen. Die Vorgehensweise entspricht der Montage eines ARIMA (0,2,2) Modells, ohne Konstante kann es mit einer ARIMA (0,2,2) Passung durchgeführt werden. (1-B) 2 xt (1 & ndash; 1B theta 2 B 2) Gew. Navigation
No comments:
Post a Comment