自己回帰モデルに関して

質問

自己回帰モデルに関して

数学というより統計学に重みが大きい質問になってしまいますが、宜しくお願いいたします。
現在Yule-Walker方程式を理解しようとしているのですが、論文、文献を参照しても重要な（最も理解したい）部分の記載が簡略化されており困っております。
どなたかご教示いただけないでしょうか？

理解したい部分は下記の事項です。
Yule-Walker方程式は下記のようになります。（分かりずらくて申し訳ありません。）

|γ(1)| |γ(0) γ(-1) γ(-2) γ(-3) γ(-4)||Φ(1)|
|γ(2)| |γ(1) γ(0) γ(-1) γ(-2) γ(-3)||Φ(2)|
|γ(3)|=|γ(2) γ(1) γ(0) γ(-1) γ(-2)||Φ(3)|
|γ(4)| |γ(3) γ(2) γ(1) γ(0) γ(-1)||Φ(4)|
|γ(5)| |γ(4) γ(3) γ(2) γ(1) γ(0) ||Φ(5)|

　　　　↓

　α　 = βφ　・・・・・・(1)

ここでγ(i)は自己共分散となるのですが、私自身が理解できていない部分は
この自己共分散をどのように求めるかということです。

私の中の結論としては行列βは共分散行列と同じではないかと考えております。
どの文献にもβの行列名が提示されておりませんが、自己共分散からなる行列
なので共分散行列と考えました。
βが共分散行列とすれば、答えは簡単となり例えば下記のような数列が与えられていた場合、

１、２、３、４、５、６、７、８、９、１０

次数を３とすると、
＿　　　　　　　　　　　　＿
| |７　８　９||７　４　１| |
E| |４　５　６||８　５　２| |
| |１　２　３||９　６　３| |
￣　　　　　　　　　　　　￣

となりこれがβになるのではないかと考えております。
どなたかご存知ある方は、この考えが正しいのかご教示願いたいです。
もし間違えだとしたら正しく理解できるようご教示願えないでしょうか？

申し訳ありませんが、宜しくお願いいたします。

回答No.1

ramayana

ご質問の趣旨を次のように理解しました。誤解があったら申し訳ありません。

・・・,X(-2),X(-1),X(0),X(1),X(2),・・・

を自己回帰過程とします。すると、X(t)は、

X(t) = φ(1)X(t-1) + φ(2)X(t-2) + ・・・ + φ(p)X(t-p) + w(t)

と表すことができます。ここで、pは、自己回帰の次数、φ(1),φ(2),・・・,φ(p)は、未知パラメータ、w(t)は、撹乱項です。

行列Φ、α、βを次のように置きます（「,」は、数字を横に並べることを表し、「;」は、改行を表すことにします）。Φとαは、p行1列の列ベクトルで、βは、p行p列の正方行列です。

Φ = ( φ(1);γ(2);・・・;φ(p) )

α = ( γ(1);γ(2);・・・;γ(p) )

β = ( γ(0),γ(1),・・・,γ(p-1);γ(1),γ(0),・・・,γ(p-2) ;・・・;γ(p-1),γ(p-2),・・・,γ(0))

（γ(s)は、X(t)とX(t+s)の共分散。仮定により、tと無関係に定まります。βは、X(t),X(t+1),・・・,X(t+p-1)の共分散行列です。）

最終目標は、Φの推計値を計算することです。理論上

α = βΦ

となるので、もし、γ(0),γ(1),・・・,γ(p)の推計値が分かれば、αとβの推計値も分かるので、

Φ = invβ・α　（invβはβの逆行列）

として、Φの推計値を計算することができます。

そこで、「γ(s)（s=0,2,・・・,p）をどのように推計したらよいか」がご質問の趣旨と思います。

（推計方法）

次のような推計方法があります。

N個の観測値が得られたとして、それらをx(1),x(2),・・・,x(N)とします。これらは実数なので、上のXと区別して、小文字のxで表します。すると、γ(s)は、次のように推計されます。

γ(s)の推計値 = sum( y(j)y(j+s): j=1,2,・・・,N-s ) / N　（分子は、y(j)y(j+s）をj=1,2,・・・,N-sに渡って足し算したもの）

y(j) = x(j) - xbar　（xbarは、x(1),x(2),・・・,x(N)の単純平均）

（上の式で、N-sでなくNで割り算をしているのは、結果の安定性を狙ったものであり、誤植ではありません。）

詳しい解説が、次の文献に出ています。

G. E. P. Box and G. M. Jenkins (1976), "Time Series Anapysis: Forecasting and　Controp". Third Edition, Hopden Day, San Francisco, 1994.

この推計方法は、実用コンピュータソフトにも実装されています。例えば、アメリカの商務省が開発した季節調整プログラムX-12-ARIMAは、日本でも広く使われているものですが、公開されているソースコードから、この推計方法を使っていることが確認できます。

（計算例）

観測値が1,2,3,4,5,6,7,8,9,10で、自己回帰の次数が3とします（N=10、p=3）。すると、xbar=5.5なので、y(1)からy(10)は

-4.5, -3.5, -2.5, -1.5, -0.5, 0.5, 1.5, 2.5, 3.5, 4.5

となり、γ(0)からγ(3)の推計値は、

8.25, 5.775, 3.4, 1.225

となります。

ただ、この例の場合、観測値がだんだん大きくなるので、自己回帰過程からの観測値とみなすのは無理があります。こういう場合、普通は、階差をとって、

1, 1, 1, 1, 1, 1, 1, 1, 1

を自己回帰過程からの観測値とみなして推計します。