少し方針を書いてみます。
まず電場と磁場の解の形を次のように仮定する。(＋Ｚ方向に進むとして)
Ｅ＝ E(x,y)*exp(ikz-iwt)
Ｂ＝ B(x,y)*exp(ikz-iwt)
ただし、Ｅ,Ｂ,E,B はそれぞれベクトルです。
次に、これらを Maxwell equations
∇・Ｅ＝０
∇・Ｂ＝０
∇×Ｅ＝－∂Ｂ/∂ｔ
∇×Ｂ＝1/c^2*∂Ｅ/∂ｔ
に代入し、それらを連立させて E,B のｚ成分を残す。
そうすると（確認してませんが）
(∂^2/∂x^2 + ∂^2/∂y^2 + (w^2/c^2-k^2))ψ＝０
となります。
ここで、ψは E または B のｚ成分です。
この後は、例えば長方形の導波管なら ψ(x,y)＝Ｘ(x)Ｙ(y) と変数分離すれば
一般解として
ψ(x,y)＝（A1cos(ax)+A2sin(ax)）*（B1cos(by)+B2sin(by)）
もちろん、a^2+b^2=w^2/c^2-k^2 です。
これからｘ、ｙ成分もでますね。
導波管のｘ方向の長さを L1 、ｙ方向の長さを L2 とすると
a=mπ/L1 , b=nπ/L2 (mおよびnは正整数)
などの条件が出てきます。
m,n は TE_mn モード等に対応しています。
あと細かいところはやってみてください。
ただし、文章は断言していますが
記憶をたどって今考えただけなので注意してください。
