ANo.2です．タイプミスがあったので再回答します．
a,bは正の数とします。
I=∫_0^{π/2}{xsin(x)cos(x)/(a^2cos^2(x)+b^2sin^2(x)}dx
とおきます。
a=bのときは
I=(1/a^2)∫_0^{π/2}xsin(x)cos(x)/{cos^2(x)+sin^2(x)}dx
=(1/a^2)∫_0^{π/2}{xsin(2x)/2}dx
={1/(8a^2)}∫_0^π(2x)sin(2x)d(2x)
={1/(8a^2)}∫_0^πθsinθdθ
={1/(8a^2)}∫_0^πθ(-cosθ)'dθ
={1/(8a^2)}([θ(-cosθ)]_0^π-∫_0^πθ'(-cosθ)dθ)
={1/(8a^2)}(π+∫_0^πcosθdθ)
={1/(8a^2)}(π+[sinθ]_0^π)
=π/(8a^2)（a=b）（答）
となります。
以下でa≠bのときを考えます。
I=∫_0^{π/2}{x(1/2)sin(2x)/((a^2/2)(1+cos(2x))+(b^2/2)(1-cos(2x))}dx
=∫_0^{π/2}{xsin(2x)/(a^2(1+cos(2x))+b^2(1-cos(2x))}dx
=∫_0^{π/2}{xsin(2x)/(a^2+b^2+(a^2-b^2)cos(2x))}dx
=(1/4)∫_0^π{2xsin(2x)/(a^2+b^2+(a^2-b^2)cos(2x))}d(2x)
={1/4(a^2+b^2)}∫_0^π{θsinθ/(1+{(a^2-b^2)/(a^2+b^2)}cosθ)}dθ
ここで
k=(a^2-b^2)/(a^2+b^2)
とおくと、0<|a^2-b^2|<a^2+b^2より
0<|k|<1
である。
4(a^2+b^2)I=∫_0^π{θsinθ/(1+kcosθ)}dθ
において|kcosθ|≦|k|<1であるから，無限等比級数により
1/(1+kcosθ)=Σ_{n=1}^∞(-kcosθ)^{n-1}
よって、
4(a^2+b^2)I=∫_0^π{θsinθ/(1+kcosθ)}dθ
=∫_0^πθsinθΣ_{n=1}^∞(-kcosθ)^{n-1}dθ
=Σ_{n=1}^∞(-k)^{n-1}∫_0^πθsinθcos^{n-1}θdθ
ここで積分の部分は
∫_0^πθ(-cos^nθ/n)'dθ
=[θ(-cos^nθ/n)]_0^π-∫_0^πθ'(-cos^nθ/n)dθ
=π(-1)^{n-1}/n+(1/n)∫_0^πcos^nθdθ
=π(-1)^{n-1}/n+(1/n)(∫_0^{π/2}cos^nθdθ+∫_0^{π/2}cos^n(π/2+φ)dφ)
=π(-1)^{n-1}/n+(1/n)(∫_0^{π/2}cos^nθdθ+(-1)^n∫_0^{π/2}sin^nφdφ)
∴4(a^2+b^2)I
=πΣ_{n=1}^∞((-1)^{n-1}/n)(-k)^{n-1}
+Σ_{n=1}^∞{(-k)^{n-1}/n}(∫_0^{π/2}cos^nθdθ+(-1)^n∫_0^{π/2}sin^nφdφ)
最初の和はlog(1+x）のマクローリン展開
Σ_{n=1}^∞(-1)^{n-1}x^n/n=log(1+x) (-1<x≦1)
を使うと
πΣ_{n=1}^∞((-1)^{n-1}/n)(-k)^{n-1}=(-π/k)log(1-k)
となり，次の和は公式
(1)∫_0^{π/2}sin^nφdφ=∫_0^{π/2}cos^nθdθ={(n-1)!!/n!!}π/2(n：偶数),(n-1)!!/n!!(n：奇数)
を使うと，奇数項はなくなり
Σ_{n=1}^∞{(-k)^{2n-1}/(2n)}2(2n-1)!!/(2n)!!}π/2
=-(π/k)Σ_{n=1}^∞{(2n-1)!!/(2n)!!}{k^{2n}/(2n)}
であるから，
4(a^2+b^2)I=∫_0^π{θsinθ/(1+kcosθ)}dθ
=(-π/k)log(1-k)-(π/k)Σ_{n=1}^∞{(2n-1)!!/(2n)!!}{k^{2n}/(2n)}
さらにここで公式
(2)Σ_{n=1}^∞{(2n-1)!!/(2n)!!}{k^{2n}/(2n)}=-log((1/2)(1+√(1-k^2))
を使うと，
4(a^2+b^2)I
=(-π/k)log(1-k)-(1/k)log((1/2)(1+√(1-k^2))
=(π/k)log[{1+√{(1-k)(1+k)}/{2(1-k)}]
4I=(π/(a^2-b^2))log[{1+√(2b^2・2a^2)/(a^2+b^2)}/{2・2b^2/(a^2+b^2)}]
=(π/(a^2-b^2))log[{1+2ab/(a^2+b^2)}/{(2b)^2/(a^2+b^2)}]
=(π/(a^2-b^2))log[{(a+b)^2/(a^2+b^2)}/{(2b)^2/(a^2+b^2)}]
=(π/(a^2-b^2))log[{(a+b)/(2b)}^2]
=(2π/(a^2-b^2))log{(a+b)/(2b)}
よって
I=[π/{2(a^2-b^2)}]log{(a+b)/(2b)} (a≠b)（答）
この式でb/a-1=hとおく。b→a⇔h→0とすると，
I=[π/{2a^2((b/a)^2-1)}]log{2(b/a)/(1+b/a)}
=[π/{2a^2(1+h)^2-1}]log{2(1+h)/(2+h)}
=[π/{2a^2(2h+h^2)}]log{(1+h)/(1+h/2)}
={π/(2a^2)(2+h)}{log(1+h)-log(1+h/2)}/h
={π/(2a^2)(2+h)}{log(1+h)/h-(1/2)log(1+h/2)/(h/2)}
→{π/(4a^2)}(1-1/2)
=π/(8a^2)
となり、a=bのときが再現される。
まとめると，
『a>0,b>0のとき
∫_0^{π/2}{xsin(x)cos(x)/(a^2cos^2(x)+b^2sin^2(x)}dx=
=π/(8a^2)（a=bのとき）
=[π/{2(a^2-b^2)}]log{(a+b)/(2b)} (a≠bのとき)』
※(1)、(2)は岩波数学公式Iページ243や同IIページ59にあります．
