f(x,y)＝x^2＋axy^2＋3bxy
fx(x,y)=2x+ay^2+3by
fy(x,y)=2axy+3by
停留点
fx(x,y)=fy(x,y)=0より
(x,y)=(0,0),(0,-3b/a),((9/8)b^2/a,-(3/2)b/a)
fxx(x,y)=2,fxy(x,y)=2ay+3b, fyy(x,y)=2ax
|H(x,y)|=fxy(x,y)^2-fxx(x,y)fyy(x,y)=4ax-(2ay+3b)^2
停留点(0,0)では
fxx(0,0)=2>0,|H(0,0)|=-9b^2≦0
極値ではない。
停留点(0,-3b/a)では
fxx(0,-3b/a)=2>0,|H(0,-3b/a))|=-9b^2≦0
極値ではない。
停留点((9/8)b^2/a,-(3/2)b/a)では
fxx((9/8)b^2/a,-(3/2)b/a)=2>0,|H((9/8)b^2/a,-(3/2)b/a)|=9b^2/a≧0
a=0のとき極値ではない。
a≠0,b=0のとき極値ではない。
a≠0,b≠0のとき 9b^2/a>0, 極小値f((9/8)b^2/a,-(3/2)b/a)=-(81/64)b^4/a^2
以上まとめると
極大値なし。
ab=0のとき極小値なし。
ab≠0のとき極小値f((9/8)b^2/a,-(3/2)b/a)=-(81/64)b^4/a^2
お礼
丁寧に回答していただきありがとうございます。