P=x^2+(p+2q)xy+2pq^2+4x+(11p-14q)y-77
が因数分解できるためにはP=0と置いた式
x^2+(p+2q)xy+2pq^2+4x+(11p-14q)y-77=0
の主要な変数の解が他の変数の有理式によってあらわされる必要があります。
例えばxについてみると2次式として
x^2+[(p+2q)y+4]x+2pq^2+(11p-14q)y-77=0
Pが因数分解できるためには
D=[(p+2q)y+4]^2-4[2pq^2+(11p-14q)y-77]
がy,p,qを含む有理式の2乗になっている必要があります。
やってみるとすぐわかるようにそのような有理式は存在しません。
よって因数分解不可能です。
お礼
ありがとうございました。
補足
すみません x^2+(p+2q)xy+2pq^2+4x+(11p-14q)y-77 ではなく x^2+(p+2q)xy+2pqy^2+4x+(11p-14q)y-77 でした。