私にも経験がありますが、悩みどころに入っているようですね。
楕円の問題は慣れないうちは混乱してしまいがちですが、そう不安にならなくてもいいと思いますよ。
それは解法の研究がよくなされているからです。楕円関連の問題はどうしても計算量が多くなりがちなので、大学入試で出題されるものは限られています。
ご質問の問題は、
<楕円: x^2/a^2+y^2/b^2=1 の直交2接線の交点は楕円の準円: x^2+y^2=a^2+b^2 になる>
ということに関連した問題です。
この問題は、適当な解法を使えば計算量が抑えられ、結果が円という簡単な形になることから大学入試では有名問題と言われるほど良く研究されています。
楕円の方程式は異なりますが、やさしく解法を説明したサイトがありますので、それを参考にされると良いと思います。
http://izumi-math.jp/F_Nakamura/kotewaza/ball/ball.htm
ちなみに、ここでは、次のように解いています。
1) 直交2接線の交点の座標P(p,q)と傾きmを未知数におき、接線を y=m(x-p)+q とする。
2) 楕円と接することからxの2次方程式の判別式=0 としてmの2次方程式を得る。
3) mの2次方程式の解をα,βとすると、2次方程式の解と係数の関係を使うと、2接線が直交することは αβ=-1 となることとして、p,q の関係式(準円の方程式)を得る。
そしてこの解説ではさらに検討を進めて、計算量が多くなる判別式を避ける解法として、楕円は軸に沿って拡大すれば円になるという性質を利用して、点と直線の距離の公式を使う解法が説明されています。
とてもわかりやすく解説されていますので、よく読んで理解しておくとよいと思います。
楕円の直交2接線の交点が楕円の準円になることが分かれば、「1、孤QRは点(1/√3.0)を含む。2、角QPRは90度以上」という条件を加えることはさほど難しくありません。
(条件2)は準円と楕円の間の領域であることを示していますし、(条件1)は水平線のように点(1/√3.0)での接線を見れば自ずと範囲が限定されてくると思います。
そうすれば、求める領域は準円の一部といういことになりますので、その範囲で定積分を行えば領域の面積が得られます。
>解法は1つではないようです。微分、楕円の接線公式、傾きを未知数とするなどなど・・・。
楕円の接線公式は微分した結果を用いていますので、この問題で微分を使うことは接線公式を使うことと同じことのように思われるのですが、いかがでしょうか。
その上で解法を比較しますと、(A)求めたい値を直接、未知数においているか否か、(B)計算を簡単にできる公式が使えるか で比較すると良いと思います。
(A)は中学数学で1次方程式や連立方程式の文章題で学習したと思いますが、とても重要なことです。何を未知数とおくかで計算量に差があったことを思い出して下さい。求めたいものを直接文字に置いた方が楽になることが多かったはずです。そのことはこのような問題でも当てはまり、上記の解法はその一例です。ここでもし接線公式を使うと、接点に未知数を2個(θ,φ)または4個(x1,y1,x2,y2)使用した上で交点Pを間接的に求めることになり計算量が増えてしまいます。
また(B)も重要です。点と直線(平面)との距離の公式は ほとんどの問題で計算量を減らせるものとして頻繁に用いられます。定点との距離が一定になりそうな場合は、この公式に帰着させると計算が楽になります。
あとは問題数をこなして、答えの見通しを得ておくことです。そうすることで迷路に入り込む危険性を冒さなくなるようになります。 この楕円の直交2接線と準円の問題のように、答えが簡単な結果になるものは良く理解して覚えておくとよいです。
なお、ご質問の趣旨は 問題の答えを知ることよりも、むしろ楕円の問題に対する対応方法を知りたいということだと思いますので、ご質問の問題に対する答えは示さないでおきます。
もし必要でしたら、補足欄に考えられたところまでを書いて下さい。計算ミスをしがちな私の解答で良ければ一緒に答え合わせをしましょう。