アドバイスを貰って、最後の答えまでたどり着けない場合は、行き詰っている所までの途中計算を補足に書いた上で、行き詰っている箇所を補足質問して下さい。解答を作るのは回答者でなく質問者が作らないといけません。
#1さんのやり方の式から軌跡の方程式が求まりますが、式が複雑で円の標準形
(x-xo)^2+(y-yo)^2=r^2
に変換しにくいので円のの方程式であることが分かりづらいですね。
http://www.synapse.ne.jp/dozono/math/anime/kiseki.htm
この最初の解答のやり方ですね。
2番目の解答にある内分点、外分点を求めて、そこから円の中心と半径を求めると、円の標準形が導きやすいですね。
（円は#1さんが言及されているアポロニウスの円になります。）
アポロニウスの円の参考URL
2点A,Bからの距離の比が m：n である点Pの軌跡は、線分ABを m：nに内分、外分する点をC,Dとおくと、CDを直径とする円となる。（m:n=1:1の時は垂直2等分線）
http://www.ies.co.jp/LoveMath/2nd_grade/apolon-j/apolon-j.html
http://kurihara.sansu.org/sansu1-2/236.html
アポロニクスの円を基礎知識として覚えておいて下さい。解答の見通しがよくなります。
問題に戻って線分ABを2:3に内分、外分する点C,Dを求める。
A(cos(π/3),sin(π/3))=(1/2,(√3)/2)
B(cos5π/6),sin(5π/6))=(-√3)/2,1/2)
内分点C(xc,yc)
xc={3cos(π/3)+2cos(5π/6)}/(2+3)=(3-2√3)/10
yc={3sin(π/3)+2sin(5π/6)}/(2+3)=(2+3√3)/10
外分点D(xd,yd)
xd={3cos(π/3)-2cos(5π/6)}/(3-2)=(3+2√3)/2
yd={3sin(π/3)-2sin(5π/6)}/(3-2)=(3√3-2)/2
軌跡の円の半径r,中心の座標(xo,yo)を求める。
r=(1/2)√{(xd-xc)^2+(yd-yc)^2}=
xo=(xc+xd)/2=
yo=(yc+yd)/2=
↑上で求めたxc,yc,xd,ydを代入するだけなので計算できますね。
軌跡の円の方程式は、上で求めたr,xo,yoを円の標準形の方程式に代入すれば良いでしょう。
(x-xo)^2+(y-yo)^2=r^2
補足
いちよう、No,1の回答された方が投稿してくださったところまでは解けているのですが、その先整理ができなくてごたごたになっています。 問題の解答をされてくださる方を募集いたします。