こんな考え方ではできないでしょうか?
方針は、#3に対するお礼でmideさんが書かれていることそのもの(2点間のベクトルを接平面に射影)です。
イメージでいうと、
1. まず大円を考えるために、基準点、目標地点、中心(=原点)を通る平面αを考える。
2. 基準点における接平面βを考える。
すると、αとβの交線が、求めたい接線ベクトルになりませんでしょうか?
αの方程式は、#4でranxさんが言われているAx+by+Cz=0
βの方程式は、基準点の座標を(a,b,c)とすれば、a(x-a)+b(y-b)+c(z-c)=0です。(接平面の法線ベクトルはまさに[a,b,c])
交線は、上のx,y,zの3文字2式の不定方程式を解けばOK。
計算の仕方は、Ax+By+Cz=0については、原点を通っていることは式に織り込み済み(定数項=0)なので、残りの2点を代入して、A,B,Cに関する式を2つ作り、B,CをAで表せばOK。
また交線上の点は、求める方向ベクトルを[p,q,r]とすれば、パラメータkを使って(x,y,z)=(pk+a,qk+b,rk+c)とおける(点(a,b,c)は交線上!)ので、それを2平面の式に代入して、あとごりごり計算したらp:q:rが出てくると思われます。
が、なにぶん計算してないので。。。夜暇だったらこの方針で1回解いてみます。
※2平面の交線の方向ベクトルという、高校生の練習問題レベルに落ちるところがミソなんですが。。。そもそも考え方が間違っていたらすみません。^^;
お礼
実は本で、球面三角形の公式のひとつ: sinα/2 = √((sin(s-b)sin(s-c))/(sin b・sin c)) s = (a+b+c)/2 を見つけて、これを使うようにしてしまいました。 でもこの機会に平面の計算も勉強したいと思います。ご回答ありがとうございました。