ミュートをかけて音を切ろうとしたときに、意図せずキーンという音が鳴って残ってしまうということであれば、ミュートが甘い他に、ハーモニクスが鳴っている可能性などが考えられます。
ミュートに関しては、弦に軽く触れることで確保します。ただし、このときに軽く触れるつもりで、その実、弦からミュートのための手指が浮いてしまっている場合、それが原因でミュートが不完全になることがあります。まずは、そうした不備がないかを確かめるのが良いでしょう。
また、ミュート操作に実質上不備がみられないように感じる場合でも、弦上の一箇所のポイントにミュート操作が集中する場合で、そのミュートのために触れている位置が開放弦のハーモニクスポイントに近似する場合、ミュートを掛けた手が支点になってハーモニクスがノイズとして発生することがあります。キーンという音が鳴るということから、こちらのハーモニクスがノイズとして出てしまっている可能性も疑わしいでしょう(エレキギターの場合、特にアンプを通すと微小なノイズでも大きく増幅されることがあります)。
ミュートでハーモニクスのノイズが載るのを防ぐための対策としては、ミュートポイントをハーモニクスポイントからはずすことや、弦を押さえる手でのミュートの際に、指一本だけを這わせる形ではなく、複数の指で面を作ってミュートに当てるなど、ミュート時に触れるポイントを拡大すること、あるいはピッキングする側の手も動員して両手でミュートをかけることなどがあげられます。
あるいは、もしかするとストラトキャスターなどの機種では、トレモロユニットを留めるのにバネを使っていますが、そのバネがスプリングリバーブのように共振してしまうことで、それがノイズとして聞こえるという可能性も考えうるでしょう。こちらの場合、アンプを通した時にその音が響いて聞こえなければ特に大きな問題ではありません。ただ、アンプを通して聞こえなくても気持ちが悪い場合や、もしくはアンプを通して聞こえてしまうような場合は、対策を施すのが良いでしょう。
こちらのケースの対策については、ギターの方に細工をします。ギターの裏蓋をあけ、スプリングの中に綿やティッシュで作った棒を詰めたり、スポンジや振動を吸収するものをバネの裏に挟み込むことで、スプリングが共振でうなることは防げます。とりあえずは、ティッシュを折りたたんで小さな包みを作り、それをバネの裏に仕込んでみると良いでしょう。
それ以外にも、弦に接触するギターパーツに緩みなどがあるケースでは、それが原因になることもあるかもしれません。ミュート操作の不備がなく、スプリングの共振でもないとしたら、ペグ周りからテールピースまで弦が張られている部分のパーツをチェックしてみるのが良いでしょう。ストリングスリテイナーやブリッジサドルの駒・芋ねじ、ペグポストの留め具、アームがねじ込み式のトレモロユニット付属のギターであればそのアームの緩みなど、浮きやゆるみがないかを見てみると良いと思います。もし、ギター本体の側に問題があることが考えられる場合で原因となる部位がわからない時には、思い切ってギターをリペアに持ち込み、状況を説明してみてもらうのが手っ取り早いかもしれません。
なお、ミュートに関しては、必ずこうしなければならないという決まりごとがあるように意識してスマートに取り組むより、とにかく遮二無二できる限りの手を使って、なりふりかまわずミュートをかけるつもりでやった方がうまくいくでしょう。
また、一瞬でスパッと音を切りたい場合などは、弦を押さえる側の手指を浮かしてのミュートだけに頼るより、ピッキングする側の手でバッと弦に触れてミュートしてしまう方が、歯切れよくミュートをかけることができると思います。これまでに片手だけの操作でミュートを決めようとしていた場合は、両手を使うことを意識すると良いでしょう。
参考まで。