>こちらで解体したいのですが、法的に手続きはどうすればいいのでしょう。(境界は調印により確定しています)
法的にどこかの担当部署が命令を出してくれるとは思えません。
越境している外構は、具体的にブロック塀などの構造物でしょうか?
それとも側溝ですか?
境界は書面により確定していて、穏便に済まそうとするのであれば、将来的に、どちらかが建て替えや外構工事をするときには、越境部分を控えて、境界を守るという約定書を交わすのが良いと思います。
ただ、takesy5314さんが、自分で費用を出してでも、現況をキチンと収めたいとお考えであれば、やはり隣地所有者に「解体の許可を得て」「新たに自分の所有地内に構築する」等という手順しかないと思います。
ブロック塀なら、隣地の許可を得て解体するが、こちらの敷地内に新たに塀を作る・・とか、U字溝などで隣地のみが利用している構造物であれば、そちらの敷地内に納める工事を「当方負担で行なう」などです。
これから境界を越えて構造物を作られようとするようなら、工事の差し止め請求もできるでしょうが、現状で越境してるとなれば、当事者で解決するしかないと思います。
もし、費用負担に納得がいかないのであれば、隣地に対して「撤去費用は立て替えておくもの(負担割合を決めてもいいし)」という書面を交わしてもいいのではないでしょうか。