お互い、という言葉ではないですが、
二人とも時間が取れれば、会いましょうってことですね?
Let's get together if we are both lucky to have some spare time.
If we are both available to see each other.
If we can manage to have some time off.
during your stay あなたの滞在中に
とかを適当にどこかに入れて・・・
どうですか?
I don't want you to go out your way just to see me,I hope we can meet when both of us are free.
私に会うのに無理はしてほしくはないですが、もし私たちふたりともフリーなら会いたいです。
とか。。。
If it does not work out because of our tight schedule,we have to understand that it can't be helped.
もし互いの忙しい日程の中、上手く会えなくても仕方ないんだって思わないといけませんね。
もっと他にも言い方はあると思います。他の方の回答も来るでしょう。