エラー番号は018-0502 ですよね?
下記の初期確認はOKですか?
■3DS本体のフレンド登録は完了していますか?
■念のためお互いファイアウォールを無効にしていましたか?
■お互い使っているルーターはバッファローでバージョンアップ済ですか?
■3DSの接続テストはどちらとも正常に完了してますか?
■他のゲームはwi-fiで遊ぶことは可能ですか?
OKなら下記の原因もあります。
相手がなにかで(例:マイデザインを作成中だったり、お店で会話中だったり)ウインドウを開いていると、その相手がウインドウを閉じるまではこのメッセージが出て通信が開始できない。
相手の画面には『会話を終了して下さい』というメッセージが出ているはずです。
相手に会話・マイデザ作業ウインドウをとじてもらったことを確認してから通信接続に再トライして下さい。
どっちのエラーか(自分か相手か)がわかればどうすればいいか早いけど、見分けるのはちょっと難しいです。
もし自分と思ったら(レンジ、エアコンや大型テレビなど)近くにいると影響を受けやすい電子機器類がそばにあれば、まずはうんと距離をおいて下さい(ワンルームなら仕方ない)。
10年の古めかしいルーターや通信回線などを使っている場合も、何かと弱くてエラーが起きやすいみたいです(買い替え無理なら仕方ない)。
夜6~10時くらいのピークタイムをなるべく避けて深夜~早朝帯を利用するのがおすすめです。
各種接続環境について、詳しくは任天堂公式サポートページを見たほうが正確なので、エラーが出やすい人は要チェックです。