契約は大家さんとしています。その、契約した相手に、「全然大丈夫」との仲介業者の言葉と因果関係のある過失があれば解除の道はありますが、仲介業者が独断で判断したのなら、大家さんの過失は認められないでしょう。
だから、「重要事項説明」が重要なのです。騒音のあるなし、ある場合その程度は入居者にとって最も重要な心配事の一つですから、これについての質問には、仲介業者は充分調べて責任を以って説明し答える義務があります。
しかし、これは宅建業者の宅建業法上の義務であり、これに違反すると宅建業法違反として、しの業者に罰が下ります。そして、民法上では宅建業者の不法行為か債務不履行を構成しているとなれば、その仲介業者に対し損害賠償の請求をすることになるでしょう。
問題は、この「全然大丈夫」と言ったのが立証できるかどうかでしょう。勿論重要事項には記入していないでしょうからね。
また別の観点からは、この騒音はこの建物の瑕疵として、大家さんがこの瑕疵があることは知っていて、仲介業者にも隠していたのなら、契約解除の主張は出来るでしょ。知っていなかったのなら、隠れた瑕疵であるとして責任を追求しましょう。もっとも、大家さんがこの騒音を知っていないとは常識では考えられませんがね。新築ならともかく、過去にも誰かがこれでトラブルを起こしていることは間違いないでしょうからね。
いずれにしても、契約にあたり自己の不利となる事実の不告知ですから、消費者契約法上でも追及できると思います。
まずは、仲介業者に厳しくあたりましょう。その後は、然るべきところに訴える事でしょうね。無料弁護士相談もありますし、行政にもいろいろ相談には乗ってくれます(余計ですが、相談内容のもっていきかたにより、民事不介入とか言われるばあいもありますよ)。