この場合、どういうことに対して「労基署には言わない」という合意をしたのかによります。
あなたは残業代の未払いについては企業へ請求しました。
これに対して企業はあなたに未払い賃金を払うという合意を条件付で行いました。
条件は「労基署にはこの件を告訴あるいは申告しない」というものでしょう。
おそらく、取り交わした書面にはこのようなことがかかれているのでしょう。
要するにあなたと企業は未払い賃金については「示談」したことになります。
多分、示談内容は「企業はあなたに未払い賃金を支払う。あなたは未払い賃金について告訴や申告を労働基準監督署に行わない」でしょう。
本来は不履行時の示談内容の無効も盛り込んでおくべきなんでしょうけど。
示談を行うこと自体は違法ではありませんし、法律に則った請求を行うことと、これに応じることも違法ではありません。未払い賃金については支払いが完了すれば、違法状態ではなくなるのでたとえ告訴できたとしても不起訴になるでしょう。
被害届を「金銭的に解決して」取り下げるのと同じようなものと考えてください。
こうした示談をするなら、相手が作成した示談書であるならよく内容を確認してから判子を押すなりしなければ後々不利になることがありますから慎重にするべきです。
ですので、この件だけを切り取れば違法行為ではないと考えることが出来ます。
ただし、解雇されたことについても文句を言わないとか盛り込まれていると、こちら側が不利な契約なので見直しを求めるべきです。
これとは別に、未払い賃金が発生していた時点でブラック企業である可能性は高いですし、「解雇された」のが正当な解雇だったのか？というのが疑問です。
未払い賃金（残業代）のことは伏せて、「解雇が正当かどうか」を労基署に確認するのはよいと考えられます。
補足
ちなみに別角度から、ICパスでの会社で入りのデータでの残業代を請求をしたところ、会社が断ってきたそうです。 その録音データがあるそうですが、違法ということになりますか？