前職の会社が交付する源泉徴収票を持って、税務署へ行きましょう。
延滞税というものは、納付すべき税金が未納であったことから発生するものです。そして延滞税の計算は、納期限から納付日までの期間で計算されるものですので、未納の段階では計算できません。
さらに言えば、給与から天引きされる所得税（源泉所得税）は、年末調整や確定申告により清算を行うまでの前払い納付のようなものです。この部分については、納付済みと同じ扱いとなるため、延滞税の計算の対象にもならないことでしょう。
また、給与から天引きされる源泉所得税の計算は、仮計算のようなもののため、最低限の控除（基礎控除や扶養控除程度）を加味しているにすぎません。そのため、控除等を含め計算を行えば、多くの場合、給与天引きの税金の方が大きくなり、納付すべき税額がなく、還付になることでしょう。さらに納付すべき税額がないわけですので、延滞税も発生しないことでしょう。
無申告加算などもあるかもしれませんが、必ずしも加算の対象となるわけではありません。税務署から指摘される前にご自身からの申告を行えば、問題ないと思います。そもそも、加算なわけですので、本税に対して掛け算を行うわけですので、還付となるような申告であれば、計算のしようがないようにも思いますね。
解雇という言葉から、前職を給与として回答しています。
これが職人などの請負などであれば、源泉所得税の制度の対象とならない場合もあるため、考えが変わる場合もあることでしょう。
私であれば、源泉徴収票と年末調整などで利用する各種控除証明などを手元に用意し、国税庁のHPで申告書類の作成をしますね。そこで還付となり、申告内容に自信があれば、税務署へ郵送するだけでしょうからね。
