まず、容器自体の違いは、大きな違い自体はなく、飲料水でない水(例えばトイレや洗濯に使う水など飲用や料理に使わない水）なら、灯油用と書いたものに水を保管しても(他の方の言うように水と灯油の混同等を防げるなら）問題ないです。
但し、飲用に使う水なら問題ありです。というより、飲用に使える容器を使ったとしても問題ありです。理由としては大きく以下の2つです。
1.容器
飲料用水用に使える旨表示された容器は、容器そのものが人体に害にならないように確認されたものであることを示します。例えば、ポリの原料は石油であり、石油には自然界起因の有害物質が混入するリスクがあります。（もちろんたまたま混入しないこともあります）ですので、製造工程中でそういう有害物や不純物が混入しない／除去する工程があり、しかも最終検査等で有害物等が含まれていないことも確認されています。
逆に言うと灯油用と表示されているものは、そういった有害物質や不純物が含まれている可能性があります。これに短期間水を入れてすぐ飲む程度なら、仮にタンクに有害物があってもすぐに水に溶け込まずその水で健康を害する原因になるとは限りませんが、長期間保管している間に有害物が溶け込むリスクが生じます。有害物以外の不純物が溶け込んで、直接害にならなくても風味などに影響する可能性がありますし、後述の微生物リスクと重なれば、有害物と同じ働きをする可能性も生じます。
2.微生物増殖(腐敗／変敗等)
多くの人は水が腐るとは思わないかもしれませんが、水であっても水以外の微量成分があり、それは微生物にとっても餌になります。特に水の「おいしさ」などに影響する成分が多いほどそのリスクは高くなります。微生物が増えるといわゆる腐った状態となり、味に影響するのはもちろん、微生物の種類によっては食中毒など健康を害する原因になります。
ですので、水を保管する場合、微生物増殖防止の対策をしなければ、微生物が増えて必要時に飲めないリスクが生じます。
で、微生物増殖防止として一番簡単な方法は冷蔵保存ですが、ポリタンクだとそれができないことが多いでしょう。
次に簡単なのは塩素消毒で有名な、塩素など殺菌／制菌作用のある薬品の添加ですが、これは使いすぎると逆に害になったり、そもそも味に影響が生じやすいです。素人が適切な量を使い、しかも入れた後の水の状態に問題がないことを確認することは事実上不可能です。
他には飲用前に、殺菌すると言う方法もありますが、菌の数が増えすぎると殺菌不足で、結局害になることも起こりえますし、そもそも、そういうタンクの水を使いたい時に殺菌できるかという問題があります。
こちらの微生物の問題は、飲料用の容器を使っても生じる問題です。
ではどうすればいいかです。
ミネラルウォーターなど飲用として売っている水を未開封のまま保管しておけばよいのです。ミネラルウォーターは高いですが、自治体の水道局などが売っている災害用の保存水なら安めです。これらの水は常温でも長期保管できます（そもそも製造時に殺菌し、密閉することで微生物が混入／増殖できないような工夫になっています)が、期限が近づけば、それを料理とかに使って、また新しく買えばいいのです。災害用の非常食なども同じように期限前の飲食と買い換えを繰り返せば無駄になりません。
