健康面ではすでに参考回答が出ているので別の方向から。
はっきり言って、不衛生すぎると思います。
汚れた体で布団に入れば布団が汚れます。
私の兄が夜遅くに帰って朝シャワーを浴びるのですが、布団や枕の汚れ方がすごいです。本人はあまり汚いと思ってないようですが、明らかに茶色くなってるし臭いも…
布団なんてそう頻繁に洗うものではないですし、毎日干すこともしませんよね。夜お風呂に入ってから布団に入る人に比べれば格段に不衛生です。人間なので寝ている間に汗はかきますが、お風呂に入ってから寝れば汗と一緒に流れ出るものも違ってきますので、そこまで汚くなりません。
部屋に家族や恋人などが入ってこない、自分しかこの布団を目にする人はいない、という状況ならばどれほど布団が不衛生だろうと質問者様の自由ですが…