厳密に「安全性」という視点では、「普通に摂っているレベルなら危険ではない」ということになります。実際にこれまでに摘発された違反事例のとんどは、人体に危害が発生するレベルのものではありませんでした。例外は（成分が濃縮された）健康食品や美容食品・薬品類くらいです。
ご質問のあった胡麻や乾燥ワカメ、しいたけなどは、元々傷みにくい食品であるわけですから、使用量も相対的に低く、違法な薬品が残留している可能性は他の食材よりは低いと思います。
一方「安心」という視点では、全く問題外です。これまでに摘発された製品の汚染度がたまたまそれほど高くないレベルであったというだけで、モラルも何もない現在の意識で生産が続けられていれば、薬で数百人の死者が出たというパナマ（だったか？）の事件のようなことが日本でも起こる可能性は少なからずあるはずです。決して安心して購入できるものではありません。
ただし、現在の日本で中国産原料を全て避けようと思うと、それは並大抵のことではないですね。私たちが口にする食品は、原料産地の表示が義務づけられているものばかりではありません。常用している調味料等の多くにもすでに原料として大量に入り込んでいます。これに加えて、日本産を謳いながら中国産を平然と混ぜるメーカーも後をたちませんから、知らず知らずのうちに口に入るものも多いです。
こうした状況から少しでも身を守るためには、少なくとも中国産原料使用の疑いのあるものは買わない姿勢を続けること、またかの国に対して「真面目に、真性な食品を製造すること」を求めつづけていく（通じるかどうかは別）ことしかないのではないかと思います。
なんだか先が真っ暗になってきそうですね。
