これは控訴、上告の法律上の性格そのものを理解しないと、なかなかピンと来ないかもしれません…
実のところ、（マスコミの映しだす裁判像もあいまって）
控訴、上告は第一審の裁判に相当する審理をやり直している
…と思っている方が少なからずいらっしゃるかもしれませんが、
（少なくとも法的な建前は）控訴は「第一審の審理内容のチェック」
上告は「控訴審の審理内容のチェック」が目的で、
事件そのものを最初から審理しなおすわけではありません。
なので、事実審理を一からやり直すわけではない以上、
事実審理（と量刑策定）がメインの仕事である裁判員の出番はないわけです。
…もっとも、特に控訴審は、現実には（証人尋問や鑑定を含む）証拠調べをやり直すことも法律上許されており、
これは制度上は例外措置なんですが、実際には珍しくないということは確かにありますが…
制度上の理由としては上に書いたとおりになります。
お礼
回答ありがとうございます。 前から気になっていたので、大変勉強になりました。