英語では、
1.前置修飾(前からかかる)語は、形容詞で、後の名詞の性質を現します。
2.後置修飾(後からかかる)は、説明をします。多くの場合、一時的な状態を表します。
たとえば、
The crying girl is my sister. - - - 泣いてばかりいる(そういう性質の)女の子が私の妹です。
The girl crying is my sister. - - - (今)泣いている女の子が、私の妹です。女の子の一時的な状態を説明しています。
以上のようなことを基本とするという考え方があります。これは、いろいろな場合に応用できる基本的な考え方であると、大西泰斗先生も、その著書「一億人の英文法」等で言っております。
そこで、ご質問の件も、at two . . .その2時というのは、昨日の2時だーーという説明が後に来るーーので、at two yesterdayという語順になるというわけです。yesterdayと言って、その後、さらに絞り込んでいくみたいな表現は日本語の世界で、後に説明を付け足していく英語らしくありません。
同様に、場所についても、日本の東京都中央区銀座も、英語では、Ginza, と言い、それはどこ?という説明のChuo Wardを持ってきて、それはまたどこ?という説明のTokyo, さらにJapanを最後につけて
Ginza, (at) Chuo Ward, (in) Tokyo, Japan
と並べます。これが、英語の性質を踏まえると理にかなった順序ということになります。
以上、ご参考になればと思います。