詳しいことが書いていないのでわからないのですが、
招待状に「平服で」と書いてあれば、留袖などは着なくてよいでしょうね。
ご両家の親戚も結婚式では、お客様を招待する側と見なしますので、平服という指示があっても、ある程度きれいめのワンピースを着用されてはいかがでしょうか？
私も同じような感じでレストランでパーティをしましたが、両家の親戚に服装の指示をしました。
（洋服でお願いします、や、男の方には礼服でなくていいです。ネクタイは普通の色で・・・など、両家で違いがでないように、主人と話し合って決めました。）
ですので、一番いいのは姪っ子さんに直接聞くか、
姪っ子さんのご両親（あなたのご兄弟でしょうか？）に聞くのが一番だと思います。
それで、平服といわれれば、ワンピースにスカーフを巻いたり、少し派手目のアクセサリーを付けてみられてはいかがでしょう？
色は真っ白以外だったら何でもいいと思います。
下記はマナーのページです。
他に、結婚式・服装・マナーなどでウェブ検索すると、結構いっぱい参考になることが出てきますよ。
