私は、香港にリブレット50（Win95ノート）とカシオペアE500（WinCE PsPC）を持っていき、通信を試みた経験がありますが、設定とかが難しいので私はノートでの通信をおすすめします。
ますは順番に補足します。
１．変圧器の必要ないもの（電源が電池）
とりあえず私の場合、ACアダプターが海外対応（100V/200V)だったので「変圧器」は要りませんでしたがコンセントの形状が国ごとに違うのでコンセントの変換は必要です。（一応確認した方がいいです）
２．主に、メールでの使用のみ。
プロバイダへの接続はどの様しますか？海外から国際電話で日本国内のアクセスポイントにダイヤルしても良いですがそれなりに電話代は覚悟しないといけません、もう一つの方法は、海外ローミングサービスを使い現地のアクセスポイント経由でつなぐ方法ですが、今お使いのプロバイダがローミングサービスをしてるか確認して下さい。
私の場合、プロバイダーがBIGLOBEなのでローミングサービスで接続できましました。
３．モジュラージャック、、携帯電話、どちらでも使える。
まず、携帯電話は使えないでしょう。モジュ―ラジャックも形状が違えば変換コネクターが必要です。それと電話回線の電圧や極性も国によって違うのでこれも変換する装置が売られてます、またモデムも海外対応でないと使えません、
今回私もここで苦労しました。今回モデムはPCカード型（PC用）とCFカード型（CE機用）と2個持って行きましたがCFカード型のモデムは海外対応してなかった様です
PDAの多くはCFカードによる拡張しか出来ない物が多いので特に注意が必要です。
４．カラーでなくても良い。値段が安い方がよい。
このへんは、私も良く分かりません、中古のWinCE機等でどこまで出来るものかは分かりません。
あと、ホテル等の部屋の電話から通信する場合、外線番号+電話番号でかけなくてはならない事から、接続の設定で電話番号の入力も気をつけないといけないし、とにかく海外で通信をするのは、想像するよりもかなり難しいと思います。
しかしその分、それで通信が出来たときの感動は変えがたいものがありますので、がんぱって挑戦してみて下さい。
あまり「PDAの紹介」になってませんが、PDAは接続の設定等が機種ごとに違ったりしますのでこの機種なら海外で使えますとは、はっきり言って実際使ってみないと分からないので、ほとんど自信もって答えられないと思います。
参考URLは私も参考にしたページです。
お礼
shogooさん、かなり詳しく、ご回答ありがとうございました。 なんか、難しそうですね。 本当のところ、一カ所に定住の予定がないため、ノートのように高価なものは余り持ち歩きたくなかったのです。だから、日本のように携帯電話とかで出来るのかなあ、と、漠然と考えていたものですから・・・。 私も自分で色々調べてみたのですが、shogooさんのご回答とも合わせて考えると、ちょっと無理のようですね。 ご丁寧に、どうもありがとうございました。