アメリカに35年ほど住んでいる者です。
この質問、あったのですね。 すみませんでした、気がつきませんでした。
私なりに説明させてくださいね。
まず、with, つまり、一緒、ということですね。つまり、agree withで、同じ考えをしている、考えが一緒、だといっているわけなんですね。
ですから、withを使う時は、人がくる事が多いのですね。 ですから、withのあとに物がきても、その物の内容、書かれている観念に対して、同じ考えを持っている、という意味になるんですね。
では、toはというと、withと違い、一緒、というフィーリングがないんですね。 to, つまり、その点へ、というレベル的に近い方向、つまり、本意ではないが、仕方ないけど、妥協して、承諾して、というフィーリングになり、認める(認めてあげる)、承諾する、望むところではないが同意する、という意味になるんですね。
そのほか、agreeと言う単語は、agree onと言う言い方をして、その点について同意する、承諾する、という使い方もあります。
これでいいでしょうか。 分からない点がありましたら、補足質問してください。
補足
ありがとうございます。でも I agree with you.って言わないですか?