VDSLサービスというのはありませんので、フレッツ光のマンション内接続がVDSLだということでしょうか?
ちなみに、VDSLとADSLは似た技術ですが、実際に用いる場面は違います。
光ファイバのVDSL接続は、マンションの端子箱まで光ファイバを引き、端子箱から各部屋のモジュラーまでVDSLを重畳するものです。昔の公団住宅みたいに共同電話でない限り、端子箱から各部屋までは1本の電話線だと思いますので、影響はないと考えます。
ただ、元の光ファイバはNTTのですから、プロバイダをヤフー光に乗り換えたところで光ファイバを共同利用という形は変わらないと思いますので、今まで遅かったのならあまり変わらないと思いますね。