ButtonのPaintイベントで枠線を手書きしてしまうとか・・・。
Private Sub Button1_Paint(ByVal sender As Object, ByVal e As System.Windows.Forms.PaintEventArgs) Handles Button1.Paint
e.Graphics.DrawRectangle(New Pen(Color.FromKnownColor(KnownColor.ControlDark), 1), -1, -1, Button1.Width, Button1.Height)
e.Graphics.DrawRectangle(New Pen(Color.FromKnownColor(KnownColor.ControlLightLight), 1), 0, 0, Button1.Width, Button1.Height)
End Sub
今後フラットスタイルのデザインがOSレベルで変更されたら表示がおかしくなりそうですが。