私は全く話せない聞けない状態からアメリカ留学行きましたよ。その後語学学校を卒業、短大を卒業後、4大に編入、卒業してあっちで就労6年くらい働きました。目的やレベルによってかかる年数は違うと思います。私の場合は
1-2年: 日常会話で50パーセントくらい何言ってるのか分かって、30パーセント伝えられる。
3-5年: 向こうの短大を卒業出来るレベル。でもまだ歴史番組やあっちのお笑いは分からない。
5-7年 : 4大の授業がわかる、卒業出来るレベル。
8-10年以上: 生活の上であまり困らない(病院や銀行、役所などの手続き)あっちの友達と問題なく会話や冗談が言い合える。ニュースも理解できる。働ける。
結論から言うと、全く話せなくてもあっちで頑張れば話せるようになりますよ。でも日本人とつるんでばっかで全く英語を使わない人は10年いても話せません。ESLは英語だけのプログラムですが、大学に行きたい場合はTOEFLを取らなくてもIEP(intensive English program)などがある大学に行けば、英語だけでなく大学でのプレゼンテーションの仕方など教えてくれて、そのプログラムを卒業した時点で短大に編入できるなど素晴らしいプログラムもありますので是非調べてみてください。
私の経験上、留学していた人達はそんな話したり聞いたり出来ていた人はほとんどいませんでしたよ。あちらでの就労場所でも日本人のインターンを受け入れていましたが、最初はみんな全然話せませんでしたが、一年も頑張って生活していればそれなりに上達してとても楽しそうでした。
今は色々不安なこともあるかもしれませんが思い切って行ってしまえば、なんとかなるもんです。大変な事もありますがいける環境ならご自分の英語のスキルなど気にせず行った方がいいと思います。きっと忘れらない経験になると思いますよ。頑張ってください!