アルカリ性(塩基性)を示す物質に水酸基がある・・・という表現は厳密には間違っています。
正しくは、水酸化物イオン(OH-)を出す物質です。
例えば、水酸化ナトリウム(NaOH)
NaOH→Na+ + OH-
となり、OH-がありますので、アルカリ性(塩基性)となります。
また、アンモニア(NH3)ですが、これもアルカリ性を示します。
OH-が無いじゃないか・・・と思われるかもしれませんが、実は水に溶かすとOH-が現れます。
NH3 + H2O → NH4OH となり、更に電離し NH4OH → NH4+ + OH-
となり、OH-が現れますのでアルカリ性(塩基性)となります。
これは質問にはありませんでしたが、逆に酸性はH+を出す物質です。
例えば塩酸(HCl)ですと
HCl → H+ + Cl-
となりH+を出しますね。
結論
電離した際にOH-を出す物質→アルカリ性(塩基性)
H+を出す物質→酸性
です!