Давно столкнулся с проблемой, на некоторые сервера по ssh подключаюсь быстро (счет на миллисекунды), на другие сервера - долго, до 10 секунд бывает... решил все таки потратить время, и погуглить в чем собственно проблема.
Итак, в итоге у Вас может быть 2 проблемы:
Проблема на сервере
Проблема в том что сервак долго резолвит IP того, кто подключается. Правим /etc/ssh/sshd_config:
UseDNS no
Проблема в клиенте
Вторая проблема в GSS-API, его можно отключить, создаем если нету файл ~/.ssh/config:
GSSAPIAuthentication no
Как говорится - радуемся... ;)