Faz alguma diferença para a segurança do sistema a alteração da porta do SSH para algo diferente do padrão (22)?
Não muito. Isso pode reduzir as tentativas de varredura, mas o melhor a fazer é desativar os logins por senha e ensinar os usuários a usar boas senhas para suas chaves SSH.