Acessar o Android pelo Note, onde está a segurança quando isso acontece?

Pessoal,

Existem muitos programas que dificulta o acesso ao Android, seja bloqueia na tela, bloqueios de app etc, só que quando conecta o smartphone ao note via USB toda essa segurança instalada ACABA, pois é possivel acessar qualquer arquivo, eu vejo muito pouco discussão em relação a isso, gostaria da ajuda de vcs, existe maneiras de bloquear acesso aos arquivos de um celular quando este estiver conectado ao note?
Muito Obrigado

Obrigado Antony pela resposta, vc me esclareceu alguns pontos, mais ainda tenho algumas dúvidas: 4.4.2
Meu celular tem bloqueio de tela.Além disso instalei o CM security que tb bloqueia o acesso a todos os arquivos no cel.
Mesmo assim, quando conecta no NOTE via USB, é possível visualizar tudo.
Em relação a sua orientação de revogar, em meu Opções de desenvolvedor aparece "Anular autorizações de depuração uSB"
Quando cliquei, abriu : "Anular o acesso para depuração USB nos computadores autorizados anteriormente?" cliquei em OK
Mais o problema continua, não se pede a senha quando conecto o celular, se vc puder me ajudar mais uma vez, sou grato.

Obrigado Vinicus pela resposta, respondi acima, se vc puder ler e também me ajudar,agradeço.
Abraço