Alguém lhe virou as costas?

Isso significa apenas que essa pessoa não aguenta a firmeza de seu olhar.