Olha, são situações que já aconteceram comigo, e acredito que também já aconteceu com a maioria dos caras.
É algo que eu particularmente não dou a mínima, apenas dou um sorriso e cumprimento tal pessoa que esteja falando isso.
Lembro quando estava interagindo uma garota do meu colégio, e a vice-diretora mandou algo parecido com isso, para me deixar sem graça e/o constrangido. Levei na brincadeira e disse "Haha, que nada, eu sou difícil

É uma bobeirinha, mas que deixa as coisas mais descontraídas. Inclusive, eu acho interessante quando fazem tal 'brincadeira' comigo, levo numa boa e é algo que deixa a interação mais de leve.
Tanto é que, o fato delas se sentirem desconfortáveis com isso, é apenas porque tu suga isso pra ti, e encara de uma forma que te deixa um pouco desconfortável. Releve malbeque, encare isso de uma forma descontraída, e ela se espelhará em ti, consequentemente não se afetando também.
[ ]'s