妻が年に数回、男上司と食事をしててモヤる。肉体関係がなければ黙認すべきなのでしょうか?