Ich denke jetzt ist die richtige Zeit gegen sowas vorzugehen. Versuch im besten Fall den Kollegen für dich zu gewinnen.
Hab da auch ein ähnliches Problem auf Arbeit. Ein Vorgesetzter betreibt ziemlich rechtes dogwhistling und ich wurde gefragt, ob ich bezeugen kann, ob zweifelhafte Aussagen gefallen sind. Was ich im Ernstfall auch tun werde.
Ist allerdings noch nicht so ganz eindeutig wie in deinem Fall.