Bin bei allen anderen.
Lass Dir nicht Deine Arbeitsbutter vom Arbeitsbrot nehmen!
Und sieh es vielleicht als kleine eigene Herausforderung. Da Du ja mit ihm soweit schon länger durch bist, kannst Du Dir das da selbst nochmal beweisen und wirklich komplett abschließen.
Bleib bei der Arbeit, sprich ihn einfach nicht an. Und sollte er Dich ansprechen, antwortest Du kurz. Arbeitsbezogen. Mehr nicht. Je neutraler- umso besser.
Vielleicht kannst Du es noch nicht sehen, aber die Nervosität (kann ich gut verstehen) wird er auch haben.
Von Euch zwei wisst auch nur ihr beide. Lass es dabei. Und bleib einfach stabil seriös.
Wenn er komisch wird, kannst Du ihm dabei zugucken, wie ihm unbequem wird und er eventuell ins Schwitzen kommt. Du könntest auch die Puppen tanzen lassen, aber lieber nicht

solange es Dich nervös macht, halte einfach Deinen guten Arbeitsleumund ganz stabil und gehe gemeinsamen Essen oä in Pausen sicher aus dem Weg.
Jemand, der ghostet, hat Ghosting verdient. Nicht als Empfehlung, sondern eher als Dein nicht verbalisiertes Motto, um da gut durchzukommen.
Wenn Du das schaffst, wirst Du noch einen vitalisierenden Satz nach vorne machen, Pfote drauf!
P.s. Na klar wird er sowas denken. Er weiß ja letztlich schon, was er da ca. mit Dir veranstaltet hat. Nur zugeben wird er es schwerlich. Und auch wenn er Dir da ein Gespräch aufdrängen will, weil ihr beruflich auf einem Fleck sein müsst, liegt es auch noch an Dir, da gute Ideen einzubringen.
Nach dem Motto: war was?