Naja, dass immer nur das zugegeben wird, was grade aufgeflogen ist, ist so neu nicht. Aber gehen wir mal davon aus, dass es stimmt und die Geschichte erst seit 3 Wochen läuft - dann muss es ihn ja heftig erwischt haben, wenn er ohne Probleme seine Familie aufs Spiel setzt. Egal wie: Für Dich ist es eine beschissene Situation.
Ich weiß, dass es schwierig ist und rationelle Tipps meist völlig konträr zum Gefühlsleben laufen. Aber ich glaube, das beste wäre, wenn Du ihn aufforderst, zu gehen. Soll er sich dann in Ruhe (und ohne Dich und die Kinder) Gedanken darüber machen, was er denn nun will. Das würde ich nicht so klar empfehlen, wenn er sich ambivalent zeigen und das Gespräch mit Dir suchen würde. Aber sein Verhalten - beleidigt und sauer sein, Dir Schuld zuzuschieben - zeigt, dass er grade so gar nicht an Dich und Deine Gefühle denkt. Sowas braucht kein Mensch noch ständig vor der Nase haben!
Geh zum Anwalt und lass Dich beraten. Davon muss er nichts erfahren und damit reichst Du ja nicht auch gleich die Scheidung ein. Mir hat es geholfen, wenigstens auf der Sachebene zu erfahren, was auf mich zukommen kann, wenn schon die Herzschmerzen kaum auszuhalten waren.
Er kann überlegen, wie es für ihn weitergehen soll und darf bei Dir wieder anklopfen, wenn er bereit ist, konstruktiv darüber zu reden. Bis dahin hegst und pflegst Du Dich, suchst Dir Unterstützung, wo immer Du sie bekommen kannst und weinst im stillen Kämmerlein oder hier im Forum. Aber nicht mehr vor ihm!
Leicht gesagt/geschrieben, schwierig umzusetzen, ich weiß.

Aber es ist machbar und glaub mir: Für Dich ist das letztlich auch der bessere Weg.