Kündigung eines Bauvertrages

Sehr geehrte Baurechtsexperten,
wir haben für einen Neubau (mit Architekten) einen Werkvertrag mit einer Baufirma nach VOB abgeschlossen.
Wir haben nun schon seit Monaten Probleme mit selbiger, aufgrund mangelhafter Ausführungen und permanentem Verzugs.
Unser Architekt (und auch wir sind es) ist nun derart genervt von dieser Baufirma, daß er uns naheliegt, den Bauvertrag zu kündigen und noch ausstehende Arbeiten bzw. die Mängelbeseitigung fremd zu vergeben.
Verzugsschreiben und Mängelprotokolle liegen in großer Zahl vor, persönliche Gespräche mit dem Firmeninhaber und Begehungen auf der Baustelle haben stattgefunden, fruchten jedoch immer nur mäßig.

Unsere Sorge ist, daß das BV sich noch weiter verzögert und man sieht teilweise auch keine Bereitschaft mehr seitens der Baufirma, das Projekt zufriedenstellend abzuschliessen (Abwesenheit auf der Baustelle).

Meine Frage: gibt es juristische Fallstricke bei einer Kündigung und was sollten wir beachten?
Natürlich möchten wir auch keine Auflösungsstrafe o.ä. bezahlen.
Danke für die Tipps!