Spekulationssteuer Immobilie - Vergleichsmöglichkeit mit dem Finanzamt

Meine Eltern erwarben 1993 eine Eigentumswohnung, die ich ab 1. Juli 1993 bewohnte. Am 27.05.1998 kaufte ich die Wohnung von meinen Eltern, Grunderwerbsteuer ist dabei nicht angefallen.
Ich bewohnte die Immobilie bis zum 31.03.1999, dann zog ich aus beruflichen Gründen an den Bodensee.
Deshalb vermietete ich die Wohnung. ab 1.04. 1999.
Im Frühjahr 2001 wollte ich die Wohnung wieder beziehen und habe dem Mieter wegen Eigenbedarf gekündigt. Der Mieter zog aber nicht aus und auf anwaltlichen Rat hin habe ich die Räumungsklage wegen der zu erwartenden Dauer des Rechtsstreits und einer hohen Chance zu scheitern, zurückgezogen und mir anderweitig eine Wohnmöglichkeit gesucht.
Im Frühjahr 2005 ist der Mieter schließlich ausgezogen, da ich aber mittlerweile eine andere kreditfinanzierte Wohnung bewohnte und ich nicht in die andere Wohnung zurückumziehen wollte, beschloß ich die alte Wohnung zu verkaufen.
Erst am 07.08.2006 konnte ich die Wohnung, die durch eine Instandsetzung in 2006 einen erhöhten Gebrauchswert erhielt, verkaufen.

Ich habe meine Wohnung sechs Jahre bewohnt und hätte auch nach meiner Rückkehr die Wohnung wieder bezogen, wenn der Mieter sie freigegeben hätte.
Aktuell will das Finanzamt, laut Steuerbescheid, die Spekulationssteuer in vollem Umfang erheben.

Habe ich eine Chance, daß die Spekulationssteuer nicht uneingeschränkt Anwendung findet, bzw. daß eine Vergleichsmöglichkeit mit dem Finanzamt, notfalls gerichtlich, besteht?