Kann ein Elternteil über das Besuchsrecht bestimmen?

Guten Tag, folgendes: ich lebe mit jetzigen Frau seit 2003 zusammen. Wir haben uns beide 2003 von unseren damaligen Parntern scheiden lassen und haben 2005 geheiratet. Meine Frau hat aus ihrer Ehe einen 16 jährigen Behinderten Sohn der im Rollstuhl sitzt.Er ist Nierenkrank und wird nachts an einem mobilen Dyalysegerät angeschlossen. Es wurden beiden Elternteilen das gemeinsame Sorgerecht zugesprochen und vereinbart das der Sohn bei seinem Vater wohnt. Seit ca. 8 Wochen also nach den Sommerferien lebt er jetzt in einem Internat für behinderte, wo er zur Schule geht und auch später eine Ausbildung und den Führeschein machen kann.
Bis zu dieser Zeit hat die neue Lebensgefährtin des Exmannes meiner Frau sich um den Jungen gekümmert und dafür wurde sie entlohnt. Nun sagt sie das sie das nicht mehr kann.Der Vater möchte nun, das der Sohn von nunab jede Ferien zu uns kommt. Wir wohnen im 4ten Stock ohne Aufzug.Praktisch müsten wir den Jungen im Rollstuhl bis in den 4ten Stock hochtragen. Die Wohnung ist in keiner Weise behindertengerecht eingerichtet, man müste den Jungen wenn er auf die Toilette müste aus seinem Rollstuhl heben und auf die Toilette tragen. Wir sind beide nicht mehr richtig gesund, ich(49Jahre)haben drei Bandscheibenvorfälle und darf nicht mehr schwer heben, meine Frau (45) hat auch einen Bandscheibenvorfäll und eine kranke Schulter an der sie erst vor kurzem operiert wurde.Auch sie darf nicht schwer heben.
Nun unsere Frage: ist es so einfach das der Vater einfach bestimmen kann Wann der Junge in allen Ferien zu uns kommt.Wir wohnen in Niedersachsen, er in Baden-Würhtenberg.Es kommt dazu das wir beide voll Berufstätig sind,und unser Arbeitgeber feste Werksferien hat. Der Vater des Jungen ist der meinung, das es allein das Problem der Mutter wäre, wie sie damit zurecht kommt, er ist auch der Meinung wir sollten uns dann eine Hilfe nehmen.Würde zum Beispiel die Pflegeversicherung dafür aufkommen? Ist das so einfach und was für rechtliche Schritte könnte man dagegen Unternehmen?
Vielen dank für eine Antwort!!