Sein Neffe Otto heirate Adelheid von Ahaus, die 1241 nach dem Tode ihres Bruders die Herrschaft Ahaus erbte und damit die Herrschaften Horstmar und Ahaus vereinigte. Deren Tochter Beatrix heiratete 1251 Friedrich I. von Rietberg, wodurch die Herrschaft Horstmar mit Rietberg vereinigt wurde. Als dann Friedrich von Rietberg als Bundesgenosse des Erzbischofs von Köln in der Kölner Fehde gegen Graf Wilhelm IV von Jülich und dessen Verbündeten Fürstbischof Gerhard von Münster in der großen Ritterschlacht bei Zülpich 1267 in münsterische Gefangenschaft geriet, konnte er das Lösegeld nur aufbringen, indem er seine Horstmarer Besitzungen an Fürstbischof Gerhard von Münster abtrat. So kamen 1269 Burg und Herrschaft Horstmar mit allem Grundbesitz einschließlich der Vasallen, Dienstmannen und Hörigen unter fürstbischöflich münstersche Landeshoheit.
Bei der Einteilung des Fürstbistums in Ämter im 14. Jh. wurde die erworbene Herrschaft Horstmar mit den fürstbischöflichen Besitzungen im Raume Coesfeld und Billerbeck zum fürstbischöflichen Amt Horstmar vereinigt, dessen Verwaltungssitz in der Horstmarer Burg eingerichtet wurde. Die Fürstbischöfe bauten die Burg weiter aus und wählten sie immer wieder zu einem ihrer Lieblingsaufenthaltsorte, vor allem im Sommer. Fürstbischof Bernhard von Raesfeld nahm im 16. Jh. sogar längere Zeit hier seinen Wohnsitz.
Obwohl die Burg/das Schloss eine besondere Bedeutung hatte, ist über das Aussehen nichts überliefert. Man kennt nur eine Beschreibung der Herrschaftsräume aus dem Jahre 1572: „der große Saal nebst anliegender Kammer, die Kapelle, ein Sallet vor der Kammer, das Gemach des Fürsten mit Utstich neben dem Gemach der Kammerknechte, der Turm, das Hohe Gemach, noch ein weiteres Hohes Gemach über der Wohnung des Fürsten und das Zimmer des Burgkaplans. Den Kammerjungen dienten ein Raum unter dem Hohen Gemach und ein zweiter über dem Utstich als Schlafstätte. Für das Handwerk gab es die Kammer der Weißbäcker und Fassbinder, des Orgelbauers und der Schneiderei. Als Wirtschaftsräume erscheinen die Gemächer des Küchenmeisters, der Küchenschreiber, des Weinschenks, der Boten, zugleich Esszimmer der Dienerschaft, der Mägde und Stallmeister, ferner die Küche und das Knechtesadell. Das Erdgeschoss enthielt den Haus- und Bierkeller und den Burgkerker. Für die fürstbischöflichen Amtsgeschäfte waren die Kanzlerkammer sowie die münstersche und die osnabrücksche Kanzlei eingerichtet.“
Die einzige bekannte bildliche Darstellung ist eine Skizze der Burgruine auf einer Karte aus dem Jahr 1661. Sie lässt erahnen, wie groß die Burg einst war; der Wohnturm scheint immerhin fünfstöckig. Obwohl die Skizze sicher nicht maßstabsgetreu und wenig detailliert ist, scheint sie jedenfalls nicht ganz unrealistisch, steht doch die abgebildete Scheune, die 1689 zum Amtsjägerwohnhaus ausgebaut wurde – siehe dort – heute noch.