Von der ehemaligen Burganlage - einst im Besitz der Herren „von Herda“ - ist nur der dem Dorf zugewandte Teil der Randbebauung über dem Steilhang erhalten, einschließlich des Torhauses. Der größere Teil der ehemaligen Burg ist jedoch nicht mehr vorhanden.
Aus der Chronik Unterellen ist zu lesen, dass das Anwesen bis zum Ende des 19. Jahrhunderts im Besitz derer von Herda war, die auch mehr als die Hälfte der Untereller Gemarkungen zu ihrem Grundbesitz zählten.
Aufgrund vorhandener Bausubstanz geht man davon aus, dass der Gebäudekomplex in drei größeren Bauabschnitten entstand und Anfang des 15. Jahrhunderts errichtet wurde.
Wie die Untereller Chronik weiter berichtet, starb im Dezember 1892 der letzte „von Herda“ und vererbte das Schloss samt Grundbesitz an seinen Verwalter Wölbing aus Lauchröden. Seit 1907 befindet es sich in Gemeindeeigentum und diente seither als Wohnraum, Bürgermeisteramt, Arztpraxis oder bis heute auch als Kindergarten.
Nicht mehr genutzte Gebäudeteile wie Ställe und Scheunen wurden in dreißiger und vierziger Jahren und später ein großer Balkon abgerissen.
Das Schloss Unterellen bleibt trotz dieser Veränderungen ein bedeutendes Zeugnis der Geschichte und ein Symbol für die wechselvolle Geschichte der Region und erinnert an die glanzvolle Vergangenheit und Wandlungen, die es durchlaufen hat.