Die Errichtung des Hultschiner Waisenhauses für Jungen wurde von den drei Söhnen Anselm Salomon Rothschilds (1803–1874) initiiert, und zwar von Nathaniel Mayer (1836–1905), Ferdinand James (1839–1898) und Salomon Albert (1844–1911). Zu Ehren ihrer vorzeitig verstorbenen Mutter Charlotte trug es ihren Namen. Charlotte (1807–1859) war die Tochter von Anselms Onkel Nathan Mayer aus dem Londoner Zweig der Familie. Anselm heiratete sie im September 1826.
Das Waisenhaus wurde südlich des Schlosses am Rande des Schlossparks in der Nähe der Kirche des hl. Johannes des Täufers gebaut. Vom Schloss her kamen die Besucher durch den Haupteingang direkt in den ersten Stock, ins Erdgeschoss kam man dagegen vom Garten aus. Im Giebel war das plastische Wappen der Familie Rothschild platziert.
Die Zöglinge des Waisenhauses bekamen hier nahrhafte Verpflegung und Kleidung (Uniform) und man kümmerte sich um ihre Ausbildung an der hiesigen Schule. Nach dem Unterricht arbeiteten sie im Garten. In der Freizeit konnten sie am Spielplatz spielen. Sie blieben bis zum Alter von 14 Jahren im Waisenhaus.
In den Jahren 1920–1925 war in dem Gebäude das neugegründete Gymnasium provisorisch untergebracht, später hatte hier das Finanzamt seinen Sitz. Seit den fünfziger Jahren diente es als das Haus der Pioniere und Jugend. Und in den Jahren 1973–1974 wurde es für diese Zwecke rasant umgebaut. Die Mehrheit der wertvollen architektonischen Elemente und Details verschwand jedoch schon beim Umbau in fünfziger Jahren.
