Przypuszczalnie już w XVI w. w miejscu dzisiejszego pałacu stał drewniany dwór, ale dokładnej daty jego zbudowania  nie udało się ustalić. Prawdopodobnie już Konarzewscy, właściciele wsi, u schyłku XV w. mieli tu swój dom. Faktem jest natomiast, że z Konarzewa pochodzi Piotr Konarzewski, późniejszy sędzia ziemski kaliski ( początek XVI w.)

 

Na początku XVI w. dobra Konarzew należały do Dębińskich, w latach 20. XVI w. do Pępowskich, a pod koniec XVI w. najpierw do Roszkowskich, a potem na przełomie wieku do Zalewskich. Od 1629 r. do 1692 Konarzew należał do rodziny Lipskich, potem przez dwa lata do Naramowskich, a w 1694 r. dwór i dobra kupił Franciszek Zygmunt Gałecki, kasztelan kaliski, który w miejsce starego dworu pobudował nowy, z wszelkimi wygodami, oraz założył wokół niego piękny ogród włoski z alejkami nisko strzyżonych grabów, jałowców i ciętych w piramidy ligustrów.

 

Jak podają źródła, początkowo były w ogrodzie cztery sadzawki, pomiędzy nimi ozdobne drewniane mostki, dzięki którym można było dotrzeć do oranżerii pełnej drzewek pomarańczy, cyprysów, goździków holenderskich oraz innych egzotycznych roślin. Gałecki zatrudnił też ogrodowych, aby doglądali porządku.

Takim ogrodowym w 1728 r. był Niemiec Chrystian Luter. Gałecki, budując pałac w Konrzewie wraz z pięknym ogrodem, starał się o komfort być może dlatego, że zapraszał do siebie wysoko postawionych przyjaciół, m. in. króla Jana Sobieskiego, z którym wybierał się na łowy do pobliskich lasów, polując np. na niedźwiedzia.[21] Prawdopodobne jest też, że po udanych łowach biesiadował z przyjaciółmi w swoim nowym dworze w Konarzewie.

 

Wygląd parku i samego dworu zmieniał się zapewne pod wpływem nowych trendów, ale też i nowych właścicieli, którymi po Gałeckich byli Potoccy do 1779 r., po nich  – Dobrscy, a od lat 20. XIX w. Tekla Morawska, która mieszkała w dworze aż do śmierci w 1869 r. Po jej śmierci majątek prawdopodobnie należał do rodziny Chełkowskich. W latach 1875 – 1878 Konarzew koło Krotoszyna był miejscem potajemnych spotkań księży ze Związku Misjonarskiego ze swoim biskupem -fakt ten potwierdza ks. Walenty Śmigielski w swoich wspomnieniach z okresu Kulturkampfu. Bardzo możliwe, że miejscem tych spotkań był dzisiejszy pałac, bowiem zarówno Tekla Morawska, jak i spokrewnieni z nią Chełkowscy znani byli z religijności, a poza tym nie uznawali ustaw pniskich z 1873 r. zwanych prawami majowymi, które pozbawiały biskupów władzy w Kościele.

 

Obecnie istniejący pałac powstał prawdopodobnie w II połowie XIX w. na miejscu wcześniejszego dworu. Fundatorem byli przypuszczalnie Krzyżanowscy, którzy osiedlili się w Konarzewie w 1883 w. Wtedy to majątek konarzewski obejmował Konarzew, Szczerków. Ostatni Grosz i karczmę – ogółem 3974 morgi. Księga adresowa z 1884 r. podaje bardziej szczegółowo – dobra Konarzew liczyły 1012 ha w tym 583 ha pól, 81 ha łąk, 32 ha pastwisk. 328 ha lasów,29 ha nieużytków i ponad 3 ha wód, natomiast w 1890 r. oprócz wyżej wymienionych ujęta jest też gorzelnia. Spadkobiercy Krzyżanowskich nie utrzymali jednak majątku, a w 1905r. został on częściowo rozparcelowany przez Królewską Komisję Osadniczą i zasiedlony przez grupę kolonistów niemieckich z prowincji hanowerskiej.

 

W tym czasie pałac i pozostałe dobra należały do Niemca Wilhelma Sasse – było tego już niewiele, bo tylko 496 ha a w tym 204 ha pól uprawnych.82 ha łąk i pastwisk, 193 ha lasów i 17 ha nieużytków; pogłowie zwierząt liczyło: 32 konie, 110 sztuk bydła w tym 55 krów mlecznych, 70 sztuk trzody chlewnej; czynna była gorzelnia.

 

W 1926 r. jako właściciel majątku wymieniony jest Leon Szczepański z Poznania, dobra jednak byty już znacznie okrojone i zajmowały powierzchnię 232,5 ha, hodowano bydło czarno-białe rasy nizinnej (26 sztuk), gorzelnia należała już do „Spółki Gorzelniczej”.

 

W latach 3O.XX w. majątek zamieszkiwali Scheiblerowie -przemysłowcy z Łodzi. Według informacji uzyskanych od żyjącej jeszcze służącej Scheiblerów pałac jak również ogród prezentował się wspaniale. Hol w budynku wyłożony był marmurowymi płytkami, w górnych pokojach sypialnych leżały dywany z wysokim włosem (służące musiały chodzić boso), na ścianach wisiały obrazy, poza tym były przepiękne zastawy stołowe i srebra itp.

 

Wszystko to zaginęło w 1945 r. po wyjeździe Scheiblerów do Niemiec. Sam zaś park był również bardzo pięknie urządzony: od strony północnej pałacu rosły wspaniałe duże krzewy rododendronów, na dwóch stawach pływały lilie wodne, krzewy i drzewka przystrzyżone były w kule i stożki, a w alejkach stały gipsowe rzeźby (popiersia). Całość parku ogrodzona była drewnianym płotem, majątkiem zarządzał Metner, a obejścia pałacu pilnował stróż, który musiał gwizdać o każdej pełnej godzinie, chodząc wkolo budynku.

 

II wojnę światową pałac przetrwał bez zniszczeń a po 1945 r. pałac został przebudowany. Przez pewien czas znajdowała się tu szkoła rolnicza, a później magazyny GS i ZM. W latach 70. XX w. funkcjonował tu ośrodek kolonijny Zakładów Mięsnych z Krotoszyna. W tym czasie miał miejsce pożar, w wyniku którego całkowicie została zniszczona górna kondygnacja budynku oraz dach. Po pożarze w II połowie lat 70. XX w. przeprowadzony został remont pałacu z częściową przebudową. Nadbudowano górną kondygnację środkowej części budynku i zmieniono dach na płaski. To sprawiło, że pałac zaczął przypominać (od frontu) blok mieszkalny. Z dawnych elementów zachowały się drzwi zewnętrzne, klatka schodowa, kominek oraz rozkład pomieszczeń na parterze. Od 1978 r. po dzień dzisiejszy budynek pałacu to siedziba Specjalnego Ośrodka Szkono-Wychowawczego.

 

Dawny wygląd pałacu znany jest dzięki kartom pocztowym z 1905 r. zachowanym w Muzeum Regionalnym w Krotoszynie. Budynek został wzniesiony w stylu neoklasycznym. Składał się z 2- kondygnacyjnej części środkowej z niższym piętrem między dwoma wyższymi (mezzanino) oraz 3-kondygnacyjnych skrzydeł bocznych. Wszystkie te części budynku pokryte były dwuspadowym dachem (każda część osobno). Elewacje zostały podzielone międzykondygnacyjnymi gzymsami, a krawędzie skrzydeł zdobione pewnym rodzajem rowkowania w kształcie figur geometrycznych (boniowania).

 

Niestety pałac nie ma już takiej wartości zabytkowej jak niegdyś. Jego wygląd znacznie różni się od poprzedniego – dziś jest to budynek wysokopodpiwniczony, 3-kondygnacyjny,nakryty płaskim dachem. Od strony północno-zachodniej urozmaicony centralnie usytuowanym 2-kondygnacyjnym 5-bocznym ryzalitem, a od strony północno-wschodniej kolumnowym tarasem; jest gładko otynkowany, pozbawiony boniowania. Przed budynkiemy jest podjazd w kształcie półkola ograniczonym murkiem i klombem z kwiatami (róże, hortensje, iglaki miniaturki itp.) Park otaczający budynek ma charakter krajobrazowy, zajmuje teren ok. 5 ha, rozplanowany został w II połowie XIX w. Dziś ma nieuregulowany kształt, od południa ograniczony jest drogą, od północy ciekiem wodnym będącym dopływem rzeki Orli, od zachodu łąką i drogą polną a od wschodu terenem gospodarstwa indywidualnego. Od strony południowej znajduje się główny wjazd na teren parku i ośrodka. Zachował się tu fragment ozdobnego muru z filarami bramy wjazdowej z wazonami na słupkach, która pochodzi z początku XX w. Przy ogrodzeniu rośnie dąb o obwodzie 530 cm. Po stronie wschodniej opodal budynku stoi figura Matki Bożej z 2. połowy XIX w.[30]
Od strony północnej znajduje się trawiasta polana ze ścieżkami spacerowymi oraz placem zabaw dla dzieci. W obrębie parku występują ciekawe okazy starodrzewia: głównie dęby rosnące po wschodniej stronie pałacu, poza tym sosny bałkańskie oraz sosny wejmutki, świerki, buki, jawory, klony, brzozy, olchy, kasztanowce, robinie akacjowe itp.