1834. Sebastian odjíždí do Itálie, aby našel schovanku Olivii a předal jí dědictví po Eugénii. Přestože Olivii odjakživa nesnášel, tíží ho svědomí, že jí zabil matku. Rodina očekává, že přiveze Olivii zpět na hrad, protože ji miluje jeho nejstarší syn Christian. Sebastian ale nic takového nemá v úmyslu, chce dívku finančně zabezpečit a co nejvíce ji synovi vzdálit. Když se mu Olivii podaří najít, její starý, invalidní manžel za podivných okolností umírá. Vyšetřování se protahuje stejně jako majetkové vyrovnání v Ravenně. Sebastian se vrací do míst, kde prožil nejšťastnější i nejdramatičtější chvíle svého života. Po boku ale nemá Lauru, nýbrž Eugeniinu dceru Olivii, která mu přiznává, že byla do něj odjakživa zamilovaná. Přestože Sebastian Olivii stále nesnáší, vzpomínky na mládí, atmosféra města i odloučení od Sylvie způsobí, že se Olivie stává jeho milenkou. Oba vědí, že jejich poměr musí brzy skončit, Olivie souhlasí, aby ji Sebastian znovu provdal. Vybírá jí mladého, zchudlého aristokrata Fabrizzia, jehož rodina se třese na Oliviino ohromné jmění. Sebastian se s pocitem viny vrací domů. Za italským dobrodružstvím dělá tlustou čáru a doufá, že Olivii už nikdy neuvidí. Po návratu domů se tvrdě střetne s Christianem, syn sice netuší, co se v Itálii mezi otcem a Olivií odehrálo, ale nedokáže mu odpustit, že dívku znovu a ukvapeně provdal. Odjíždí ji hledat.
Sylvie, její dva malí synové, dcera Christina i nevlastní syn Lucien onemocní chřipkou. Sylvie se ocitne na prahu smrti. Sebastian to považuje za trest osudu. Přijíždí Josefina, aby o Sylvii pečovala. Sebastian se jí svěří se svým italským pokleskem. Zděšená Josefina mu radí všechno ututlat Když se Sylvie uzdraví, všichni věří, že to nejhorší už mají za sebou. Ale pravá pohroma je teprve čeká.
Student Lucien narazí v Paříži na Olivii. Je ve vysokém stupni těhotenství, žije v ústraní s mladičkou společnicí Michéle, zatímco se její manžel Fabrizzio baví, chodí do společnosti a rozhazuje její peníze. Lucien informuje Christiana, který po Olivii dosud nepřestal pátrat. Oliviin porod je komplikovaný, dítě je nedonošené. Olivie dostává horečky, nakonec se jí „vrazí mléko do hlavy“(laktační psychóza). Fabrizzio ji opouští i se zbytkem jejího jmění. Lucien s Christianem zjistí, že otcem Oliviina syna není Fabrizzio, ale jejich vlastní otec Sebastian. Dítě dostává jeho jméno. Christian v souboji zabije Fabrizzia. Sebastian přijíždí do Paříže, aby urovnal rodinné vztahy. Teprve tady se dovídá, že je otcem Oliviina dítěte. Christian ho přesto žádá, aby se mohl s Olivií oženit. Ne z lásky, ale proto, aby se o ni mohl postarat, jak jí v dětství slíbil. Oliviina duševní choroba je nevratná, přidává se i motorické postižení. Sebastian odmítá, nechce, aby si jeho nejstarší zničil život. Po domluvě odváží Olivii, dítě i společnici Michéle na Montignac k Josefině. Tam se Oliviin zdravotní stav stále zhoršuje. Bratři najmou lékaře a kočár, přemluví společnici Michéle a Olivii unesou.
Sebastian nedokáže Sylvii přiznat svou vinu, ale sám si vyměří trest, zříká se majetku a odchází na opuštěnou usedlost v horách. Pravdu Sylvii řekne až Josefina. Sylvie s ní odjíždí na Montignac, kde se ujímá neduživého Oliviina syna. Nechce, aby potomek rodu de Braie žil jen z milosti příbuzných. Po určité době si ho odváží na hrad, kde ho vydává za vlastního. Pravdu znají jen nejbližší lidé.
Christian přeruší studia, ožení se s Olivií a usadí se na Barfleuru, který zdědil po matce. Olivie zůstává mentálně na úrovni pětiletého dítěte, je těžce fyzicky postižena a zcela odkázána na Christianovu pomoc a péči společnice Michéle. Do Michéle je už od pařížských časů zamilován Lucien a zdá se, že dívka jeho náklonnost opětuje. Ani Christian však není imunní. Jak jde čas a on má možnost srovnávat, zjišťuje, že Michéle je přesně ta dívka, kterou by si vybral jako životní družku, kdyby měl možnost volby. Ale protože je připoután k Olivii, nechá si své city pro sebe, jen se snaží vzdálit od Michéle Luciena, který za ní pravidelně dojíždí.
Olivie v nestřežené chvíli padá ze schodů, těžce se zraní. V tísni Christian posílá pro Sylvii. Ta zapomene na staré křivdy a ošetřuje umírající Olivii až do konce.
Krajem se šíří pomluvy, duševně chorá Olivie byla považována za bohatou ženu a Christian je podezřelý, že se jí zbavil, aby se osvobodil od přítěže, a získal její majetek. Soudní proces vyvolá velkou pozornost. Christianovi přijíždí nečekaně na pomoc otec. Sebastianova výpověď i svědkové, které zajistil, zvrátí veřejné mínění a přimějí soud k osvobozujícímu rozsudku.
Christian se smiřuje s otcem a vrací se do Paříže, aby dostudoval medicínu. Michéle odjíždí se Sylvií na hrad jako její společnice. Když se bratři de Braie vracejí z Paříže, soupeří spolu o její přízeň. Protože je situace neudržitelná, odjíždí Michéle k tetě do Paříže. Sebastian se pokouší smířit se Sylvií, ale ta je příliš hrdá a odmítá, přestože jeho a Oliviina syna dokázala přijmout.
Teprve když je Sebastian na usedlosti v horách zraněn a jeho život visí na vlásku, přijíždí Sylvie, aby ho ošetřovala. Po dlouhých měsících uzdravování se s ní vrací na hrad. Michéle se v Paříži setkává s Christianem a dává mu přednost před Lucienem. U Josefiny na Montignacu dojde ke skandálnímu incidentu: Michéle je vystavena posměchu pro svůj původ, Christian se kvůli ní bije.
Dozvuky skandálu však doletí i do vzdáleného departementu a Michélin otec-despotický soudce na malém městě- si v Christianově nepřítomnosti odváží dceru domů. Tehdy zasáhne Sebastian a díky svému vlivu získává pro syna Michélinu ruku. Brzy po Christianově svatbě vypukne na hradě ničivý požár, který málem zaplatí životem malý Sebastian. Zachrání ho Michéle. Rodina de Braie se stěhuje ze zničeného hradu na přestavěnou usedlost, které se teď říká Zámeček.... celý text
Heřmánkové údolí