隨後，趙國內部出現奪權事件，趙襄子的兒子趙桓子起事驅逐了趙獻侯（趙浣）而自立，一年以後，趙桓子又死了，趙國的大臣們興事殺了趙桓子之子，重新迎接趙獻侯來臨朝執政，這長達幾年的內亂，削弱了趙國的實力，於是中山武公便趁機鮮虞族頑強抵抗趙、魏兩國，又聯合齊國，徹底擺脫了趙、魏兩國的控製。
數年後，中山武公過世，其子「中山桓公」繼位，桓公年幼，不恤國政，因此遭到了魏國的進攻。
當時，樂羊是乃魏國國相「翟璜」座下的門客，因此當魏文侯決定討伐中山國時，翟璜推薦了樂羊擔任攻伐中山國的主帥，與當時仍在魏國的「吳起」一同率領魏軍討伐中山。
【PS：在一些史料上，可能會稱這場仗是晉國派兵攻伐中山，那是因為魏、韓、趙三家此時雖然已經瓜分了晉國，但周王室還未承認這三家的諸侯地位，要等到魏滅中山後大概四年後左右，周威烈王才冊封魏、韓、趙三家為諸侯，介時，魏、韓、趙三國才被世人所認可。所以在此之前，晉國仍然以名存實亡的形式存在著。】
值得一提的是，樂羊與翟璜當時是有一段恩怨的，據說是樂羊的兒子「樂舒」在戰場上殺死了翟璜的兒子「翟靖」。
此事約發生在趙國內亂奪權時期，即趙桓子驅逐趙獻侯（趙浣）而自立。
這件事的起因，在於趙鞅見長子「趙伯魯」資質平庸，不足以擔當重任，便將君位傳給了小兒子趙無恤，即趙襄子。
而待等趙襄子立嗣時，他覺得父親將君位傳給自己的舉措不合“宗法”，便決定將君位還給兄長趙伯魯一係，於是他並不冊立太子，且將兄長的兒子「趙周」封為「代成君」，準備將君位傳給後者。
沒想到趙周年紀輕輕卻死在趙襄子麵前，於是趙襄子最終將君位傳給了趙周的兒子趙浣，即趙獻侯。
然而，此舉引起了趙襄子親生兒子趙嘉的不滿，後者驅逐了趙浣，自立為君，即趙桓侯。
趙國的大臣考慮到趙桓侯繼位並非是趙襄子的本意，便聯合起來殺死了趙桓侯，再次迎趙獻侯繼位。
而中山國就趁著趙國這場內亂，率兵攻伐趙國，希望借此擊敗趙國，脫離趙國的控製。
那時趙獻侯剛剛恢複君位，見趙國在內亂中元氣大傷，難以抵擋中山國，便以割讓「智邑（今永濟）」為條件，向魏國請求援助。
於是魏國便派吳起率軍攻伐中山國。
正是在這場戰爭中，翟璜的兒子翟靖，被此時擔任中山國將領的「樂舒」所殺，且魏軍無功而返。
樂羊的兒子樂舒，為何會在中山國擔任將領呢？
這件事，就連中山樂氏一族的族長也說不清楚，據樂氏一族內部的猜測，樂舒大概是在魏文侯的女兒公子傾嫁到中山國時，作為沿途護送的一名魏卒前往中山國的，此後因為能力出眾而被中山文王看重，成為了中山國的將領。
值得一提的是，同為魏國攻伐中山國的兩位名將，樂羊也好，吳起也好，皆是善於統帥軍隊的將領，但“私德”卻同樣為人詬病，吳起有“殺妻求將”的汙名，而樂羊呢，則也有“樂羊啜羹”的汙名。
所謂“樂羊啜羹”，即是在樂羊、吳起二人率魏軍攻伐中山國的期間，當時初繼位的中山桓公，為了逼迫樂羊退兵，便用其子樂舒作為要挾，沒想到樂羊不願因私廢公，於是中山桓公便將樂舒殺死，烹成肉羹贈予樂羊。
沒想到，樂羊為了表達他對魏國以及魏文侯的忠心，竟將親兒子烹成的肉羹喝完，由此傳開了“樂羊殘忍食子”的惡名。
就連此前頗為欣賞樂羊的魏文侯，也因此與其漸漸疏遠。
但即便如此，為了獎賞樂羊的功勞，魏文侯還是冊封樂羊為靈壽君，並將靈壽作為樂羊的封邑。
至此，樂氏一族便在中山靈壽安家落戶。
待等到二十餘年後，成為一次亡國之君的中山桓公在困境中成長，立誌複國。
當時樂羊已死，桓公以誠懇的態度得到了樂羊之孫、樂舒之子「樂池」的原諒，拜後者為將相，複辟中山國，聯合齊國對抗趙魏兩國。
於是，樂氏一族便成為了中山國人。
直到如今，趙國再次覆亡中山國，樂氏一族便又成為了趙國人。