到公元1227年，寶劍騎士團聯合其他三大騎士團，征服利沃尼亞大部，成為該地最大地主。
按說照此發展，寶劍騎士團應該能成為聲望不屬於三大騎士團的第四騎士團，然而崛起過快的寶劍騎士團內部問題重重。
首先是主教的關係。隨著寶劍騎士團的勢力越來越大，大團長自然不再願意屈居主教之下，於是他們公然提出獨立自主的要求，這使得騎士團與主教關係惡劣，最終雙方分道揚鑣，阿爾伯特不再為騎士團提供支持，另外還想法設法的削弱騎士團的領地。
其次是丹麥的強勢介入。看著富饒的愛沙尼亞地區，作為波羅的海強國的丹麥自然也想分一杯羹，於是他們的國王以獲得騎士團征服地為條件，援助寶劍騎士團，可是雙方同床異夢，丹麥妄想直接兼並騎士團的土地，騎士團卻隻想利用丹麥，最終雙方劍拔弩張，使得來自海上的援助徹底斷絕。
最後是騎士團內部問題。創業之初的騎士團披肩斬棘、艱苦樸素，但地盤越來越大之後，騎士團內部開始腐化墮落，騎士們酗酒享樂、聲色犬馬，再加上對當地土著的管理不善，起義時有發生，於是騎士團隻好用降低或者不收稅來緩和矛盾。此舉令騎士團的財政嚴重惡化，到後來已經無力雇傭更多的軍隊，還欠債無數。
寶劍騎士團的問題令教皇也很是不滿，於是教廷試圖讓條頓騎士團入主波羅的海，以取代孱弱的寶劍騎士團。事實上，作為德意誌最大的騎士團，條頓騎士團的地產雄厚，完全可以支撐更大規模的征服活動，這一點是到處欠債的寶劍騎士團所不能匹敵的。
意識到問題，寶劍騎士團大團長隻好向條頓騎士團尋求幫助，對方認為與其忙著治理利沃尼亞和愛沙尼亞，不如出兵攻打更加遼闊的立陶宛，並承諾會出兵支援。
結果公元1236年蘇勒之戰，寶劍騎士團集中7000人。由大團長沃爾金率領入侵立陶宛。結果大敗包括大團長沃爾金在內的幾乎所有騎士陣亡，騎士團至此沒落。
蘇勒之戰徹底斷送了寶劍騎士團，大團長及主要騎士陣亡後，條頓騎士團入住波羅的海，全盤接收了愛沙尼亞的土地，寶劍騎士團改名聖拉斐爾騎士團，淪為附庸。
小法爾內斯就是聖拉斐爾騎士團團長安德烈法爾捏森的後裔，瓊羅是聖米迦勒騎士團騎士，阿修雷是烏列騎士團後裔，而德意誌核心的條頓騎士團餘部則在革命後被改編為加百列騎士團。