但有一點值得注意，由於寶劍騎士團是主教阿爾伯特一手組建的，所以教皇同意阿爾伯特獨立指揮騎士團，也就是說，寶劍騎士團需要聽命於主教阿爾伯特，這與其他騎士團直接聽命教皇不同，所以其地位自然不如三大騎士團。
隨著寶劍騎士團到處征戰，周圍的土著勢力自然十分敵視這幫騎士。公元1217年，愛沙尼亞人聯合羅斯人發動反擊，一支約6000人馬的聯軍攻入了利沃尼亞。時任大團長的沃爾金當機立斷，率領人數處於劣勢的3000騎士團主動迎戰。
雙方會戰於菲林森林地區。
兩軍布陣中，寶劍騎士團以騎士、重騎兵坐鎮中央，以當地仆從軍為兩翼，擺出一幅決一死戰的架勢。愛沙尼亞聯軍因成分混雜，顯得淩亂不堪。
果然，在雙方正式交戰中，寶劍騎士團更像職業軍團，而愛沙尼亞聯軍則如同匆忙上陣的民兵，鏖戰不久，寶劍騎士團左翼就突破了敵軍右翼，並斬殺敵軍指揮官。此舉使得愛沙尼亞聯軍指揮係統更加混亂，最終大敗而逃。
此後數十年裡，寶劍騎士團越戰越勇，他們憑借自身優秀的戰鬥素養，以及來周圍勢力的增援，不斷周旋於教皇、丹麥、不萊梅、羅斯等國之間，拉一派打一派，到公元1227年時，寶劍騎士團聯合三大騎士團，征服利沃尼亞和愛沙尼亞大部，成為該地最大地主。
按說照此發展，寶劍騎士團應該能成為聲望不屬於三大騎士團的第四騎士團，然而崛起過快的寶劍騎士團內部問題重重。
首先是主教的關係。隨著寶劍騎士團的勢力越來越大，大團長自然不再願意屈居主教之下，於是他們公然提出獨立自主的要求，這使得騎士團與主教關係惡劣，最終雙方分道揚鑣，阿爾伯特不再為騎士團提供支持，另外還想法設法的削弱騎士團的領地。
其次是丹麥的強勢介入。看著富饒的愛沙尼亞地區，作為波羅的海強國的丹麥自然也想分一杯羹，於是他們的國王以獲得騎士團征服地為條件，援助寶劍騎士團，可是雙方同床異夢，丹麥妄想直接兼並騎士團的土地，騎士團卻隻想利用丹麥，最終雙方劍拔弩張，使得來自海上的援助徹底斷絕。
最後是騎士團內部問題。創業之初的騎士團披肩斬棘、艱苦樸素，但地盤越來越大之後，騎士團內部開始腐化墮落，騎士們酗酒享樂、聲色犬馬，再加上對當地土著的管理不善，起義時有發生，於是騎士團隻好用降低或者不收稅來緩和矛盾。此舉令騎士團的財政嚴重惡化，到後來已經無力雇傭更多的軍隊，還欠債無數。
寶劍騎士團的問題令教皇也很是不滿，於是教廷試圖讓條頓騎士團入主波羅的海，以取代孱弱的寶劍騎士團。事實上，作為德意誌最大的騎士團，條頓騎士團的地產雄厚，完全可以支撐更大規模的征服活動，這一點是到處欠債的寶劍騎士團所不能匹敵的。
意識到問題，寶劍騎士團大團長隻好向條頓騎士團尋求幫助，對方認為與其忙著治理利沃尼亞和愛沙尼亞，不如出兵攻打更加遼闊的立陶宛，並承諾會出兵支援。
結果公元1236年蘇勒之戰，寶劍騎士團集中7000人的隊伍。由大團長沃爾金率領，入侵立陶宛。結果大敗，包括大團長沃爾金在內的幾乎所有騎士陣亡當場，寶劍騎士團的主力精銳與高級騎士於此役全軍覆沒，騎士團至此沒落。
蘇勒之戰徹底斷送了寶劍騎士團，大團長及主要騎士陣亡後，條頓騎士團入住波羅的海，全盤接收了愛沙尼亞的土地，寶劍騎士團就此被吞並，淪為條頓騎士團附屬。
法爾內斯就是寶劍騎士團的後裔，瓊羅是米迦勒騎士團後裔，阿修雷是烏列後裔，而條頓騎士團的餘部則落入了皇女瑪麗貝爾手中。