ロンメル・ユナイテッドのルーツは、1920年代のベルギー・リンブルフ州にさかのぼる。地元の亜鉛工場で働く労働者たちのクラブとして産声を上げ、1927年にベルギー王立サッカー協会へ正式登録された。クラブはその後、解散と再建を繰り返しながら「オーヴェルペルト・ファブリク」の名で地域に根づき、工場町の象徴的な存在となっていった。
2003年、大きな転機が訪れる。近隣のKFCロンメルSKが経営破綻により解散したのだ。ロンメルは2001年のベルギーカップ決勝進出と、1997・1998年のUEFAインタートトカップ出場という輝かしい実績を持つクラブだった。この2クラブが合併してKVSKユナイテッド・オーヴェルペルト＝ロンメルが誕生。オーヴェルペルトの登録番号を引き継ぎながらも、本拠地をロンメルのソーヴェレインスタディオンに移し、両クラブのカラー（ロンメルの緑と白、オーヴェルペルトの赤と青）を融合させた新たなアイデンティティを築いた。
合併後のクラブは3部リーグを全勝優勝で制し、2部への昇格を果たすなど順調なスタートを切った。2010年にはKFCレーシング・モル＝ヴェゼルとの合併を経てロンメル・ユナイテッドに改称し、プロサッカーの舞台に立ち続けた。しかし2016–17シーズンに苦戦が続いて降格し、クラブ名もロンメルSKへと改められた。
2020年5月、マンチェスター・シティを傘下に持つシティ・フットボール・グループがクラブを買収し、そのグループ9番目のメンバーとなった。以来、ロンメルはCFGのグローバルな育成ネットワークにおける重要な拠点として、新たな役割を担っている。