The expression derives from the bible, when Moses said: "Let my people go!" - Correction made thanks to "caspertavernello" & "pirulito" for helping me with this somewhat tricky one!
The most usual traslation is "Släpp mitt folk, så att de kunna hålla gudstjänst åt mig", no "Låt mitt folk gå och hålla gudstjänst åt mig". Neverless, it's ok.