Ørkildborgen blev bygget af Valdemar den store i den anden halvdel af 1100-tallet. Senere kom den i Odense-bispernes besiddelse og er nævnt af dem for første gang i 1264. Med tiden voksede en lille by op med købmandsgårde, og hvad der hører til en selvstændig by med egen handel og skibsfart. Da Ørkild lå tæt på byen, og dermed var en stor konkurrent ift. handelen i Svendborg og ganske sikkert dominerende, følte Svendborgenserne sig med tiden truet af Ørkild.

Svendborgenserne klagede gentagne gange over beboerne på Ørkild og deres hensynsløse brug af havne, sejlads og udnyttelse af handel hen over hovedet på Svendborgenserne. Under Grevens Fejde i 1534 benyttede Svendborgenserne derfor lejligheden til at storme den forhadte borg og lod den afbrænde.