So it seems after many fruitless hours that Godot 4 just doesn't want this game to be playable in a browser. So instead I went and ported the whole thing into Godot 3 and now we have a web build!