Es ist auch nicht wirklich elegant, applications probleme über Infrastruktur lösen zu wollen.
Alle anderen machen es doch auch so, dass beim aufruf einer URL die Authentifizierung und die Authorisierung geprüft werden(achtung unterschied!), warum du nicht? wie flashpixx sagt ist der referrer optional, ich würde sogar noch weiter gehen:
wenn du es darüber abfackeln willst, würde mir der fiddler erlauben über manipulierte pakete problemlos deine geschützten Bereiche zu lesen, das ist doch nun wirklich nicht in deinem Interesse, oder? ;-)