Try this: create a sharepoint site with forms based authentication - log in - DO NOT click "Sign me in automatically".
Then open an Office document from a document library. Or rather try to.
"The file you are trying to open, "filename.xls", is in a different format than specified by the file extension. Verify that the file is not corrupt and is from a trusted source before opening the file. Do you want to open the file now?".
For our german readers and the sake of google, here the whole box in german:
"Sie versuchen eine Datei zu öffnen, 'filename.xls', deren Format von dem in der Dateierweiterung angegebenen abweicht. Stellen Sie sicher, dass die Datei nicht beschädigt ist und aus einer vertrauenswürdigen Quelle stammt, bevor Sie die Datei öffnen. Möchten Sie die Datei jetzt öffnen?"
When you actually open it in excel, you do see a strange page with a login form.
Workaround: check "Sign me in automatically" at the login page - then this behaves as normal.
I'll try to raise this issue with Microsoft - I'll blog the result here.