Microsoft x64 呼び出し規約

x86はcdeclやstdcall, fastcallなどいくつかの呼び出し規約がありますが、x64はfastcallしかありません。

引数

• 第1引数 rcx もしくは xmm0
• 第2引数 rdx もしくは xmm1
• 第3引数 r8 もしくは xmm2
• 第4引数 r9 もしくは xmm3
• 第5引数以降 スタック

第1引数から第4引数については型によって以下のような値が渡されます。

• 整数型、1, 2, 4, 8バイトの構造体、__m64 は汎用レジスタに値として渡される。未使用上位ビットはクリアされない。
• float/double はxmmレジスタに値として渡される。未使用上位ビットはクリアされない。
• 上記以外（1, 2, 4, 8バイト以外の構造体、__m128）は汎用レジスタにポインタとして渡される。ポインタは16byteでアラインメントされている。

戻り値

• 整数型、1, 2, 4, 8バイトの構造体、__m64 はraxに値として返される。
• float/double/__m128 はxmm0に値として返される。
• 上記以外は関数呼び出し時の最初の引数(rcx)として戻り値のポインタを渡し、そのアドレスに戻り値の内容がコピーされる。raxにはそのポインタ(つまり第1引数と同じ値)が返される。 第1引数が戻り値のポインタとなるため、関数の本来の引数は第2引数以降に渡される。

呼び出し直後のスタック

関数呼び出し時は呼び出し側で32バイト以上のスタック領域を確保してからcallを行う必要があります。
32バイトというのはレジスタ渡しとなる4つの引数をスタックに退避するのに必要となるサイズです。これは呼び出したい関数の実際の引数が3つ以下のときでも確保しておく必要があります。確保したスタックの中身は未初期化のままで構いません。5つ目以降の引数はそれに続くようにpushされます。
さらにもう一つの決まりとしてcall直前のスタックポインタが16バイトアラインされている必要があります。

引数が4つ以下の関数を呼び出した直後のスタックの状態

引数が5つの関数を呼び出した直後のスタックの状態

参考

x64 ソフトウェア規約(MSDN)
x64: Starting Out in 64-Bit Windows Systems with Visual C++
The Old New Thing : The history of calling conventions, part 5: amd64