学習したい項目は DDE のことですか?それともSendMessage を呼び合っていてデッドロックしない理由ですか?(ちなみにデッドロックの話はDDEとは無関係)。
前者であれば、https://eternalwindows.jp/ipc/dde/dde00.html の記事が役に立つと思います(実際にプログラムコードの全文が載ってるので、動かしてデバッグするなども可能)。
メッセージを送信しあうことで発生するデッドロックのことについてであればまずはここのあたりですかね?
SendMessage はメッセージが処理されるまで帰ってきませんが、メッセージが再入しないとは一言も書いていません。
SendMessage API は別スレッド(別プロセス上のスレッドを含む)のウィンドウを呼び出した場合は再入可能な状態で待機します。そのため、別スレッドからSendMessageされてきた場合は再入できる形で待機しています。