通知先についての説明は、「お問合せ窓口について」の「使い方メモ」に書いてあります。

引用：
問合せの通知

* 担当者が指定されていない場合、担当グループに通知が行われる

この時の通知の差出人は、特に指定しない限りサイトの管理者のメールアドレスになります。(notify_with_email のオプションを指定すれば問い合わせした人のメールアドレスが使われる)

返信用メールアドレスを削除が可能かどうかはやったことがないので知りません。(先に回答している通り)
--
安冨 伸浩 (マイサイト管理人)