WordPressで独自の投稿タイプを作成するのに便利なプラグインCustom Post Type UI
作成する際に「Post Type Slug」は英語のみ使えますが、先日間違えて日本語で登録してしまいました。
登録後、間違えに気づいてリネームしたが、なぜか削除できず。。。
逆にリネームして保存すると上書きではなく、新規で投稿タイプが作成されてしまい、該当の投稿タイプが削除できない。
いろいろと試した結果、以下の方法で削除できました。
1, Inport/Exportでエクスポートする

最初はデータベースから直接当該部分を削除しようと試みましたが見当たらず、コードを見る限りJSONなので、おそらくJSON形式でWordPress自体に保存されているのでしょう。
2, 当該箇所を削除

このJSON部分から対象のカスタム投稿を探します。
橙下線の部分がslug名になります。通常slug名は英数字だけ使用できます。なので「\u30a4\u30d9\u30f3\u30c8\u60c5\u5831」といった表示になることはないので、日本語を入れてしまった場合こののような文字列になってしまいます。
ということでこの部分を削除します。上記画像だとinfoが別のカスタム投稿になるので、矢印の間の部分をまるまる削除してください。
3, インポート

あとは削除したソースを[Import Post Types]に貼り付けて[Import]ボタンをクリックして完了です。
気をつけて頂きたいのが、削除する部分を間違えると、他のカスタム投稿にも影響が出るので、削除の前のJSONをバックアップしておいてください。
追記 ※2017/9
現在では日本語で入力を行おうとしても入力出来ないようになっているようです。