PSP用に変換すると・・・

MKVは中身が普段使われない映像コーデックや音声コーデックが多いので変換失敗しやすいです。

対策としては
お気に入りの動画を携帯で見よう　のffmpegをダウンロードして設定する
http://blog.k-tai-douga.com/article/13987444.html

他には
ffdshowとavisynthをインストールして、変換時にavisynthをチェックして変換する
Mkvをvirtualdubmodでaviに変換したものを、変換するなどあります。

あとakJ Betasで不具合が出る場合は、ログが出ていることが多いので参考にしてみてください。（以下参考)
akJ Betasでのエラーのレポートの仕方

あと、MKV作成時は、映像 XVIDの音声 MP3にするのが無難です。