akjでh.264を選んだ場合のみ、失敗するのは、ffmpegとの相性の問題があります。

あべちんさんが、お気に入りの動画を携帯で見よう
http://blog.k-tai-douga.com/

で配布されているffmpeg.exeを設定してみてください。
最新版でもたぶん、問題ないでしょう。
今ですと、ffmpeg_bin-13118.zip　をダウンロードしてみてください。

VP6はほとんど、作っていないので、よくわかりませんが、
まずは、VP6コーデックを入手して、あといろいろするみたいです。
詳しくは、教えてGooとかで、
VP6 エンコード
で検索してみてください。
結構説明サイトあったと思います。（でもたぶん面倒です)

h.264が使えるようになった昨今、VP6が必要なのはニコニコ（無料ユーザー)だけになるような気がします。