解決だっちゃ

Downloads」の「Other」-「win32-dependencies.zip」をダウンロード、解凍。
「win32-dependencies\prebuilt\lib」の中のファイルを全て「Python\Lib\site-packages\pygame」にコピー。オリジナルのファイルは拡張子に「_original」を付けて上書きを防止。
これでmp3ファイルが再生できるようになった。
「win32-dependencies\prebuilt\include」のファイルは必要に応じて。
やれやれ。