O problema afeta diversos aparelhos Android, de diversas marcas (aparentemente mais modelos Motorola e LG), especialmente nas versões 4.2. e 4.3 do sistema. Para resolver o problema resumidamente realize as etapas que seguir:

1. Movimente toda sua biblioteca de música para o computador e escaneie tudo contra defeitos (esvazie seu telefone), use o MP3 Check ou o CheckMate. Apague os arquivos que forem marcados como corrompidos.
http://mp3.about.com/od/tutorials/ht/Check-MP3-Files-For-Errors.htm
http://sourceforge.net/projects/mp3check/

2. Verifique manualmente no telefone se há arquivos de imagens corrompidos (imagens pela metade), pasta por pasta.

3. Coloque arquivos “.nomedia” em todas as pastas que não precisam ser indexadas para facilitar o trabalho do media server: basicamente todas as pastas do “sdcard” menos “Music” e “Pictures”.
http://lifehacker.com/5793803/disable-media-scanning-in-specific-android-directories-by-creating-a-nomedia-file

Se estiver com dificuldade para criar os arquivos .nomedia no Windows use o comando ”copy con”.
http://forum.xda-developers.com/showthread.php?t=751339

4. Localize o serviço e limpe as informações do Media Server (“Armazenamento de Mídia”), force a parada do serviço e reinicie o telefone.
http://imageshack.com/a/img845/870/oalk.png

5. Por garantia desabilite o Google Music Sync (não sei se fez diferença para mim, já que não tenho nada no Google Music).
http://pelosini.com.br/nexus-4-alto-consumo-de-bateria-pelo-media-server

6. Copia sua biblioteca de músicas de volta para o telefone.

Levou um dia mais ou menos para as coisas voltarem ao normal. Como os dados do media server foram limpos, ele precisa reindexar toda sua biblioteca, então é normal ainda gastar um pouco mais nos primeiros momentos.

O Media Server que antes gastava cerca de 50% da bateria (era o primeiro da fila no consumo) passou a gastar 5%, no máximo. E a bateria do meu meu Moto G voltou a durar dois dias seguidos de uso normal com wifi e sincronização ativados o tempo todo.

Com as etapas acima não foi necessário realizar o reset de fábrica.

Alternativa para quem é root: use o Mediaserver Killer, acredito que poderá também fazer bom efeito e pode acabar sendo mais simples.