Resulta que en la versión July 2009 CTP de las Windows Azure Tools for Microsoft Visual Studio se escapo un error. El proceso de build no copia el App.config del proyecto del WorkerRole.
Tiene solución, no se preocupen. Solo busquen en Google.
Sean buenos.