Да, будут. Колебания шарика будут происходить благодаря инертности массы, при которой потенциальная энергия пружины будет переходить в кинетическую энергию шарика, и наоборот.