一九三二年，第十屆奧運會在美國洛杉磯舉行。中華全國體育協進會根據《奧林匹克憲章》有權向奧運會派出參賽運動員，然而，中華全國體育協進會屬於民間團體，並沒有經費，於是向當時的教育部提出電請，要求政府支持參加奧運會。洛杉磯奧運會定於七月三十日舉行開幕式，教育部卻在五月下旬突然宣布，決定不派遣運動員參加，理由為「時間倉促，準備不足」，僅由中華全國體育協進會總幹事沈嗣良以代表身份赴美觀禮。

當年六月，潘德明抵達奧運會的發祥地希臘古奧林匹亞遺址。在報紙上，他看到中國因資金問題沒有派運動員參加洛杉磯奧運會，憤而在古運動場遺址旁貼紙條，用中英文寫下兩行大字：「中國人潘德明步行到此！」在希臘期間，潘德明獲得時任首相維尼各羅斯（Venizelos）的禮遇，維尼各羅斯接見他時說：「我從你身上看到了東方古國的覺醒。」

一九三四年到達美國，潘德明還受到時任總統羅斯福的接見，羅斯福贈送他一枚金牌，稱讚道：「榮譽永遠屬於有奮鬥精神的人」。

潘德明曾就讀於東吳大學第三附中，這所學校是今天湖州二中的前身。據了解，一九九八年遷至新校區後，該校新建了以潘德明的名字命名的藝體館，近年學校還增設紀念環節，高三學生每年都會在潘德明藝體館前拍畢業照，以此傳承其精神。