正确答案 ：D

解析

法律常识。
①正确，《中华人民共和国民法典》第一千零二十四条规定：“民事主体享有名誉权。任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。名誉是对民事主体的品德、声望、才能、信用等的社会评价。”陈某当众辱骂李某侵犯了李某的名誉权。
②错误，身份权是基于特定的身份而取得的，主要包括亲权、配偶权和亲属权。陈某当众辱骂李某没有侵犯其身份权。
③正确、④错误，《最高人民法院关于适用〈中华人民共和国民事诉讼法〉的解释》第九十条规定：“当事人对自己提出的诉讼请求所依据的事实或者反驳对方诉讼请求所依据的事实，应当提供证据加以证明，但法律另有规定的除外。在作出判决前，当事人未能提供证据或者证据不足以证明其事实主张的，由负有举证证明责任的当事人承担不利的后果。”因此，应由李某承担举证陈某侵权的责任，而不是由陈某举证其没有辱骂李某。
综上，①③表述正确。
故本题答案为D项。