江户时代的武士之所以拥有“切捨御免”的特权，主要基于以下几个原因：
维护武士阶级的体面和尊严：根据搜索结果中的描述，切捨御免是江户时代武士的一项特权，其本意是维护武士阶级的体面。如果武士被随意侮辱，很容易动摇幕府的统治基础。来源
武士名誉高于一切：在当时的社会结构中，武士被视为贵族，他们的名誉被认为至关重要。根据《公事方御定书》，武士拥有“切舍御免”（杀人不偿命）的特权，也称为“无礼讨”，意味着武士可以当场杀掉侮辱他们的人。来源
社会等级制度的体现：江户时代的日本社会实行严格的等级制度，武士位于社会等级的顶层。“切舍御免”等一系列特权的赋予，进一步巩固了武士的社会地位。来源
保护武士的名誉：在《公事方御定书》中规定，如果平民以无礼行为冒犯武士的时候，武士有权以武力手段保护自己的名誉，因此也有个通俗的称呼叫“无礼讨”。来源
武士的自尊和体面：武士为了守住自己的自尊而拔刀相向是被许可的。因此，武士拥有“切舍御免”的特权。来源
综上所述，江户时代的武士拥有“切捨御免”的特权，主要是为了维护他们的社会地位和名誉，以及符合当时严格的社会等级制度。这一特权体现了武士阶级在日本封建社会中的特殊地位和权力。