後天色覚異常の要因としては、白内障（加齢による水晶体の着色）、網膜病変や緑内障、視神経病変、等々が知られています。
先天色覚異常は幾つかのタイプに分類されますが、いずれも何らかの原因により、 3 種の錐体の内のどれか 1 種または複数種の特性が、波長感度的にずれていたり、感度が低かったり、極端な場合はその錐体自体を持たないことに起因します。色を認識する為のセンサーである錐体の特性が異なれば、当然眼に入射する光からの刺激の受け方が異なり、視神経を通じて脳に送られる刺激信号も異なってきますので、その結果、脳で認識する色も変わってくる、ということになります。