恥知らずのパープルヘイズではジョルノの印象はジョルノを見ている人自身の性格を表してると書いてあるので、アバッキオが嫌う理由はそういう事ですね...【ジョジョ第５部 黄金の風】

簡単で雑に言うとジョルノはジョルノを見ている人（アバッキオが見ているならアバッキオ）を表していると言うことです。だから見ている人によって印象が変わるんです。 アバッキオがジョルノを嫌いなら自分自身が嫌いな奴なわけですね・・・。