К нему и на козе не подъедешь

Это довольно редкое словосочетание, означающее «он совершенно неприступен», возникло, вероятно, в языке старорусских «потешных людей» - всяких шутов, гудошников и скоморохов.

Они веселили своих высоких покровителей, применяя для их забавы и гусли и бубенцы, наряжаясь в козьи и медвежьи шкуры, в оперенье журавля.

В «репертуар» этих «шпыней» входила и езда на козлах и свиньях. 

Очевидно, скоморохи встречались иной раз с таким дурным настроением высокопоставленной особы, что на него «даже коза не действовала». 

Отсюда и пошла эта поговорка.