如何为 不按套路出牌 的领导管理好 单位财物？或者怎么交回去？

我们领导让我管理单位财物（名义上）
　　资金当然领导怎么说就怎么用。。。
　　物资非常多，一个百货仓库，钥匙单位一人一把。。。
　　他在单位想拿什么拿什么（他家嘛），有时候通过其他人从仓库拿东西也不打招呼，
　　上级检查我们财务工作，发现纰漏（在预计中），他马上一指我“他工作能力不行，所以出了问题，他其他工作还不错，我也不能处分他啊”。。原来心照不宣明明是他占了，结果他这么说不但把他洗清了，我还得领他情，我想辩解“领导让我。。”，他赶紧瞪眼不让我说。。。
　　物资
　　后来这么拿东西肯定对不上帐，然后他声色俱厉地问我少的物资哪去了。。我说钥匙不是我一个有，也不必须经过我同意，我知道少的物资哪去了？ 。。。他又很严厉地批评我工作能力不行。。
　　
　　我曾经建议过 财物 制度正规化。。他回答“这单位我说了算，我就愿意这么管，你干不了滚”
　　
　　我不是专职财务，同时还有许多其他工作任务，我想把财物管理这块交回去，他说“这是我安排你的一项任务，哪有讨价还价的？干不了你就走人”
　　
　　这种情况大家看怎么管？或者怎么巧妙地把财物这项工作交回去？

录音~