肩部单发脂肪瘤如何确诊并治疗？

病情描述：

2011年或2012年无意发现右臂一处肿块，平时无感觉。似能稍微推动，按压像圆形，微痛，因那段时期父亲病重，无暇顾及它。几年来长大但不明显无感觉。估计是脂肪瘤，几年来不敢右侧躺，怕压迫它，也不太吃高脂肪食物，除鸡蛋牛奶鱼虾外几乎是素食者。35岁偏瘦，估计脂肪瘤成因有二：压力过大和生活习惯不规律（晚睡晚起，不爱吃早饭），平时精神欠佳，易疲乏悲伤。（可能和性格有关）

曾经的治疗情况和效果：

昨天去市医院外科门诊，医生看后说最好还是手术开掉，让先做个CT看看情况。他只看了一眼CT报告书(连CT片都没看)就说脂肪瘤，唯一的问题是影响美观：穿短袖会左右不对称，如不介意就别管它，介意就门诊小手术即可。病历都说不用写就让我回来了。

想得到怎样的帮助：

请问单凭一张CT报告就可以确诊为脂肪瘤吗？是否所有脂肪瘤都极少恶变？也不知是深度还是浅度，就像抱着定时炸弹一样，我是不是应该早日把它开掉才保证万无一失？但是看到有病例说手术后才发现不是脂肪瘤而是其它恶性肿瘤。有点担心会不会因为医生误诊或合并其它病症而贻误治疗。