有没有一种求稀疏矩阵的乘法的算法，使得其时间复杂性只依赖于非0元素的个数，而不依赖于矩阵的维数？

有没有一种求稀疏矩阵的乘法的算法，使得其时间复杂性只依赖于非0元素的个数，而不依赖于矩阵的维数？

有啊。
高维稀疏矩阵往往采用邻接表做乘法，就是你说的这种。该数据结构实质是线性存储矩阵非零元素的数据表。