这听上去似乎很容易（虽然按我的猜想，恐怕没几个人会觉得如此），这套双重线索系统还存在一些问题。其一是，哪一部分给出哪条线索并不清楚。在复合字里，语义成分既可以在左边（如“妈”的“女”字旁），也可以在右边（如“汝”），还可以在下边（如“婪”）、在上边（没找到合适的例子，女字似乎不得在上），甚至可以围在里边（如“威”）。好消息是，语义线索的数量是有限的：大多数线索（包括“女”字旁），都属于一份200来个偏旁部首的清单里。[3]故此，除非一个方块字同时包含了两个语义成分（这种情况并不罕见），否则，语义线索是可以辨识出来的。
另一个问题是，方块字的发音和它语音线索的发音之间，存在很大的可变性。有时，一切很完美，语音线索和实际发音一样。还有一些状况也可以接受两者的辅音和元音都一样，只是声调不同。“妈”就是这样，它的语音线索（“马”）发三声，而不是一声。但两者的相似之处往往存在很大的阐释余地。“闻”就是一个很好的例子。我们看到下边是一个微型的“耳”（它起源于一只耳朵的图画），发音跟英语的ear非常类似，读作ěr。它是“闻”字的语义元素，过去用来指“听”，但现在意思转移到了“气味，嗅”，这种情况真是令人不解。这个字的上半部分是清晰可见的“门”字，如果作为独立的方块字，它读作mén。但现在，它只是个语音线索，而且还是个不合格的语音线索，因为这个复合字读作wén。在历史的某个阶段，这两个方块字的发音大概更为接近，或许分别发音为/mu?n/和/miu?n/。不幸的是，它们渐行渐远，给我们留下了一个非常不完美的语音线索。