几十 GB 文件在禁用 Redis、Kafka 等中间件时，如何分块解析、去重并输出，避免一次性加载到 JVM？

如果文件达到几十 GB，应该如何处理 ID 去重？ > 在不允许使用 Redis、Kafka等中间件的情况下，如何处理超大文件？ > 如何避免将几十 GB 的文件一次性加载到 JVM 内存？ > 如果核心需求是解析文件内容而不是存储文件，整体处理流程应该如何设计？ > 大文件解析时，如何进行分块读取、去重和结果输出？