 |
ranxi |
ranxi 最近回复了
| 回复了 ranxi 创建的主题 › 请教 Python 大佬，遍历一个 5GB 大小的 txt 文件，用什么方式效率比较高2022 年 7 月 25 日 |
@wxf666 感谢，已解决
| 回复了 ranxi 创建的主题 › 请教 Python 大佬，遍历一个 5GB 大小的 txt 文件，用什么方式效率比较高2022 年 7 月 24 日 |
抱歉各位，昨天有事没看回复，我再说明一下。
首先我之前是写 java 的，临时过来写 python ，所以很多用法不了解。
然后 O1 文件其实不是一个规则的 txt ，而是需要解析的 xml 文件，我是用 sax 逐行读取的。这点之前没有详细说明
O2 文件跟之前描述一样，是个表形式的 txt 文件，通过第一列映射第二、三列
首先我之前是写 java 的，临时过来写 python ，所以很多用法不了解。
然后 O1 文件其实不是一个规则的 txt ，而是需要解析的 xml 文件，我是用 sax 逐行读取的。这点之前没有详细说明
O2 文件跟之前描述一样，是个表形式的 txt 文件，通过第一列映射第二、三列
| 回复了 ranxi 创建的主题 › 请教 Python 大佬，遍历一个 5GB 大小的 txt 文件，用什么方式效率比较高2022 年 7 月 22 日 |
O1 按需求是要逐行读取的，所以只能对 O2 操作。我明天试试 hash 表吧
| 回复了 ranxi 创建的主题 › 请教 Python 大佬，遍历一个 5GB 大小的 txt 文件，用什么方式效率比较高2022 年 7 月 22 日 |
@liprais 用不了 sql
| 回复了 ranxi 创建的主题 › 请教 Python 大佬，遍历一个 5GB 大小的 txt 文件，用什么方式效率比较高2022 年 7 月 22 日 |
暂不考虑数据库
| 回复了 ranxi 创建的主题 › 请教 Python 大佬，遍历一个 5GB 大小的 txt 文件，用什么方式效率比较高2022 年 7 月 22 日 |
@Richard14 试了下 pandas ，查一次要 3 ，4 秒，查几百万次完全查不动啊
| 回复了 ranxi 创建的主题 › 请教 Python 大佬，遍历一个 5GB 大小的 txt 文件，用什么方式效率比较高2022 年 7 月 22 日 |
@jarence 两个文件 O1 和 O2 ，可以理解成两张表，每行\t 分隔，O1 每行是 a ，b ，c ，其中 c 需要映射成另一个值 d ，这个映射关系在 O2 文件里（ c ，d ），O2 文件大概有 5GB ，几亿行数据。
| 回复了 ranxi 创建的主题 › 家人们，程序猿都是怎么找到对象的2022 年 7 月 9 日 |
@threeEggs123 妙啊
| 回复了 ink19 创建的主题 › 各位大佬用的都是什么键盘啊？来交流一下呗～说说原因和体验2022 年 7 月 4 日 |
家里用的达尔优 a98 天空轴 v3 ，手感确实不错，打字游戏都可以
公司用的自己客制化定制键盘，mk870 配 ttc 金粉，性价比较高
公司用的自己客制化定制键盘，mk870 配 ttc 金粉，性价比较高
| 回复了 ranxi 创建的主题 › 家人们，程序猿都是怎么找到对象的2022 年 6 月 9 日 |
@xhslyf 学到了