Trình chỉnh sửa văn bản để mở các tệp văn bản lớn (khổng lồ, khổng lồ, lớn)

Các mẹo và thủ thuật

ít hơn

Tại sao bạn sử dụng biên tập viên để chỉ nhìn tại một tệp (lớn)?

Trong * nix hoặc Cygwin , chỉ cần sử dụng ít hơn . (Có một câu nói nổi tiếng - "ít hơn là nhiều hơn, nhiều hơn hoặc ít hơn" - bởi vì "ít hơn" đã thay thế lệnh Unix trước đó "nhiều hơn", với việc bổ sung mà bạn có thể cuộn lại.) Tìm kiếm và điều hướng theo ít hơn rất giống với Vim, nhưng không có tệp hoán đổi và ít RAM được sử dụng.

Có một cổng Win32 là GNU ít hơn. Xem phần "ít" của câu trả lời ở trên.

Perl

Perl phù hợp với các tập lệnh nhanh và toán tử .. (phạm vi lật) của nó tạo ra một cơ chế lựa chọn Nice để hạn chế lỗi mà bạn phải lội qua.

Ví dụ:

$ Perl -n -e 'print if ( 1000000 .. 2000000)' humongo.txt | less

Điều này sẽ trích xuất mọi thứ từ dòng 1 triệu đến dòng 2 triệu và cho phép bạn sàng lọc đầu ra theo cách thủ công.

Một vi dụ khac:

$ Perl -n -e 'print if ( /regex one/ .. /regex two/)' humongo.txt | less

Điều này bắt đầu in khi "biểu thức chính quy một" tìm thấy một cái gì đó và dừng lại khi "biểu thức chính hai" tìm thấy phần cuối của một khối thú vị. Nó có thể tìm thấy nhiều khối. Chọn lọc đầu ra ...

logparser

Đây là một công cụ hữu ích khác mà bạn có thể sử dụng. Để trích dẫn bài viết Wikipedia :

logparser là một tiện ích dòng lệnh linh hoạt ban đầu được viết bởi Gabriele Giuseppini, một nhân viên của Microsoft, để tự động hóa các kiểm tra cho việc ghi nhật ký IIS. Nó được thiết kế để sử dụng với hệ điều hành Windows và được bao gồm trong IIS 6.0 Bộ công cụ tài nguyên. Hành vi mặc định của logparser hoạt động giống như một "đường ống xử lý dữ liệu", bằng cách lấy một biểu thức SQL trên dòng lệnh và xuất ra các dòng chứa khớp cho biểu thức SQL.

Microsoft mô tả Logparser là một công cụ mạnh mẽ, linh hoạt, cung cấp quyền truy cập truy vấn chung vào dữ liệu dựa trên văn bản như tệp nhật ký, tệp XML và tệp CSV, cũng như các nguồn dữ liệu chính trên hệ điều hành Windows như Nhật ký sự kiện, Sổ đăng ký, hệ thống tập tin và Active Directory. Các kết quả của truy vấn đầu vào có thể được định dạng tùy chỉnh trong đầu ra dựa trên văn bản hoặc chúng có thể được duy trì cho các mục tiêu đặc biệt hơn như SQL, SYSLOG hoặc biểu đồ.

Ví dụ sử dụng:

C:\>logparser.exe -i:textline -o:tsv "select Index, Text from 'c:\path\to\file.log' where line > 1000 and line < 2000"
C:\>logparser.exe -i:textline -o:tsv "select Index, Text from 'c:\path\to\file.log' where line like '%pattern%'"

Tính tương đối của kích thước

100 MB không quá lớn. 3 GB đang trở nên lớn. Tôi đã từng làm việc tại một cơ sở in & thư đã tạo ra khoảng 2% thư hạng nhất của Hoa Kỳ. Một trong những hệ thống mà tôi là người dẫn đầu về công nghệ chiếm khoảng 15 +% số thư. Chúng tôi đã có một số tệp lớn để gỡ lỗi ở đây và ở đó.

Và hơn thế nữa...

Hãy thêm nhiều công cụ và thông tin ở đây. Câu trả lời này là wiki cộng đồng vì một lý do! Tất cả chúng ta cần tư vấn thêm về việc xử lý một lượng lớn dữ liệu ...