it-swarm-vi.tech

Các lựa chọn thay thế bây giờ mà API tìm kiếm web của Google đã không được chấp nhận là gì?

API tìm kiếm trên web của Google đã không được chấp nhận và được thay thế bằng API tìm kiếm tùy chỉnh (xem http://code.google.com.vn/apis/websearch/ ).

Tôi muốn tìm kiếm toàn bộ web nhưng có vẻ như với API mới chỉ có thể tìm kiếm các trang tùy chỉnh.

Có cách nào để tìm kiếm toàn bộ web theo chương trình không? Tôi đã có thể truy vấn API cũ bằng JSON từ một chương trình Java.

304
Dan

Bạn chỉ có thể gửi chúng thông qua như một trình duyệt, và sau đó phân tích html, đó là điều tôi luôn làm, ngay cả đối với những thứ như Youtube.

30
Zimm3r

Có, Tìm kiếm tùy chỉnh của Google hiện đã thay thế API tìm kiếm cũ, nhưng bạn có thể vẫn sử dụng Tìm kiếm tùy chỉnh của Google để tìm kiếm toàn bộ web , mặc dù các bước không rõ ràng từ cài đặt Tìm kiếm tùy chỉnh.

Để tạo công cụ Tìm kiếm tùy chỉnh của Google tìm kiếm toàn bộ web:

  1. Từ trang chủ Tìm kiếm tùy chỉnh của Google ( http://www.google.com/cse/ ), nhấp vào Tạo công cụ tìm kiếm tùy chỉnh.
  2. Nhập tên và mô tả cho công cụ tìm kiếm của bạn.
  3. Trong phần Xác định công cụ tìm kiếm của bạn, trong hộp Trang web để Tìm kiếm, nhập ít nhất một URL hợp lệ (Hiện tại, chỉ cần đặt www.anyurl.com để vượt qua màn hình này. Xem thêm về điều này sau).
  4. Chọn phiên bản CSE bạn muốn và chấp nhận Điều khoản dịch vụ, sau đó nhấp vào Tiếp theo. Chọn tùy chọn bố trí bạn muốn, rồi bấm Tiếp theo.
  5. Nhấp vào bất kỳ liên kết nào trong phần Các bước tiếp theo để điều hướng đến Bảng điều khiển của bạn.
  6. Trong menu bên trái, bên dưới Bảng điều khiển, bấm vào Thông tin cơ bản.
  7. Trong phần Tùy chọn tìm kiếm, chọn Tìm kiếm trên toàn bộ web nhưng nhấn mạnh các trang web được bao gồm.
  8. Nhấp vào Lưu Thay đổi.
  9. Trong menu bên trái, bên dưới Bảng điều khiển, nhấp vào Trang web.
  10. Xóa trang web bạn đã nhập trong quá trình thiết lập ban đầu.

Bây giờ công cụ tìm kiếm tùy chỉnh của bạn sẽ tìm kiếm toàn bộ web.

Giá cả

  • Google Custom Search cung cấp cho bạn 100 truy vấn mỗi ngày miễn phí.
  • Sau đó, bạn phải trả $ 5 trên 1000 truy vấn.
  • Có tối đa 10.000 truy vấn mỗi ngày.

Nguồn: https://developers.google.com/custom-search/json-api/v1/overview#Pricing


  • Chất lượng tìm kiếm thấp hơn nhiều so với tìm kiếm thông thường của Google (không có từ đồng nghĩa, "thông minh", v.v.)
  • Có vẻ như Google thậm chí đang có kế hoạch đóng cửa hoàn toàn dịch vụ này.
445
Bangkokian

Tìm kiếm tùy chỉnh của Google (như được ủng hộ trong các câu trả lời được xếp hạng hàng đầu) hoạt động tốt, nhưng rất tốn kém, so với các đối thủ cạnh tranh (bên dưới) hoặc so với các API Google khác. Nó có một cấp miễn phí nhỏ (100 truy vấn/ngày) và giá rất cao là $ 5 trên 1000 truy vấn.

Họ cung cấp tùy chọn nâng cấp lên Tìm kiếm trang web, có giá tốt hơn một chút, nhưng điều đó có nghĩa là để tìm kiếm một trang web (của riêng bạn), vì vậy nó thực sự là một cái gì đó khá khác biệt - không phải là một bản nâng cấp.

Các lựa chọn thay thế chính dường như là:

API tìm kiếm Bing
[.__.] https://datamarket.Azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44
[.___.] Có mức miễn phí 5000q/tháng và giá bắt đầu từ 5 truy vấn mỗi xu và không có giới hạn cứng.

CẬP NHẬT: Vào cuối năm 2016, API này đã ngừng hoạt động để ủng hộ đối tác Azure "Dịch vụ nhận thức Bing Tìm kiếm Bing":
[.__.] https://Azure.Microsoft.com/en-us/service/cognitive-service/search/

Xem tại đây để biết biểu đồ giá, bắt đầu ở mức 3 USD/m cho 1.000 giao dịch. Trừ khi tôi thiếu một cái gì đó nó khá đắt.

API tìm kiếm Yahoo BOSS
[.__.] CẬP NHẬT: Đã ngừng hoạt động vào ngày 31 tháng 3 năm 2016. http://developer.yahoo.com/boss/search/
[.__.] Với giá bắt đầu từ khoảng 12 truy vấn/xu cho toàn bộ tìm kiếm trên web.

Và một số tôi chưa từng nghe nói trước đây:

http://www.gigablast.com/searchfeed.html

http://www.faroo.com/hp/api/api.html

http://www.commoncrawl.org/

http://www.entireweb.com/search_api/imâyation/
[.__.] [ngưng - như được chỉ ra bên dưới]

Có một chút thảo luận về một số trong số này trên this SO post .
[.__.] [đã đóng cửa vì lạc đề và hiện đã biến mất]

50
Tom

Đây là một tùy chọn ở cuối Bảng điều khiển tìm kiếm tùy chỉnh: "Trang web để tìm kiếm", bạn có thể chọn "Tìm kiếm toàn bộ trang web nhưng nhấn mạnh các trang web được bao gồm"

Custom Search Control Panel - Sites to search

26
Yishu Fang
14
Jack

Tôi vừa bắt gặp điều này từ Thu thập thông tin chung.

http://www.commoncrawl.org/

Có thể là câu trả lời tất cả chúng ta đang tìm kiếm !!

6
Dan

Có một ghi chú trên đầu tài liệu :

Lưu ý: API tìm kiếm trên web của Google đã không còn chính thức kể từ ngày 1 tháng 11 năm 2010. Nó sẽ tiếp tục hoạt động theo chính sách khấu hao của chúng tôi , nhưng số yêu cầu bạn có thể thực hiện mỗi ngày sẽ bị hạn chế. Do đó, chúng tôi khuyến khích bạn chuyển sang API tìm kiếm tùy chỉnh mới .

Chính sách khấu hao nói rằng họ sẽ tiếp tục chạy API trong 3 năm. Vì vậy, nếu bạn đã có một ứng dụng sử dụng API cũ, bạn không cần phải vội vàng thay đổi mọi thứ. Nếu bạn đang viết một ứng dụng mới, hãy sử dụng API tìm kiếm tùy chỉnh . Xem câu trả lời của tôi tại đây để biết cách thực hiện điều này trong Python, nhưng ý tưởng này giống nhau cho bất kỳ ngôn ngữ nào.

4
marcog

Có một API Java miễn phí có tên là JFreeWebSearch, sử dụng Faroo đã được đề cập: http://www.ke.tu-darmstadt.de/resource/jfreewebsearch

3
Heiko

Bạn có thể tạo công cụ tìm kiếm tùy chỉnh "ở mọi nơi" ngay từ trang chủ Tìm kiếm tùy chỉnh của Google ( http://www.google.com/cse/ ). Bạn chỉ cần nhấp vào 'nâng cao', trong khi thêm công cụ mới. Ở đó bạn có thể cung cấp loại trang web Schema.org. ' Điề ' là loại chung nhất, bao gồm tất cả các trang web.

1
testlnord

Gigablast cung cấp API tìm kiếm web giá rẻ: http://www.gigablast.com/searchfeed.html

0
jman