Thảo luận Sự thật về việc Bkav vào top 10 phần mềm diệt virus

cùng tiếp tục phân tích nhé :
Bài viết Sự thật về việc Bkav vào top 10 phần mềm diệt vi rút đã nhận được nhiều phản hồi từ độc giả. Do Bkav đã có phản hồi chính thức nên TTCN sẽ làm rõ thêm một số vấn đề trong bài viết này.

Thông tin trên trang chủ Bkav. Ảnh chụp màn hình.

​

Chỉ số RAP và VB100

Chỉ số RAP được VB đưa ra vào tháng 2/2009 để tăng cường các thông tin trong bảng đánh giá của mình. VB chưa bao giờ cho rằng RAP là chỉ số quan trọng nhất sau VB100. Thực tế, VB100 là chứng nhận khả năng phát hiện vi rút, và chỉ có hai tình huống: được chứng nhận và không được chứng nhận.

RAP cũng như các chỉ số khác, hoàn toàn không ảnh hưởng đến VB100, và cũng không phải là một chứng nhận như VB100. VB có xếp hạng các phần mềm diệt vi rút theo RAP, và tất nhiên dựa vào xếp hạng RAP để xếp hạng "tốt nhất" là lừa dối.

Nhận định “sai chuyên môn” về Bkav?

Kích thước bộ cài đặt:

Không hiểu từ đâu mà thông tin về kích thước của Bkav được so sánh trực tiếp với Kaspersky? Bài viết chưa bao giờ so sánh bộ cài đặt của Bkav (gồm cả update) với các bộ cài đặt không chứa update. Báo cáo của VB có ghi rất rõ những thông tin này. Họ nhận xét: "Sản phẩm dành cho người dùng các của công ty [Bkav] được đem tham gia kiểm định tháng này, có kích thước khá lớn, 272 MB bao gồm cả cập nhật."

Tác giả bài viết không so sánh Bkav với Kaspersky về kích thước, nhưng chỉ lặp lại báo cáo của VB. Họ cho rằng Bkav có kích thước lớn, vì thực tế, chẳng hạn Avast chỉ chiếm 50 MB bao gồm tất cả mọi cập nhật, hoặc AVG 141 MB cũng bao gồm bản cập nhật, Avira AntiVir có kích thước 43 MB + 45 MB = 88 MB, McAfee có kích thước 27 MB + 13 MB + 79 MB = 119 MB,... hay phần mềm của Microsoft gồm bộ cài 8 MB cộng bộ cập nhật 57 MB = 65 MB. Như vậy nhận định "có kích thước khá lớn là 272 MB" và "so với kích thước trên dưới 100 MB của nhiều chương trình khác" có gì sai?
Hiệu năng

Về hiệu năng, khi so sánh tốc độ của các phần mềm, có hai yếu tố: quét khi yêu cầu và quét trong thời gian thực. Khi quét theo yêu cầu, những nhận xét trong bài viết trên là hoàn toàn đúng, và được mô tả đầy đủ trong báo cáo của Virus Bulletin: "VB đánh giá Bkav có tốc độ khá chậm chạp khi quét vi rút. Bkav chỉ tỏ ra nhanh nhẹn khi quét các tập tin nén, vì thực tế Bkav quét rất ít bên trong các tập tin nén, cho dù các nhân viên thử nghiệm của VB đã bật mọi tuỳ chọn."

Tuy nhiên, dẫn chứng số liệu trong bài viết về quét trong thời gian thực là sai. Những số liệu trong bài viết đó về tốc độ quét (theo MB/s) là khi quét theo yêu cầu. Trong bài này, tác giả xin bổ sung số liệu quét trong thời gian thực, đó là độ trễ khi truy cập tập tin (tính theo s/MB như đại diện Bkav nhận xét).

Nếu hiểu theo cách cơ bản nhất, khi quét một tập tin 10 MB mất 1 giây (tốc độ là 10 MB/s), thì quét tập tin 20 MB mất 2 giây, khi truy cập tập tin này trong thời gian thực, bạn phải chờ 2 giây để quét xong (độ trễ là nghịch đảo của 10 MB/s, tức 0,1 s/MB): 20 MB x 0,1 s/MB = 2 giây. Tuy nhiên thuật toán khi quét trong thời gian thực và khi quét theo yêu cầu thường khác nhau, nên mặc dù cả hai thông số đều phản ánh tốc độ chương trình, nhưng nó không phải là một. Đây là sai lầm của tác giả trong bài viết trước.

Tốc độ quét theo thời gian thực của các phần mềm được nêu cụ thể trong báo cáo của VB. Để công bằng, chúng ta xét hai loại tập tin thông dụng là tập tin nhị phân và tập tin tài liệu (Bkav rất ít quét tập tin nén nên không xét). Độ trễ trung bình của Bkav khi quét hai dạng này theo thời gian thực là 0,195 s/MB (xếp thứ 64/64, chậm hơn 4 lần một phần mềm trung bình là 0,045 s/MB) và 0,166 s/MB (xếp thứ 57/64).

Bảng đánh giá cạnh tranh của VB

Trong bảng đánh giá cạnh tranh (Comparative Review), Virus Bulletin công bố rất nhiều thông tin khác nhau ngoài VB100 và RAP. Bản báo cáo dài 50 trang giúp có thông tin chính xác nhất về các phần mềm diệt vi rút. Thông tin trong bài viết trên là phản ánh trung thực của bản báo cáo này.

Hơn nữa, việc hiểu chính xác về VB100 không hề đơn giản. Chỉ dẫn của VB cho biết: "Vì các mối đe doạ từ vi rút luôn thay đổi, bạn nên tìm chọn các sản phẩm đạt được nhiều giải thưởng VB100 liên tục, chứ không phải chỉ đạt một, hai lần."

Trong khi đó, đây là lần đầu tiên Bkav Home Plus 2010 dự thi VB100. Chúng ta không nên nhầm lẫn các sản phẩm khác nhau của cùng một công ty. Các công ty như Antivir, Kaspersky... đều gửi nhiều sản phẩm dự thi và nhận các kết quả khác nhau.

Lí do cần kiểm định nhiều lần là danh sách WildList dùng để kiểm tra chứng nhận VB100 luôn luôn thay đổi. Mỗi tháng đều có thêm nhiều vi rút mới được bổ sung, nhưng đồng thời cũng có nhiều vi rút được loại ra khỏi danh sách vì không còn phổ biến. Chẳng hạn danh sách mới nhất, tháng 11/2010, chỉ gồm 647 vi rút, và 109 vi rút trong danh sách tháng 10 đã bị loại khỏi danh sách này.

Ý nghĩa của chứng nhận VB100 cũng nêu rõ: "Giải thưởng VB100 có nghĩa là một sản phẩm đã vượt qua các bài kiểm tra của chúng tôi, không hơn không kém..." " Chúng tôi yêu cầu bất cứ khách hàng tiềm năng nào, khi xem xét về lịch sử VB100 của một phần mềm, đừng chỉ đơn giản xem xét việc đậu/trượt, mà cần đọc các thông tin trong bảng báo cáo."

Bkav có thể tự xếp vào top 10?

Khi so sánh các phần mềm diệt vi rút, tất cả các bảng xếp hạng lớn trên thế giới như AV-Test, AV-comparatives hay bảng xếp hạng của PC World đều dựa vào rất nhiều yếu tố: như khả năng bảo vệ (gồm khả năng phát hiện vi rút), khả năng diệt vi rút, hiệu năng cũng như tính dễ sử dụng.

Các thông tin về VB100 cũng như RAP đều chỉ nói lên khả năng phát hiện vi rút. Vì lí do này, Virus Bulletin không xếp hạng các phần mềm diệt vi rút. Bkav chỉ dùng tiêu chí này để xếp hạng là phiến diện, và do đó sai sự thật. Kết luận “Do đó đứng thứ 7 theo kiểm định của Virus Bulletin có thể nói là trong Top 10 phần mềm diệt vi rút tốt nhất thế giới.” có thể nói là đã sai đến hai lần: Bkav không đứng thứ 7 trong kiếm định của VB, và kiểm định của VB cũng không thể dùng để xếp hạng.

Tất nhiên đây chỉ là câu chuyện vui, nhưng không thể phủ nhận quảng cáo đôi khi nói sai sự thật, làm người dùng mắc kẹt trong những tình thế nguy hiểm. Tác giả bài viết này hoàn toàn không “khắc nghiệt” với phần mềm Bkav, mà chỉ “khó tính” với phát ngôn của những người làm quảng cáo mà thôi.

Nếu nhận được thông tin Bkav nhận các giải thưởng danh giá khác, thì tác giả bài viết này sẽ là một trong những người đầu tiên chúc mừng và có những nhận xét khách quan nhất, chứ không phải những nhận xét lừa dối người tiêu dùng.

Cập nhật: dưới đây là lược trích thông tin từ John Hawes, trưởng nhóm thử nghiệm của VB, tác giả bản báo cáo tháng 12/2010 (tác giả tự in đậm).

​

Chúng tôi tránh xếp hạng sản phẩm, vì có quá nhiều yếu tố trong một giải pháp bảo mật, mà chúng còn tuỳ thuộc yêu cầu của người dùng. Chúng tôi không bao giờ nói sản phẩm nào tốt nhất, hoặc sản phẩm nào xếp thứ 7. Ngay cả trên đồ thị RAP, gần như không để nhận định những sản phẩm nào là tốt nhất, vì nó có hai yếu tố: phản ứng (reactive: nhận diện vi rút đã xuất hiện) và ngăn chặn (proactive: nhận diện vi rút chưa biết đến)...

Mặc dù chúng tôi tránh những tuyên bố mang tính xếp hạng, nhưng tất nhiên là không thể nào ngăn được bộ phận tiếp thị của các công ty nhào nặn kết quả để thành tích được nhìn theo hướng tốt nhất đối với họ - đó cũng là lí do họ tham gia thử nghiệm.

Chúng tôi cảm thấy RAP nên được nhìn nhận là những yếu tố quan trọng để đánh giá chất lượng của một giải pháp ngăn phần mềm độc hại, nhưng không phải là yếu tố quan trọng duy nhất. Chúng tôi cung cấp nhiều thông tin nhất có thể đối với tất cả sản phẩm, bao gồm hiệu năng, chiếm dụng tài nguyên, tính dễ sử dụng và nhiều yếu tố khác song song với khả năng phát hiện vi rút.

Lí do mà RAP được hiển thị trên trang chủ là do phương thức đánh giá này tương đối mới, và cung cấp thông tin rõ ràng, dễ hiểu, đó có thể là một ý tưởng tốt để đánh giá hiệu quả tương đối của phần mềm mà không cần đọc thêm chi tiết. Dù sao chúng tôi vẫn khuyên người dùng đọc toàn bộ báo cáo.

Ngoài ra còn nhiều yếu tố khác có thể ảnh hưởng đến chất lượng của phần mềm diệt vi rút nhưng không nằm trong quá trình thử nghiệm của chúng tôi. [...]

Nhận xét của trả lời này xin dành cho độc giả.

Ngày 29-12-2010, Câu lạc bộ Nhà báo khoa học và công nghệ (KH&CN) - Hội Nhà báo Việt Nam đã công bố kết quả cuộc bình chọn 10 sự kiện KH&CN nổi bật năm 2010 do các nhà báo trong lĩnh vực KH&CN trên cả nước bình chọn.


Trong đó có sự kiện “Phần mềm diệt virut Việt Nam lọt vào top 10 phần mềm diệt virut tốt nhất thế giới”. Đó là phần mềm Bkav của Trung tâm an ninh mạng Bkis. Nếu thực tế đúng như vậy, đây xứng đáng là một sự kiện nổi bật của năm.

Ảnh: gamek.vn

​

Sự kiện trên xuất phát từ kết quả kiểm định cuối năm của tạp chí chuyên ngành virut máy tính Virus Bulletin (VB - Anh) đối với những phần mềm diệt virut có tiếng trên thế giới. Trong đó phần mềm diệt virut Bkav đạt điểm RAP 91,3/100, đứng thứ 7/64 phần mềm tham gia kiểm định.

Về mặt tổng thể, mục đích của các phần mềm diệt virut khi tham gia kỳ kiểm định của VB nhằm được đóng dấu chất lượng VB100 - một chứng nhận được hầu hết hãng bảo mật trên thế giới công nhận. Tuy nhiên VB100 lại không có ý nghĩa xếp hạng cao thấp giữa các phần mềm tham gia kiểm định. Do đó, VB100 chỉ là một sự công nhận về chất lượng phần mềm cũng giống như danh hiệu “Hàng Việt Nam chất lượng cao” mà chúng ta từng biết.

Về chi tiết, trong bản báo cáo công bố kết quả kiểm định vừa qua của VB, điểm RAP không phải là điểm số duy nhất hay mang tính tổng kết đối với kết quả kiểm định của một phần mềm. Ngoài bài kiểm tra RAP (tạm dịch nôm na là khả năng phản ứng và bảo vệ đón đầu chống lại các mã độc xuất hiện), VB còn có những bài kiểm tra khả năng nhận diện chính xác virut trong WildList (tập hợp các loại virut phổ biến trên toàn cầu), khả năng phát hiện các loại sâu, virut đa hình, các loại trojan và nhiều chi tiết nhỏ khác...

Mỗi bài kiểm tra đều có chấm điểm riêng, trong đó điểm WildList dùng để xác nhận chất lượng VB100. Theo bảng kết quả, điểm số phần mềm Bkav đạt được lần lượt là 100/100 (WildList), 94,94/100 (sâu), 87,76/100 (trojan) và 83,87/100 (virut đa hình).

Như vậy với điểm số WildList này, Bkav được công nhận chất lượng VB100 cùng với 42 phần mềm diệt virut khác trên thế giới. Với những điểm số còn lại, nếu lấy theo cách của Bkis là dùng điểm số bài thi để xếp hạng, ở các bài nhận diện sâu, virut đa hình và trojan Bkav lần lượt đứng ở vị trí 33/64, 50/64 và 29/64. Mức xếp hạng ở cấp trung bình. Với những chỉ số này, việc tự phong Bkav lọt vào top 10 phần mềm tốt nhất thế giới liệu có quá so với thực tế?

Chưa hết, việc Bkis dùng kết quả kiểm định của VB để tự phong “top 10 phần mềm diệt virut tốt nhất thế giới” còn khiến nhiều người trong giới công nghệ thông tin bất ngờ. Bởi chính Bkis trước đây từng phủ nhận kết quả kiểm định của VB.

Còn nhớ, tại Hội thảo triển lãm quốc gia an ninh bảo mật 2009 (Security World 2009) diễn ra cuối tháng 3-2009, bài thuyết trình của ông Vũ Ngọc Sơn, khi đó là giám đốc Trung tâm nghiên cứu virut của Trung tâm an ninh mạng Bkis, đã kết luận: “Hệ thống các bảng xếp hạng phần mềm diệt virut hiện nay đã lỗi thời, không phù hợp với tình hình thực tế”. Kết luận trên được đưa ra sau khi ông Sơn chỉ ra hai ưu điểm và chín nhược điểm về phương pháp kiểm định của VB.

Khi đó, Bkav chưa nhận được một chứng nhận nào của các tổ chức kiểm định trên thế giới.

thế này gọi là đánh bom nguyên tử luôn chứ không phải quăng bom nữa các bác nhỉ

Tất nhiên khi đánh giá một sản phẩm thường có nhiều tiêu chí.
Có thể trong quảng cáo thì người ta hay dùng 1 hay vài tiêu chí để quảng cáo : cái mạnh hơn thì la to, còn cái yếu hơn thì la vừa hoặc im re...
Lấy các sản phẩm khác ra thì cũng tương tự như BKAV.
Ở đây tôi không có ý bênh vực cho BKAV nhưng nếu xem và theo dõi quá trình hoạt động của BKAV thì rất đáng tự hào cho dân Việt và trân trọng quá trình lao động của một tập thể và tâm huyết của Bác Quảng.
Còn xem và tin vào phản biện của Conan2901 thì điều ấy cũng nên nhưng để thuyết phục hơn thì bạn cần phải chú thích thêm nguồn tài liệu bạn lấy từ đâu. Việc làm này hoàn toàn bình thường để người đọc tin hơn. Còn nếu bạn không chú thích thì người đọc cũng có thể cho rằng tài liệu dẫn chứng của bạn cũng chưa tin tưởng.
Lấy ví dụ những tra cứu của trang http://www.wikipedia.org thường thì rất rõ ràng :
- Nguồn chính xác phải có nhận thực và công nhận ( certificat ) và xem như là tài liệu chính tắc. Nguồn tài liệu này là sách giáo khoa toàn thư.
- Nguồn chưa kiểm chứng sẽ xếp vào tài liệu tham khảo ( có thể đúng, có thể sai )
Vậy thử hỏi nguồn tài liệu bạn dẫn chứng thuộc loại nào ?