Unicode vs. Change Case?

Unicode? Ồ, rất hiện đại! Rất thời thượng! Được hầu hết các trang web tiếng Việt sử dụng làm font chữ mặc định! Được Microsoft hỗ trợ trong Internet Explorer 5.x trở lên (mặc dù cũng có khi cà giựt ngay trong IE6)! Được hỗ trợ trong MS Office 2000 trở lên! Được ông Đặng Minh Tuấn hỗ trợ với Vietkey 2000! Và còn được Thủ tướng Chính phủ quyết định dùng làm bộ mã thống nhất ký tự chữ Việt TCVN 6909:2001 nữa chứ! Chà! Tương lai sáng sủa quá! Xem ra các font chữ khác sắp tới hồi cáo chung rồi đấy nhỉ?
Thế mà chỉ có mỗi 1 chuyện nhỏ, tôi vẫn không biết làm sao để giải quyết với Unicode, đó là khi sử dụng chức năng change case trong Word 2000 dùng font Unicode thì coi bộ nó khá là banana (xin mạn phép các bác ở miền Bắc!). Xin đưa thử ví dụ: ĐOẠN NÀY VIẾT BẰNG UNICODE, và bây giờ tôi muốn change case thành lower case thì nó là thế này: đoẠn này viẾt bẰng unicode. Trong khi đó dùng font VNI thì chẳng bao giờ chuyện này xảy ra.
Vậy phải làm sao đây? Hay là do chuyện ?odựng sẵn? và ?otổ hợp?? Nếu ai giúp được tôi xin cám ơn nhiều!


vic_hcm@yahoo.com

hìhìhìhìhìhìhì, vì VNI là dạng font tổ hợp mà, font riêng, chữ riêng mà, còn về Unicode thì cũng tổ hợp, dựng sẵn, nhưng đang còn cãi nhau tiếp, cố đợi thêm chút xiu đi bác...

-=-Vì một lần yêu mà dốc hết thơ ngây tâm hồn-=-​

Hừ>.....< việc gì bác phải Change Case làm chi cho mệt. Dùng Unicode thì cứ Caps Lock mà oánh. CHỮ IN CHO BÁC NGAY.
Một mình lang thang trên đất này. . .

Nói thì dễ quá... Nhằm lúc oánh lộn rồi sửa lại thế nào? Không lẽ xóa hết làm lại từ đầu?
vic_hcm@yahoo.com

Ồ! Đó là lỗi chưa được hỗ trợ hoàn chỉnh của Microsoft. Và đó cũng là vấn đề gây tranh cãi hiện nay dựng chữ bằng Unicode tổ hợp hay dựng sẵn. Và nói thêm luôn Change Case là một thế mạnh của tổ hợp. Nếu bạn sử dụng cách dựng chữ tổ hợp thì không bị lỗi này.
Đây là một đoạn văn bản dựng bằng tổ hợp:
"Được thư??a kế tất ca?? các tính năng cao cấp EV-Dic la?? một thư viện phong phú với các phương tiện giao tiếp khác nhau gô??m âm thanh, video, hi??nh a??nh???. Hiện nay, tự điê??n được phát triê??n tha??nh tự điê??n chuyên nghiệp va?? đâ??y đu??, có số lượng tư?? vựng lớn, cùng với bộ tự điê??n văn hoá & du lịch cung cấp kiến thức vê?? địa danh, kinh tế, xa?f hội, đặc trưng văn hoá va?? con ngươ??i Việt Nam"
Trông không khác gì dựng sẵn vì nó dùng thuật toán để ánh xạ về dạng dựng sẵn, nhưng với máy tính, nó vẫn là dạng tổ hợp. Chỉ có điều... để gõ được tổ hợp thì phải .... hơi bị khó khăn 1 chút. Và Unicode tổ hợp cũng chạy tương đối tốt trên WĩnP và MS Office XP. Đó chính là lý do vì sao hầu hết các web site tiếng Việt thích dùng dạng Unicode dựng sẵn UTF-8. Chỉ cần Win98SE với font Tahoma là ...OK.
Còn về lỡ dùng dựng sẵn, bác có thể dùng các công cụ Change Case khác trong bộ công cụ tiếng Việt của VietKey, UniKey...

Hóa ra là như vậy! Thế mà còn có những người còn bàn cãi muốn dùng dựng sẵn, chỉ vì dễ hơn. Dù sao cũng cám ơn bạn, xin vote bạn 5*.
vic_hcm@yahoo.com

Việc chuyển về Upper và Lower có thể sử dụng được với bộ phông Unicode nếu như dùng đúng cách, giả sử sử dụng VietKey, nếu như bạn gõ tiếng VIệt bằng chuẩn Unicode 1 thì không thể làm được việc này, nhưng tôi đã dùng thử Chuẩn Unicode Tổ hợp thì việc này làm vô cùng dễ dàng y như khi dùng font VNI.
Nếu dùng Win Xp thì việc gõ tiếng VIệt có thể sử dụng dễ dàng nếu như bạn cài thêm một phần ngôn ngữ VietNam, nếu gõ bằng ngay ứng dụng do win cung cấp thì bạn cũng có thể sử dụng Upper và Lower của Word dễ dàng (đó chính là chuẩn Unicode tổ hợp trong việt Key)

Manh

Những tưởng rằng, Unicode sẽ là "cứu tinh" và sẽ giúp tiếng Việt thống nhất các bộ mã trên web. Nhưng hình như không phải như vậy, vì trong khi Microsoft xây dựng mã tổ hợp (Unicode Compound) và mã tổ hợp được hỗ trợ tốt hơn trong các ứng dụng tương thích với MS (đạc biệt khi lập trình bằng C++ hoặc VB), thì ở VN, lại thông dụng mã dựng sẵn (Unicode Pre Compound). Từ đó nảy sinh ra nhiều vấn đề khác.
Mời bạn đọc bài sau đây, trích từ PC World (VN) B, số 6/2002. Chắc bạn cũng nhận thấy là người viết có phần "cay đắng", nhưng Minh cho là sự cay đắng đó hợp lý, cũng là vì lo lắng khi nền công nghệ vi tính còn non trẻ tại Việt Nam, bị các "chuyên gia" nhà nứơc với những "lệ làng" làm chậm trễ, hơn là khuyến khích và có sách lược rõ ràng cho nó phát triển. Chờ đợi bao lâu rồi, cũng vẫn thế thôi.
Bạn Vic chẳng hạn là 1 nạn nhân (!)
Một thí dụ :
Khi ta rong chơi vui ðùa la?f lơi
La?? một nga??y cuộc sống thêm tươi
Mong đôi ta luôn ma?fi bên nhau không rơ??i
Ðơ??i la?? một cuộc sống tuyệt vơ??i
Mây câu trên nhìn thì không thấy gì, vẫn là chữ Unicode, nhưng nếu bạn dùng 1 phần mềm nào chuyển sang VIQR thử xem, sẽ thấy khác biệt ngay (trước đó đừng "nhận dạng mã")
Việc của chúng ta, là nếu bạn có 1 công ty lớn có nhiều văn bản, hãy chuẩn bị cho "sự cố Unicode VN", hoặc thống nhất mã dùng. Hiện nay, trong nước, nhu cầu chuyển đổi các văn bản từ các fonts cũ sang Unicode cho thống nhất, đang rất lớn. Nếu ai biết làm ăn...............
Một điều cũng lấy làm tiêc là, cho đến nay, Việt Nam chỉ tham gia uỷ ban Unicode với một uỷ ban nhỏ, và vẫn chỉ là một cộng tác viên (Liaison member) của Unicode Consortium http://www.unicode.org/
Phụ : Bộ Font Unicode tiếng Việt của TS Nguyễn Văn Hiệp (ĐHBK) với hơn 150 font. Vào đây download :
http://203.162.17.98/weblh/link/kho/funidhbk.htm
http://www.pclehoan.com/link/kho/funidhbk.htm
-----------------------------------------------------------------------------------
Sử dụng loại Unicode tiếng Việt nào? Người sử dụng cần biết sự thật!
Cơ may thống nhất đến với tiếng Việt trên máy tính chính là việc đưa bộ mã tiếng Việt vào bảng mã Unicode cho ??otất cả các ngôn ngữ trên toàn cầu???. Thế nhưng trong khi bảng mã tiếng Việt Unicode 1258 đã trở thành chuẩn theo luật và chuẩn thực tế, đồng thời thực sự đã sẵn sàng mọi thứ để dùng một cách tự nhiên thì... ??ođùng một cái???, Bộ Khoa học, Công nghệ và Môi trường ( KHCN&MT) tạo nên ??oluật chơi??? riêng khi đưa ra bộ mã dựng sẵn theo Dự thảo 6909. Lý do thực sự để đưa ra bộ mã này là gì?
Tiếng Việt trong Unicode đã được các công ty phần mềm lớn nhất thế giới như Microsoft, Oracle và IBM bắt đầu chú trọng và phát triển từ năm 1994-1995; và Việt Nam cũng đã chính thức đưa ký tự tiếng Việt do Microsoft đề nghị ( còn gọi là bảng mã CP 1258), cùng khoảng 5.000 chữ Nôm vào Unicode.
Quả thật, bản tiếng Việt Unicode 1258 của Microsoft cho Win 95, Win 98 còn khá vụng về, nhất là chữ còn xấu do dấu còn lệch so với chữ. Nhưng ngoài nhược điểm trên, ngay cả trong Win 98, tiếng Việt trên Unicode đã được xử lý khá tốt. Đến các phiên bản Windows Me, Windows 2000 và Windows XP, chữ Việt cũng đã thể hiện khá đẹp, nhất là trên bảng in ra. Tuy nhiên, điều quan trọng nhất là Microsoft đã xây dựng các tiện ích xử lý ngôn ngữ rất tốt. Và nếu quan tâm đến Linux, bạn sẽ thấy hệ điều hành này cũng đã hỗ trợ CP 1258...

Chuyện của ??olệ làng???
Bộ mã Unicode CP 1258 của Microsoft đã giải quyết những vấn đề cơ bản, đồng thời hệ điều hành Windows sau này như Me, 2000, XP đã cung cấp những công cụ hệ thống để giúp tạo ra những ứng dụng tiếng Việt đúng chuẩn đề ra cho Unicode như :
- Phân biệt được trong chuỗi ký tự, đâu là tiếng Việt, đâu là tiếng Anh,... như thế mới là ??o Tiếng Anh cũng chỉ là một ngôn ngữ trên máy tính??? thông qua Unicode. Do đó, hiện tiếng Việt (Unicode 1258) đang được sử dụng bình đẳng, cực kỳ dễ dàng với hàng trăm ngôn ngữ phổ biến khác.
- Xử lý đúng đắn các phép biến đổi trên chữ Việt ( như chữ thường sang chữ hoa); các phép xử lý chuỗi ký tự đa ngữ cần thiết cho các bài toán sắp thứ tự, tìm kiếm, v.v...
Thế nhưng cũng như trường hợp TCVNxxxx, lệ làng của việc ra đời một chuẩn về bộ mã tiếng Việt lại phải kèm theo một phần mềm xử lý tiếng Việt do Bộ KHCN&MT hỗ trợ. Nếu như lấy Unicode 1258, chắc cũng chẳng có việc gì làm nhiều. Nhưng bộ mã chữ Việt theo TCVN 6909 đưa ra đến hai bộ mã : một lấy nguyên si của MS CP 1258, và một bộ mã khác tạm gọi là bộ mã dựng sẵn. Tiếc thay, bộ mã này và một số cài đặt của nó đã vi phạm ngay chính nguyên tắc ??o chuẩn phải đi theo người sử dụng, và kỹ thuật phải đi theo chuẩn??? :
1. Chưa được chấp nhận bởi tổ chức Unicode và chưa được các hãng phần mềm nào ( trong đó có Microsoft, IBM, Oracle) hỗ trợ, do đó :
- Các hệ điều hành (như Windows) và các ứng dụng (như MS Office) xem đầu ra của bộ mã dựng sẵn này là... tiếng Anh chứ không phải tiếng Việt. (Ví dụ : có nhiều dấu nặng (.) trong bảng mã Unicode; nhưng nếu dùng đúng CP 1258, Windows có thể tự phân tách ra là dấu nặng của ngôn ngữ nước nào. Còn hiện nay, Windows đương nhiên coi đoạn mã tạo bằng mã dựng sẵn 6909 là tiếng Anh cả. Điều này có thể kiểm tra ngay trên hiển thị ở cuối màn hình trong các ứng dụng MS Office).
- Các hàm xử lý ngôn ngữ, đã dựng sẵn ( native) trong hệ thống (như Windows) không biết đến loại mã này, do đó cho kết quả xử lý không như ý người sử dụng (mà người ta không biết tại sao).
- Do không có thông tin ngôn ngữ, nếu muốn giải quyết những vấn đề liên quan đến xử lý đa ngôn ngữ thì ??ochuyên gia??? phải dùng các xảo thuật ??ophi chuẩn??? cho từng ngôn ngữ một. Vì vậy, bộ mã này không thể được dùng để phát triển các phần mềm có tính đa ngôn ngữ để bán ra quốc tế được, làm hạn chế việc xuất khẩu phần mềm và hội nhập thế giới ( tự mình cắt đường hội nhập!).
Như thế, việc đưa ra bảng mã dựng sẵn này có đi theo nhu cầu của người sử dụng không?
2. Các phần mềm hỗ trợ tiện ích cho tiếng Việt, nhất là từ người của Ban Công tác Unicode thì có khuynh hướng cố tình hỗ trợ bộ mã dựng sẵn thấy rõ:
- Tiện ích chuyển mã đều đưa các mã khác về bộ mã dựng sẵn ( không đưa về mã Unicode CP 1258).
- Chỉ ghi chú bên cạnh tùy chọn bộ mã dựng sẵn là ??oTCVN 6909???; gây hiểu lầm cho người sử dụng đây mới là tiêu chuẩn.
Kỹ thuật ở đây đã không tuân thủ tiêu chuẩn quốc tế mà theo cái tự mình đặt ra và có ý cưỡng đặt cộng đồng phải theo!
Lý do thực sự là gì?
Các chuyên gia khi viết những ứng dụng xử lý ngôn ngữ, để bảo đảm chất lượng và sự ổn định, thường có khuynh hướng sử dụng chính những công cụ xử lý ngôn ngữ của các hãng lớn làm, nhất là khi nó đã có sẵn ở mức hệ thống ??" native ??" ( và lại miễn phí!) chứ không mấy ai can đảm đi dùng những công cụ đem gán (và thay thế) những công cụ có sẵn.
Lý do là : Chất lượng không đảm bảo do không được kiểm tra đầy đủ trên hàng ngàn ứng dụng chính chạy trên hệ điều hành Windows chẳng hạn, nên cứ mỗi lần hệ điều hành thay đổi qua phiên bản mới thì những ??ocông cụ đem gán??? ( và phải... trả tiền) đó bao giờ mới được nâng cấp và kiểm nghiệm đủ độ tin cậy?
Công việc cơ bản nhất phải là thuyết phục được chính nhà sản xuất hệ điều hành hỗ trợ thêm bộ mã dựng sẵn ở mức hệ thống chứ không nên gán ghép trách nhiệm cho những ??ochuyên gia??? trong nước phải can thiệp vào hệ thống hệ điều hành; nhất là trong tình hình 99% người Việt vẫn đang dùng Windows. ??oChuyên gia??? phát triển ứng dụng cũng càng cần phải biết mình làm việc với bộ mã nào để chọn kỹ thuật xử lý cho đúng chứ không thể nói rằng ??odựng sẵn hay tổ hợp rồi ra cũng không phải là vấn đề của người lập trình ứng dụng???. Nếu thế thì cần những phần mềm kiểu như FreeCode hoặc VietFlex làm việc với mã nào cũng được chứ cần chi phải thống nhất về Unicode.
Vấn đề dùng một bộ mã tiếng Việt cho toàn thể người Việt cũng như thế giới sử dụng là một công việc rất quan trọng - cần phải nghe và hiểu ý kiến từ nhiều phía, trong đó có chuyên gia.
Không thể gán ghép hoặc quy kết cho những cuộc thảo luận liên quan đến quyền lợi người sử dụng chỉ là của mấy ??oông chuyên gia??? nhìn trong góc độ hạn hẹp được; vì dữ liệu của người sử dụng và việc xử lý dữ liệu đó liên quan mật thiết đến vấn đề này. Những quy kết đó phải chăng là những ??ongộ nhận??? do thiếu thông tin?
Sự thật là không có chuyên gia nào có hiểu biết và kể cả người sử dụng, tự xếp mình vào ??o trường phái??? nào cả. Đối với đại đa số người sử dụng, người ta chỉ cần quan tâm đến vấn đề hiển thị (trên màn hình và in ra giấy) và trao đổi thông tin có chữ Việt được tốt và suôn sẻ hay không? Đối với các chuyên viên kỹ thuật, đó là làm ra được những ứng dụng được đại đa số người sử dụng chấp nhận và muốn như thế phải tuân thủ theo các chuẩn thực tế được chấp nhận rộng rãi và đã qua thử thách, có những cài đặt thực tế chứ không phải thường chỉ ở trên giấy như chuẩn theo luật hoặc tệ hơn là những cưỡng đặt không hợp lý.
Theo ý kiến chủ quan của chúng tôi thì CP 1258 là bộ mã quốc tế và đã được hỗ trợ đầy đủ trên những ứng dụng thông dụng như MS Office và tạo ra được thực sự các ứng dụng đa ngữ trên hệ điều hành và cơ sở dữ liệu thông dụng... nghĩa là đã đáp ứng tốt nhu cầu của người sử dụng.
Còn bộ mã dựng sẵn theo Ban Công tác Unincode thì nên dùng trong trường hợp nào? Có lợi cho sự thống nhất chữ Việt trong xử lý thông tin không? Lý do thật sự để đưa ra bộ mã này là gì?
Chuyển sang Unicode thật không đơn giản
Thực tế rất nhiều đơn vị đã ??olãnh đủ??? vì nhân viên trong cơ quan không phân biệt được hai loại này: người thì dùng bảng mã dựng sẵn; người thì dùng bảng mã tổ hợp; thậm chí trên cùng một tập tin có cả hai thứ mã, dẫn đến những hậu họa khôn lường mà nhiều khi phải một thời gian (cũng không lâu) sau mới thấy được.
Nếu bảng mã dựng sẵn được Việt Nam đăng ký vào Unicode sớm và làm việc chặt chẽ với các hãng lớn để họ ủng hộ ngay từ đầu thì chắc chẳng có gì phải bàn (hay rồi sẽ sinh ra một lệ làng khác?). Còn nếu muốn duy trì hiện trạng của 6909 thì phải quy định rõ hoặc khuyến cáo hết sức cụ thể khi nào dùng mã nào và phải chú ý đầy đủ việc chuyển đổi giữa hai bảng mã này thật tốt, chứ không thể chỉ một chiều độc quyền như hiện nay.
Chuyển đổi sang bộ mã mới là chuyện ??ochẳng đặng đừng??? vì nó gây tốn nhiều thời gian công sức và khó chịu trong thời gian dữ liệu bị ??onửa nạc, nửa mỡ???. Công việc này còn khổ hơn là việc nâng cấp toàn bộ máy trong đơn vị lên hệ điều hành mới. Do đó, cần phải có tài liệu giải thích rõ và hướng dẫn từng bước triển khai để đảm bảo tính nhất quán của dữ liệu trong đơn vị, giảm thiểu việc gây xáo trộn lớn (cũng phải cẩn thận như đối phó với sự cố Y2K vậy). Đơn vị càng lớn, càng phải chú trọng việc quản lý đề án và phòng ngừa rủi ro cho công việc chuyển lên bộ mã mới. Công việc này cũng như quy trình xây dựng, nếu để càng lún sâu rồi mới sửa thì chi phí vọt lên đến cấp số nhân. Chuyển sang Unicode không thể chỉ đơn giản là ban hành ra một văn bản và đưa ra một phần mềm ẩn chứa quá nhiều rủi ro và mập mờ.
Mục đích của bài viết này chỉ nêu lên những sự kiện thực tế nằm sau các chữ Việt đẹp đẽ hiện lên màn hình hay in ra trên văn bản; không nhằm phê phán ??" là quyền dành cho Người sử dụng sau khi họ biết được sự thật cùng những quyền lợi, rủi ro và thách thức đi cùng với quyền chọn lựa của mình.
(Theo PCWorld VN B 6/2002, trang 20)

Cẩn thận!
Trước hết, kỹ thuật tổ hợp của Unicode và CP1258 là tương hợp nhưng vị trí của các ký tự là khác nhau. Vì vậy không thể xem CP1258 là Unicode tổ hợp. Các bạn xem vị trí tham khảo:
Dấu thanh TCVN2 Cp 1258 Unicode
huyền b0 cc 0300
hỏi b1 d2 0309
ngã b2 de 0303
sắc b3 ec 0301
nặng b4 f2 0323
Thứ 2, kỹ thuật tổ hợp của Unicode vẫn trên nền tảng 16bit chứ không phải là 8bit. Khi sử dụng để lưu trữ hoặc truyền thông, máy tính mới nén và mã hoá Unicode thành dạng 8bit. Như vậy, dù là tổ hợp hay dựng sẵn thì khi được nén và mã hoá đều được truyền tải dưới dạng 8bit
Thứ 3, một trong những bất hợp lý của tiếng Việt là Việt Nam là quốc gia duy nhất ở châu Á sử dụng chữ viết họ Latin. Vì vậy dù thuộc họ Latin, nhưng Microsoft vẫn xếp vào họ sản phẩm vùng ĐNÁ. Với sự ra đời của TCVN 6909, Microsoft đang nghiên cứu chuyển Việt Nam về họ ngôn ngữ Latin. Các bạn có thể tham khảo vị trí các ký tự Việt đều ở vùng Latin.
Các bạn đừng nhầm lẫn là dựng sẵn yếu hơn. Với tổ hợp, bạn phải cài đặt nhiều công đoạn và rất phiền phức. Đối với người dùng thông thường càng cực kỳ phức tạp. Và tổ hợp chỉ tạm sử dụng được ở win 2000 và Win XP (với điều kiện phải add phần ký tự Việt). Với Win 95 và Win 98 thì hầu như không thể thực hiện. Trong khi đó, với dựng sẵn chỉ cần chọn bộ gõ hỗ trợ là xong và có thể sử dụng ngay cả với Win 95 mà chỉ cần cài thêm bộ font. Vấn đề Unicode, với người sử dụng thông thường như tôi và bạn, chắc chắn dựng sẵn là chiếm ưu thế. Còn lại là của các nhà kỹ thuật đưa ra các giải pháp hỗ trợ và chuẩn hóa.
Do đặc tính công việc liên quan nhiều đến việc xử lý và lưu trữ, một cách tự nhiên tôi đến với vấn đề Unicode và nhìn nó với con mắt người không chuyên. Theo tôi, sử dụng tổ hợp là bất đắc dĩ vì khả năng dễ dùng của nó là không thực tế chứ chưa nói đến việc tương thích ngược. Đừng vội xét đoán vấn đề này!
@: Dựng sẵn là không phải sự áp đặt! Sự lựa chọn của hầu hết Web site tiếng Việt tự nhiên là dựng sẵn (từ Vovisoft đến TTVNOnline). Dựng sẵn được ưu chuộng bởi ưu thế dung lượng nhỏ sử dụng trong lưu trữ và trong truyền thông. Và ngày càng có nhiều ứng dụng hỗ trợ nó hơn.
Nếu vậy thì tại sao ta lại trở về với tổ hợp ???

Trên quan điểm của các nhà thiết kế web và lập trình, dựng sẵn thì dễ hơn, nhưng trong con mắt của người sử dụng sau cùng(end user) thì người ta chỉ muốn có cái nào dễ dàng hơn, thuận tiện hơn. Và end user có số lượng đông đảo hơn các lập trình viên (đương nhiên!). Tôi nghĩ các nhà sản xúât phải tính trước điều này để còn bán hàng nữa chứ!
vic_hcm@yahoo.com
Được vic sửa chữa / chuyển vào 07:45 ngày 12/07/2002