Đại hội Công đoàn Viên chức Việt Nam lần thứ Hai diễn ra từ ngày 10/7/2003 đến 11/7/2003 tại Hội trường Ba Đình (Hà Nội). Về dự đại hội có 300 đại biểu, là cán bộ, đoàn viên công đoàn xuất sắc được bầu từ đại hội, hội nghị công đoàn viên chức các cấp, tiêu biểu cho hơn 11 vạn đoàn viên, công chức, viên chức, lao động trong hệ thống Công đoàn Viên chức Việt Nam.
Đại hội được đón đồng chí Trương Mỹ Hoa - Ủy viên Trung ương Đảng, Phó Chủ tịch nước Cộng hòa xã hội chủ nghĩa Việt Nam; đồng chí Tòng Thị Phóng - Bí thư Trung ương Đảng, Trưởng ban Dân vận Trung ương; đồng chí Cù Thị Hậu - Ủy viên Trung ương Đảng, Chủ tịch Tổng Liên đoàn Lao động Việt Nam cùng nhiều đồng chí lãnh đạo các bộ, ban, ngành, đoàn thể trung ương, các tỉnh, thành phố và Tổng Liên đoàn Lao động Việt Nam.
Đại hội đã xác định mục tiêu, nhiệm vụ chung của các cấp Công đoàn Viên chức Việt Nam trong thời gian tới là: “Đẩy mạnh cuộc vận động xây dựng người cán bộ, công chức, viên chức: “Trung thành - Sáng tạo - Tận tụy - Gương mẫu” đáp ứng yêu cầu của giai đoạn cách mạng mới, ra sức thi đua, học tập, lao động sáng tạo, hoàn thành tốt nhiệm vụ chính trị của cơ quan, quan tâm chăm lo đời sống, bảo vệ quyền và lợi ích hợp pháp, chính đáng của đội ngũ cán bộ, công chức, viên chức; tích cực tham gia xây dựng Đảng, Nhà nước trong sạch, vững mạnh; góp phần xứng đáng vào sự nghiệp công nghiệp hóa, hiện đại hóa đất nước”.
Ban Chấp hành Công đoàn Viên chức Việt Nam khóa II, nhiệm kỳ 2003 - 2008 gồm 33 đồng chí. Đồng chí Nguyễn Hòa Bình - Ủy viên Đoàn Chủ tịch Tổng Liên đoàn Lao động Việt Nam (khóa VIII) được bầu giữ chức danh Chủ tịch Công đoàn Viên chức Việt Nam; các đồng chí: Nguyễn Ngọc Bạn - Ủy viên Ban Chấp hành Tổng Liên đoàn Lao động Việt Nam (Khóa VIII), đồng chí Hoàng Thị Hòa được bầu làm Phó Chủ tịch Công đoàn Viên chức Việt Nam.
Triển khai thực hiện Nghị quyết Đại hội II, Công đoàn Viên chức Việt Nam đã xây dựng chương trình hoạt động toàn khóa, đồng thời bám sát chương trình thực tế các cấp Công đoàn Viên chức Việt Nam để ra kế hoạch hướng dẫn, có các giải pháp chỉ đạo cụ thể, kịp thời phong trào cán bộ, công chức, viên chức nên đã đạt được nhiều kết quả đáng ghi nhận. Xác định trách nhiệm trong xây dựng bộ máy nhà nước trong sạch, vững mạnh, Công đoàn Viên chức Việt Nam đã chỉ đạo các cấp công đoàn động viên CBCCVCLĐ tích cực tham gia cải cách hành chính, chống tham nhũng, lãng phí, tiêu cực. Ngày 19/8/2004, Công đoàn Viên chức Việt Nam ban hành Kế hoạch số 210/KH-CĐVC về việc tham gia thực hiện Chương trình tổng thể cải cách hành chính với mục đích nhằm đẩy mạnh công tác tuyên truyền, giáo dục, nâng cao nhận thức, trách nhiệm của cán bộ, công chức, viên chức trong việc thực hiện Chương trinh Tổng thể cải cách hành chính nhà nước giai đoàn 2001 - 2010, góp phần xây dựng đội ngũ CBCCVC có phẩm chất và năng lực đáp ứng với yêu cầu của sự nghiệp CNH-HĐH đất nước.
Để đẩy mạnh các phong trào thi đua gắn với nâng cao chất lương, hiệu quả công tác, thực hiện cải cách hành chính của mỗi cán bộ, đoàn viên các cấp Công đoàn Viên chức, ngày 04/7/2007, Công đoàn Viên chức Việt Nam đã ban hành Kế hoạch số 145/KH-CĐVC phát động phong trào thi đua: “Xây dựng cơ quan văn hóa và ngày làm việc 8 giờ có chất lượng, hiệu quả” trong các cấp Công đoàn Viên chức Việt Nam. Phong trào thi đua này đã góp phần xây dựng cơ quan văn hóa, nâng cao đạo đức công vụ và đổi mới phương pháp, lề lối làm việc của CBCCVC, thực hiện văn minh công sở, góp phần thực hiện xây dựng cơ quan, đơn vị trong sạch, tổ chức công đoàn vững mạnh.
Nhiệm kỳ 2003 - 2008, hệ thống tổ chức của Công đoàn Viên chức Việt Nam tiếp tục phát triển, thành lập mới 26 công đoàn cơ sở nâng cấp 7 công đoàn cơ sở trực thuộc lên công đoàn cấp trên cơ sở. Tính đến năm 2008, Công đoàn Viên chức Việt Nam trực tiếp quản lý và chỉ đạo hoạt động của 68 công đoàn bộ, ban, ngành, đoàn thể trung ương (trong đó có 27 công đoàn cấp trên cơ sở và 41 công đoàn cơ sở trực thuộc). Hệ thống công đoàn viên chức tỉnh, thành phố cũng phát triển nhanh chóng. Trong nhiệm kỳ này, đã có thêm 21 công đoàn viên chức tỉnh, thành phố được thành lập, nâng tổng số công đoàn viên chức, tỉnh thành phố lên 54 đơn vị. Cùng với sự phát triển về tổ chức số lượng đoàn viên trong giai đoạn 2003 – 2008 cũng tăng lên nhanh chóng. Năm 2003, Công đoàn Viên chức Việt Nam quản lý trực tiếp gần 4 vạn đoàn viên, phối hợp với Liên đoàn Lao động các tỉnh, thành phố quản lý, chỉ đạo gần 8 vạn đoàn viên. Đến tháng 6/2008, Công đoàn Viên chức Việt Nam trực tiếp quản lý, chỉ đạo trên 5,7 vạn đoàn viên và phối hợp quản lý, chỉ đạo trên 15 vạn đoàn viên thuộc công đoàn viên chức tỉnh, thành phố.
Với những thành tích đã đạt được, trong nhiệm kỳ 2003 - 2008, Công đoàn Viên chức Việt Nam đã vinh dự được Nhà nước tặng thưởng Huân chương Lao động hạng Nhì. Ngoài ra, Công đoàn Viên chức Việt Nam được tặng: 01 Cờ thi đua của Chính phủ, 01 Bằng khen của Ban Tổ chức lễ diễu binh, diễu hành nhà nước; 03 Cờ thi đua và 04 Bằng khen của Tổng Liên đoàn Lao động Việt Nam.