Ngày 28/7/1929, Tổng Liên đoàn Lao động Việt Nam (TLĐLĐVN) được thành lập, từ đó giáo giới cả nước được tiếp cận với các chủ trương của Tổng Liên đoàn. Tổ chức của giáo giới bắt đầu được hình thành ở nhiều nơi với nhiều tên gọi : Liên đoàn giáo giới ở Thanh Hoá, Nghệ An và một số tỉnh ở khu V; Công đoàn giáo giới ở Phú Yên; Công đoàn giáo dục tiểu học ở Hà Tĩnh... Các tổ chức này lúc đầu hoạt động như các đoàn thể cứu quốc, lấy việc phục vụ kháng chiến, tham gia công tác xã hội làm nội dung chính.
Tháng 9/1950, thực hiện chủ trương của Tổng Liên đoàn và được sự giúp đỡ tận tình của Lãnh đạo Bộ Giáo dục, đặc biệt là Thứ trưởng Nguyễn Khánh Toàn, Bí thư Đảng đoàn Bộ Giáo dục, Ban vận động thành lập Công đoàn Giáo dục (CĐGD) Việt Nam đã ra đời. Từ đó, theo đường hướng của Tổng Liên đoàn và sự chỉ đạo của Liên hiệp công đoàn các tỉnh, tổ chức CĐGD nhanh chóng được phát triển ở các cơ quan giáo dục và các trường học từ Việt Bắc đến khu III, khu IV, khu V. Số lượng đoàn viên lúc này đã lên tới 9857 người.
Trên cơ sở đó, ngày 22/7/1951, tại Hội nghị CĐGD toàn quốc ở Việt Bắc, Ban Chấp hành lâm thời CĐGD Việt Nam chính thức được thành lập với chức năng tập hợp, vận động cán bộ, giáo viên trong các cơ quan giáo dục và trường học thực hiện tốt nhiệm vụ chuyên môn, phục vụ kháng chiến. Ban Chấp hành CĐGD Việt Nam lâm thời có 15 uỷ viên do đồng chí Nguyễn Cát Tường làm Chánh thư ký, đồng chí Phương Hoa làm Phó thư ký. Hội nghị đã thông qua chương trình công tác gồm 4 điểm: Thúc đẩy đoàn viên làm nhiệm vụ chuyên môn; Xây dựng tổ chức công đoàn lớn mạnh, đảm bảo thực hiện cải cách giáo dục; Nâng cao đời sống vật chất và tinh thần cho đoàn viên; Đoàn kết lao động trí óc và chân tay đấu tranh giải phóng dân tộc.
Tuy còn sơ lược nhưng chương trình hoạt động nói trên đã như một lời tuyên ngôn về vai trò, chức năng, nhiệm vụ của công đoàn ngành, đặt cơ sở cho quá trình tổ chức và hoạt động của Công đoàn Giáo dục Việt Nam.
Với tinh thần hăng hái của một tổ chức mới ra đời, được đông đảo giáo giới cả nước hưởng ứng, tổ chức Công đoàn Giáo dục đã phát triển nhanh chóng. Đến cuối năm 1952, tổng số đoàn viên đã lên tới 11.500 người.