Năm 1916, khi bị động viên vào làm thợ máy cho hải quân Pháp, trong những năm tháng sống ở Pháp và tham gia phong trào đấu tranh của thủy thủ Pháp, Bác Tôn đă ư thức được sức mạnh của giai cấp công nhân nếu họ được tổ chức. Từ những kinh nghiệm tích lũy được khi tham gia tổ chức hoạt động công đoàn ở thành phố Toulon miền Nam nước Pháp, năm 1920 khi trở về Sài G̣n, Bác Tôn đă sớm nhận thấy cần phải tổ chức ra Công hội nhằm tập hợp, tuyên truyền, giác ngộ, vận động công nhân thành tổ chức để đấu tranh chống áp bức, bóc lột, đ̣i độc lập dân tộc. Từ thực tế phong trào công nhân và điều kiện cụ thể của nước ta trong những năm đầu của thế kỷ XX, theo Bác Tôn ở Việt Nam Công hội ra đời không chỉ nhằm tập hợp công nhân đấu tranh đ̣i quyền lợi về kinh tế mà c̣n phải đ̣i cả quyền lợi về chính trị.
Do Công hội ở Việt Nam thời điểm này phải hoạt động bí mật. Bác Tôn đă tích cực vận động thành lập Công Hội, đă cùng với một số anh em lập xưởng sửa chữa xe hơi ở Phú Nhuận, dùng đó làm nơi gặp gỡ, tuyên truyền vận động, tập hợp anh em công nhân, đồng thời để lấy tiền cho Công hội bí mật hoạt động và để giải quyết công ăn việc làm cho một số anh em. Vào năm 1920, Công hội cách mạng bí mật đầu tiên ở Nam bộ đă được thành lập,. Ban chấp hành Công hội gồm: Tôn Đức Thắng ( thợ máy hăng Krốp) Hội trưởng; Nguyễn văn Cân ( thợ nguội hăng FACI ) phó hội trưởng; Đặng Văn Sâm ( thợ nhà đèn) thủ quỹ, ngoài ra công hội c̣n có Trần Trương (Sáu Trương), Đặng Văn Sửu (Nhuận), Trần Văn Ḥa (Ba ḥa) Trần Ngọc Giai (Thuận Hóa). Công hội bí mật do Bác Tôn sáng lập ra đời với mục đích là đoàn kết, tương trợ bênh vực quyền lợi của giai cấp công nhân, đấu tranh chống áp bức, bóc lột của bọn đế quốc và tay sai.
Thời kỳ đầu mới thành lập, những thành viên của Công Hội bí mật quy ước với nhau: chỉ kết nạp vào hội những người yêu nước, có tinh thần hăng hái đấu tranh, biết thương yêu đùm bọc lẫn nhau, trong lúc khó khăn, bệnh tật. Các thành viên trong Công hội bí mật cũng đă thống nhất thu hội phí công hội theo từng tháng, mỗi người góp một ngày lương trở xuống. Sự ra đời của Công hội bí mật đầu tiên ở nước ta đánh dấu một thời kỳ mới trong lịch sử của GCCN Việt Nam, thời kỳ GCCN Việt Nam bắt đầu chuyển sang giai đoạn đấu tranh từ tự phát sang tự giác, từng bước đưa giai cấp công nhân Việt Nam lên vũ đài chính trị và trở thành lực lượng chính trị độc lập, mở đầu cho giai đoạn đấu tranh mới, giai đoạn đấu tranh có tổ chức.
Ngay sau khi Công hội bí mật ra đời, các cuộc băi công của công nhân do Công hội bí mật tổ chức tuy là đấu tranh kinh tế, nhưng đă mang tinh chất chính trị rơ rệt. Công hội bí mật đă chú trong mở rộng quan hệ với các tầng lớp tiến bộ khác, nhằm tranh thủ sự đồng t́nh, ủng hộ của các lực lượng trong xă hội. Bác Tôn - người sáng lập ra Công hội bí mật đă thường xuyên cùng anh em công nhân về các tỉnh để tuyên truyền tinh thần yêu nước trong bà con cḥm xóm, nhằm xây dựng quan hệ gắn bó những người yêu nước ở các vùng quê với Công hội.
Đối với phong trào yêu nước của tầng lớp trí thức tiểu tư sản, Công hội bí mật cũng tích cực ủng hộ và tham gia tất cả các cuộc mít tinh, biểu t́nh công khai, nhưng Công hội bí mật vẫn giữ riêng tổ chức độc lập. Hoạt động của Công hội bí mật tuy c̣n sơ khai, nhưng đă biểu hiện tinh thần đoàn kết giai cấp công nhân Việt Nam với các giai cấp, tầng lớp khác trong xă hội.
Từ thực tiễn vận động thành lập và lănh đạo Công hội bí mật hoạt động, Bác Tôn người đă góp phần quan trọng vào việc đặt cơ sở, nền móng cho lư luận, nghiệp vụ công tác công đoàn Việt Nam hiện nay, tiêu biểu cho lư luận, nghiệp vụ công tác công đoàn đó là: công tác tổ chức, nội dung, phương pháp hoạt động của Công đoàn phải xuất phát từ t́nh h́nh cụ thể của phong trào công nhân, xuất phát từ yêu cầu, nhiệm vụ cụ thể của mỗi giai đoạn cách mạng. Hoạt động công đoàn phải gắn chặt việc thực hiện mục tiêu kinh tế với mục tiêu chính trị, phải kiên tŕ vận động, thuyết phục và chú trong công tác tuyên truyền vận động, tập hợp công nhân, lao động. Để nâng cao tinh thần trách nhiệm, sự gắn bó của đoàn viên với tổ chức và để có kinh phí hoạt động, công đoàn phải có quy định thống nhất hàng tháng đoàn viên phải đóng đoàn phí. Cán bộ Công đoàn là nhân tố hết sức quan trọng, cần phải quan tâm thường xuyên đến việc đào tạo, bồi dưỡng cán bộ. Cán bộ công đoàn phải sâu sát quần chúng. Công đoàn phải quan tâm xây dựng quan hệ đoàn kết, thống nhất trong tổ chức. Đồng thời phải chú trọng xây dựng quan hệ đoàn kết với các tổ chức, các giai cấp, tầng lớp khác trong xă hội.