Había dos grupos originales de yakuzas. Los primeros, los Tekiya, eran comerciantes callejeros ordinarios y se encontraban entre los miembros más bajos de la sociedad japonesa. Se unieron en el siglo XVII y poco a poco se fueron introduciendo en la delincuencia organizada. El segundo grupo eran los bakuto, jugadores rechazados por casi todos los miembros de la sociedad japonesa y que también se dedicaban a la usura. De los Bakuto viene el nombre de Yakuza, ya que las cartas eran una de sus principales fuentes de ingresos.