别的老板找我承包一些木工做得事，我带人，干完活不给钱

我是带人帮别人干活的人，我们没有合同，我要和那老板签合同，那老板说不签合同，因为那老板是我同村的人，然后我们就口头说的合同，但是去年快过年时候我和他立下一个协议，是用纸写下来的双方都签字并且也注明了时间，合同上面写的（三层封顶后，一个月之内保证给工程款百分之八十，也就是（4万多元钱）限3天完成3层楼的顶板，签字生效）我用现钱找人在3天之内把活干完了，向他要钱，他就是一直找借口说什么把楼干坏了什么的，就是不给钱。

最后我只好拿协议向他要钱，他就说协议不生效。

想请冯律师帮我分析一下，这个协议能生效吗?能不能到法院起诉他？

补充提问：
但是协议上，没有写地址，只写了（三层封顶后，一个月之内保证给工程款百分之八十，也就是（4万多元钱）限3天完成3层楼的顶板，签字生效）。和他协商了，那老板理都不理你。